CN109462728B - 码率控制方法、装置、图像采集设备及可读存储介质 - Google Patents

码率控制方法、装置、图像采集设备及可读存储介质 Download PDF

Info

Publication number
CN109462728B
CN109462728B CN201710797249.3A CN201710797249A CN109462728B CN 109462728 B CN109462728 B CN 109462728B CN 201710797249 A CN201710797249 A CN 201710797249A CN 109462728 B CN109462728 B CN 109462728B
Authority
CN
China
Prior art keywords
image
coded
distortion
distortion degree
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710797249.3A
Other languages
English (en)
Other versions
CN109462728A (zh
Inventor
吴辉
严柯森
徐琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710797249.3A priority Critical patent/CN109462728B/zh
Priority to EP18852825.1A priority patent/EP3681158A4/en
Priority to PCT/CN2018/099665 priority patent/WO2019047664A1/zh
Priority to US16/645,211 priority patent/US11902533B2/en
Publication of CN109462728A publication Critical patent/CN109462728A/zh
Application granted granted Critical
Publication of CN109462728B publication Critical patent/CN109462728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供的码率控制方法、装置、图像采集设备及可读存储介质，其中，所述方法通过从图像采集设备的图像处理模块中获取待编码图像的增益及曝光时间；根据所述待编码图像的增益及曝光时间获得对应的基准失真度；计算待编码图像中特征区域的失真度与基准失真度的差值；由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度；对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。所述方法能够通过图像处理及编码的联动，实现码率控制的同时，保证被编码图像具有良好的主观呈现。

Description

码率控制方法、装置、图像采集设备及可读存储介质
技术领域
本发明涉及监控领域，具体而言，涉及一种对监控视频进行码率控制的方法、装置、图像采集设备及可读存储介质。
背景技术
监控领域在近几年发生了巨大的变革。数字化、高清化，使图像的清晰度得到全面的提升，这也对网络带宽提出了更高的要求，现在主流1080P已经渐渐被5M，8M甚至12M的分辨率所取代，随之而来的就是带宽不够的问题。在有限的带宽下，我们要达到更高质量的图片就需要在视频编码上下功夫，现有技术中，存在着通过图像纹理复杂度来控制码率的方案，比如，高复杂度纹理选用高质量因子进行码率控制的方案，然而上述方案是从图像纹理复杂度这个客观条件进行评价的，对同样复杂度的图像区域，比如，草地和花坛采用同样的码率控制，忽视了人眼的主观感受，编码后的图片虽然码率得到控制但画面主观呈现较差，很难达到用户预期，影响用户体验。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种码率控制方法、装置、图像采集设备及可读存储介质。所述码率控制方法能够对图像编码过程中码率进行控制的同时，还能使编码的图像有良好的主观呈现。
就码率控制方法而言，本发明较佳的实施例提供一种码率控制方法，应用于图像采集设备，所述图像采集设备中预先存储有该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系，所述方法包括：
获取待编码图像的增益及曝光时间；
根据所述待编码图像的增益及曝光时间获得对应的基准失真度；
计算所述待编码图像中特征区域的失真度与所述基准失真度的差值；
由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度；
基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；
对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。
就码率控制装置而言，本发明较佳的实施例提供一种码率控制装置，应用于图像采集设备，所述图像采集设备中预先存储有该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系，所述装置包括：
获取模块，用于获取待编码图像的增益及曝光时间；
获得模块，用于根据所述待编码图像的增益及曝光时间获得对应的基准失真度；
计算模块，用于计算所述待编码图像中特征区域的失真度与基准失真度的差值；
所述计算模块，还用于由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度；
预测模块，用于基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；
编码模块，用于对最佳宏块预测模式对应的所述待编码图像进行编码，以完成对所述待编码图像码率的控制。
就图像采集设备而言，本发明较佳的实施例提供一种图像采集设备，包括处理器及存储有若干计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述图像采集设备执行上面所述的码率控制方法。
就可读存储介质而言，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行上面所述的码率控制方法。
相对于现有技术而言，本发明较佳的实施例提供的码率控制方法、装置、图像采集设备及可读存储介质具有以下有益效果：
本发明实施例提供的码率控制方法、装置、图像采集设备及可读存储介质，其中，所述方法通过从所述图像采集设备的图像处理模块中获取待编码图像的增益及曝光时间；根据所述待编码图像的增益及曝光时间获得对应的基准失真度；计算所述待编码图像中特征区域的失真度与基准失真度的差值，所述特征区域包括感兴趣区域、运动区域、复杂度区域及过亮和过暗区域；由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度；对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。所述方法能够通过图像处理及编码的联动，实现码率控制的同时，保证被编码图像具有良好的主观呈现。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的图像采集设备的一种方框示意图。
图2为本发明第一实施例提供的码率控制方法的一种流程示意图。
图3为本发明第一实施例提供的码率控制方法的另一种流程示意图。
图4为本发明第二实施例提供的码率控制装置的一种方框示意图。
图5为本发明第二实施例提供的码率控制装置的另一种方框示意图。
图标：100-图像采集设备；110-存储器；111-操作系统；120-处理器；130-网络模块；140-摄像头；200-码率控制装置；210-测试模块；220-获取模块；230-获得模块；240-计算模块；250-预测模块；260-编码模块；270-优化模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1是本发明较佳实施例提供的图像采集设备100的方框示意图。本发明实施例中的图像采集设备100可以用于对拍摄图像进行编码码率控制。如图1所示，图像采集设备100包括：存储器110、处理器120、网络模块130及摄像头140。
所述存储器110、处理器120、网络模块130以及摄像头140相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有码率控制装置200，所述码率控制装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块，所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本发明实施例中的码率控制装置200，从而执行各种功能应用以及数据处理，即实现本发明实施例中的图像处理方法。
其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。进一步地，上述存储器110内的软件程序以及模块还可包括操作系统111。其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块130用于通过网络建立图像采集设备100与视频监控中心之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
摄像头140用于采集监控区域的视频或者图像信息。
可以理解，图1所示的结构仅为示意，图像采集设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参照图2，是本发明第一实施例提供的码率控制方法的一种流程示意图。在本发明实施例中，所述码率控制方法应用于图像采集设备100，所述图像采集设备100中预先存储有该图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系，其中，它们之间的对应关系可以以表格的形式存储在图像采集设备100的存储器110中，也可以以其他形式存储在图像采集设备100的存储器110中。下面对图2所示的码率控制方法具体流程和步骤进行详细阐述。
在本实施例中，所述码率控制方法可以包括以下步骤：
步骤S220，获取待编码图像的增益及曝光时间。
在本实施例中，所述图像采集设备100通过图像处理(Image Signal Processing，简称ISP)模块获取带编码图像的信息，其中，获取的信息包括增益及曝光时间。
步骤S230，根据所述待编码图像的增益及曝光时间获得对应的基准失真度。
所述图像采集设备100根据获得的待编码图像的增益及曝光时间从预先存储的该图像采集设备100的不同增益、不同曝光时间与基准失真度之间的对应关系中匹配得到该待编码图像对应的基准失真度。其中，基准失真度为特定环境下、肉眼能感觉到画面失真时所对应的基本图像失真，基准失真度是一个主观感受参数。针对不同的图像采集设备100、不同增益下对应的基准失真度是不一样的。
步骤S240，计算所述待编码图像中特征区域的失真度与所述基准失真度的差值。
一般而言，待编码图像都会有一些特定的特征区域组成，而这些特征区域往往是用户比较关注的区域，在本实施例中，特征区域可以包括：感兴趣区域、运动区域、复杂度区域及过亮和过暗区域中的其中一个或多个之间的组合，当然还可以包括除此之外的其他可以表征图像特点的区域。
感兴趣区域是指监控时比较关注的区域，感兴趣区域的判定可以采用现有技术中感兴趣区域(ROI)检测技术实现。
感兴趣区域的失真度与基准失真度之间的差值可以采用如下公式：
Figure BDA0001400662260000081
其中，Diffa感兴趣区域中的失真度与基准失真度的差值，Diffamin为预设的感兴趣区域的最小失真度，Diffamax为预设的感兴趣区域的最大失真度，a为感兴趣区域画面占比，amin为预设感兴趣区域画面最低占比，amax为预设感兴趣区域画面最高占比。
运动区域是指待编码图像中动态变化的区域，运动区域可以采用监控画面运动检测技术获得。
运动区域的失真度与基准失真度之间的差值可以采用如下公式：
其中，Diffb运动区域中的失真度与基准失真度的差值，Diffbmin为预设的运动区域的最小失真度，Diffbmax为预设的运动区域的最大失真度，b为运动区域画面占比，bmin为预设运动区域画面最低占比，bmax为预设运动区域画面最高占比。
复杂度用于评价画面的复杂程度，具体地，可以通过图像采集设备100对待编码画面的清晰度评价值来评价。
复杂度区域的失真度与基准失真度之间的差值可以采用如下公式：
Figure BDA0001400662260000091
其中，Diffc复杂度区域中的失真度与基准失真度的差值，Diffcmin为预设的复杂度区域的最小失真度，Diffcmax为预设的复杂度区域的最大失真度，c为复杂度区域画面占比，cmin为预设复杂度区域画面最低占比，cmax为预设复杂度区域画面最高占比。
过亮和过暗区域的失真度与基准失真度之间的差值可以采用如下公式：
Figure BDA0001400662260000092
其中，Diffd为过亮和过暗区域的失真度与基准失真度之间的差值，d1为一常数，dmin为预设过暗区域的亮度阈值，dmax为预设过亮区域的亮度阈值，即区域亮度低于dmin则被判定为过暗区域，区域亮度高于dmax则被判定为过亮区域。
步骤S250，由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度。
在本实施例中，待编码图像有很多的宏块组成，由步骤S240计算得到各特征区域的失真度与基准失真度的差值可以计算得到各个宏块的失真容忍度。
各个宏块的失真容忍度可以采用下面公式计算得到。
MyD＝基准失真度+Diffa+Diffb+Diffc+Diffd
其中，MyD表示各个宏块的失真容忍度。
步骤S260，基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式。
在本实施例中，可以采用如下公式对宏块进行预测。
D1＝D0-(X*MyD+Y)
其中，D1为更新后的失真值，D0为更新前的失真值，X、Y为一常数，由经验确定。
将计算得到的失真值D1带入目前标准率失真函数。
J＝D1+λ*R
其中，J为率失真代价，λ为拉格朗日参数，R为编码码率。
在编码过程中，通过遍历待编码图像中宏块的预测模式，比较率失真代价J，得到最佳预测模式，并采用最佳预测模式进行编码。在进行宏块预测时会调整各个宏块的类型以使编码后的码率最小。在本实施例中，若D1为负数，针对待编码图像为P帧，直接采用SKIP模式进行编码即可；针对带编码图像为I帧，选择码率最小的预测模式进行编码即可。如果D1为非负数直接选择率失真代价J最小的预测方式即可。通过上述方式可以在宏块预测上降低码率。
在本实施例中，在步骤S260之前所述码率控制方法还可以包括以下步骤：计算所述待编码图像中的运动区域在整个待编码图像中的占比，根据所述占比对质量因子进行优化。
对质量因子优化可以采用以下公式进行。
Figure BDA0001400662260000101
其中，QP运动区域的质量因子，QPmin为预设的运动区域质量因子的最小值，QPmax为预设的运动区域质量因子的最大值，b为运动区域画面占比，bmin为预设运动区域画面最低占比，bmax为预设运动区域画面最高占比。
上述QP之所以这样设置主要是因为监控场景的特殊性，主要有如下几点：
当运动区域占比较大时，运动区域的QP大一些，也是能够看清物体的，此时，因为物体本身比较大，细节已经不需要降低QP来保证。当运动区域占比较小时，运动区域的QP再调小也看不清物体，这时主要是像素损失。因此需要设置一个QPmin来确保码率不要被浪费。如果介于QPmin与QPmax两者之间的话，可以根据占比变化来控制感兴区域的QP变化。
在本实施例中，步骤S260对经过质量因子优化后获取的最佳宏块预测模式下的待编码图像进行编码，以对所述待编码图像的码率进行控制。
步骤S270，对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。
在获得最佳宏块预测模式后，将该模式下的待编码图像进行编码进行编码即可以实现码率的控制。
请参照图3，在本实施例中，所述码率控制方法还可以包括步骤S210。
步骤S210，预先对所述图像采集设备100进行测试，获得该图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系，并进行存储。
对图像采集设备100的不同增益进行测试，以将增益大致划分为无噪声增益段、轻微噪声增益段及严重噪声增益段。
在本实施例中，可以通过以下方式进行，当然应当理解下面的方式仅仅是为了便于描述所举的例，不应当认定为是对本发明方案的具体限定。
选定一测试场景，比如对准爱色丽标准二十四色卡，固定在某一清晰度，曝光时间也固定，给予恒定的光照源，在本实施例的一种实施方式中，可以采用如下公式计算时域噪声评价值。
噪声评价值＝∑|F2(x,y)-F1(x,y)|其中F2(x,y)是当前图像帧，F1(x,y)是前一图像帧，其中，(x,y)表示像素点坐标。
可以理解的是，在本实施例的其他实施方式中，还可以采用其他方式获得噪声评价值，比如图像帧差值的平方。
通过改变光照源的光照强度，记录各个光照强度下噪声的评价值，同时也记录改变光照时对应图像采集设备100的增益值。具体测试方式可以如下。
首先曝光时间固定，遍历不同亮度的光源，记录增益以及噪声评价值。然后改变曝光时间，并重复上述过程，直到遍历所有曝光时间。建立不同增益、不同曝光时间以及噪声评价值之间的对应关系，在本实施例中，可选地可以采用表格对上述对应关系进行保存，以备后续使用，其中，根据噪声评价值得到对应的基准失真度。
其次通过人眼观察自动增益以及自动曝光下的画面，通过改变光照，选出噪声评价值A、B、C三个区间，同时也对应三个增益段a、b、c，当然也可以是曝光时间段，这里就取增益段做探究。由于每个图像采集设备100中图像采集sensor的感光性能不一样，测试所得的增益段也会有所不同，确保A、B、C三个区间段尽可能与主观感受吻合即可。实验发现无噪声增益段场景亮度比较大，这个时候允许的失真往往不会太大，细节得以保证。在噪声比较大的情况下，往往环境照度比较低，这个时候主观上允许的失真可以更大一些。此时我们就可以将码率更集中的提供给需要保证质量的区域。通过上述步骤建立图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系：能够有效区分噪声场景和无噪声复杂场景，可靠性高；通过上述测试可以看到在一定程度的失真下有效的节约码率，失真容忍度和增益是相关的，同样的曝光时间也具备这样的特性，低光照下曝光时间会变长，反之变短。
第二实施例
本发明第二实施例提供图1中所示的码率控制装置200的一种方框示意图。请参照图4，在本发明实施例中，所述码率控制装置200应用于图像采集设备100，所述图像采集设备100中预先存储有该图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系。所述码率控制装置200可以包括获取模块220、获得模块230、计算模块240、预测模块250及编码模块260。
所述获取模块220，用于获取待编码图像的增益及曝光时间。
在本实施例中，所述获取模块220用于执行图2中步骤S220，关于获取模块220的详尽描述可以参照步骤S220。
所述获得模块230，用于根据所述待编码图像的增益及曝光时间获得对应的基准失真度。
所述获得模块230获得所述待编码图像在对应增益及曝光时间对应的基准失真度的方式包括：
根据获得的待编码图像的增益及曝光时间从预先存储有该图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系中查找得到所述待编码图像的基准失真度。
在本实施例中，所述获得模块230用于执行图2中步骤S230，关于获得模块230的详尽描述可以参照步骤S230。
所述计算模块240，用于计算所述待编码图像中特征区域的失真度与基准失真度的差值，所述特征区域包括感兴趣区域、运动区域、复杂度区域及过亮和过暗区域。
所述计算模块240，还用于由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度。
在本实施例中，所述计算模块240用于执行图2中步骤S240-步骤S250，关于计算模块240的详尽描述可以参照步骤S240和步骤S250。
所述预测模块250，用于基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式。
在本实施例中，所述预测模块250用于执行图2中步骤S260，关于预测模块250的详尽描述可以参照步骤S260。
所述编码模块260，用于对最佳宏块预测模式对应的所述待编码图像进行编码，以完成对所述待编码图像码率的控制。
请参照图5，在本实施例中，所述码率控制装置200还包括优化模块270。
所述优化模块270，用于计算所述待编码图像中的运动区域在整个待编码图像中的占比，根据所述占比对所述待编码图像的质量因子进行优化。
所述编码模块260对最佳宏块预测模式对应的所述待编码图像进行编码的方式包括：
对经过质量因子优化后获取的最佳宏块预测模式下的待编码图像进行编码，以对所述待编码图像的码率进行控制。
在本实施例中，所述编码模块260用于执行图2中步骤S270，关于编码模块260的详尽描述可以参照步骤S270。
请再次参照图5，本实施例中，所述码率控制装置200还包括测试模块210。
所述测试模块210用于预先对所述图像采集设备100进行测试，获得该图像采集设备100不同增益、不同曝光时间与基准失真度之间的对应关系，并进行保存。
在本实施例中，所述测试模块210用于执行图3中步骤S210，关于测试模块210的详尽描述可以参照步骤S210。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明实施例提供的码率控制方法、装置、图像采集设备及可读存储介质，其中，所述方法通过从所述图像采集设备的图像处理模块中获取待编码图像的增益及曝光时间；获得所述待编码图像在对应增益及曝光时间的基准失真度；计算所述待编码图像中特征区域的失真度与基准失真度的差值，所述特征区域包括感兴趣区域、运动区域、复杂度区域及过亮和过暗区域；由所述待编码图像中特征区域的失真度与基准失真度的差值计算得到所述待编码图像各个组成宏块的失真容忍度；对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。所述方法能够通过图像处理及编码的联动，实现码率控制的同时，保证被编码图像具有良好的主观呈现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种码率控制方法，其特征在于，应用于图像采集设备，所述图像采集设备中预先存储有该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系，所述方法包括：
获取待编码图像的增益及曝光时间；
根据所述待编码图像的增益及曝光时间获得对应的基准失真度，其中，所述基准失真度为特定环境下、肉眼能感觉到画面失真时所对应的基本图像失真，基准失真度是一个主观感受参数；
计算所述待编码图像中特征区域的失真度与所述基准失真度的差值，其中，所述特征区域为表征图像特点的区域；
计算所述基准失真度，和所述待编码图像中各个特征区域的失真度与基准失真度的差值之和，得到所述待编码图像各个组成宏块的失真容忍度；
基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；
对最佳宏块预测模式对应的待编码图像进行编码，以完成对所述待编码图像码率的控制。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
预先对所述图像采集设备进行测试，获得该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系，并进行存储。
3.如权利要求1所述的方法，其特征在于，所述预先对所述图像采集设备进行测试，获得该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系的步骤包括：
改变所述图像采集设备的曝光时间与光源亮度，记录各个对应曝光时间与光源亮度下的增益和噪声评价值；
由所述噪声评价值得到对应的基准失真度；
建立不同增益、不同曝光时间与基准失真度之间的对应关系。
4.如权利要求1所述的方法，其特征在于，所述方法还包括，计算所述待编码图像中的运动区域在整个待编码图像中的占比，根据所述占比对所述待编码图像的质量因子进行优化；
所述对所述待编码图像进行编码的步骤包括：
对经过质量因子优化后获取的最佳宏块预测模式下的待编码图像进行编码，以对所述待编码图像的码率进行控制。
5.如权利要求1所述的方法，其特征在于，所述特征区域包括：感兴趣区域、运动区域、复杂度区域及过亮和过暗区域。
6.如权利要求5所述的方法，其特征在于，所述计算所述基准失真度，和所述待编码图像中各个特征区域的失真度与基准失真度的差值之和，得到所述待编码图像各个组成宏块的失真容忍度的步骤包括：
对基准失真度、感兴趣区域的失真度与基准失真度的差值、运动区域的失真度与基准失真度的差值、复杂度区域的失真度与基准失真度的差值及所述待编码图像中过亮和过暗区域的失真度与基准失真度的差值求和，将得到的和值作为当前宏块的失真容忍度。
7.如权利要求1所述的方法，其特征在于，对所述待编码图像的宏块进行宏块预测，得到最佳宏块预测模式的步骤包括：
遍历宏块的预测模式；
比较各个预测模式对应的率失真代价值，选择最佳预测模式。
8.一种码率控制装置，其特征在于，应用于图像采集设备，所述图像采集设备中预先存储有该图像采集设备不同增益、不同曝光时间与基准失真度之间的对应关系，所述装置包括：
获取模块，用于获取待编码图像的增益及曝光时间；
获得模块，用于根据所述待编码图像的增益及曝光时间获得对应的基准失真度，其中，所述基准失真度为特定环境下、肉眼能感觉到画面失真时所对应的基本图像失真，基准失真度是一个主观感受参数；
计算模块，用于计算所述待编码图像中特征区域的失真度与所述基准失真度的差值，其中，所述特征区域为表征图像特点的区域；
所述计算模块，还用于计算所述基准失真度，和所述待编码图像中各个特征区域的失真度与基准失真度的差值之和，得到所述待编码图像各个组成宏块的失真容忍度；
预测模块，用于基于所述待编码图像各个组成宏块的失真容忍度对所述待编码图像中各个宏块进行宏块预测，得到最佳宏块预测模式；
编码模块，用于对最佳宏块预测模式对应的所述待编码图像进行编码，以完成对所述待编码图像码率的控制。
9.一种图像采集设备，包括处理器及存储有若干计算机指令的非易失性存储器，其特征在于，所述计算机指令被所述处理器执行时，所述图像采集设备执行权利要求1-7中任意一项所述的码率控制方法。
10.一种可读存储介质，所述可读存储介质包括计算机程序，其特征在于：
所述计算机程序运行时控制所述可读存储介质所在电子设备执行权利要求1-7中任意一项所述的码率控制方法。
CN201710797249.3A 2017-09-06 2017-09-06 码率控制方法、装置、图像采集设备及可读存储介质 Active CN109462728B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710797249.3A CN109462728B (zh) 2017-09-06 2017-09-06 码率控制方法、装置、图像采集设备及可读存储介质
EP18852825.1A EP3681158A4 (en) 2017-09-06 2018-08-09 PROCESS AND DEVICE FOR CODE RATE CONTROL, IMAGE RECORDING DEVICE AND READABLE STORAGE MEDIUM
PCT/CN2018/099665 WO2019047664A1 (zh) 2017-09-06 2018-08-09 码率控制方法、装置、图像采集设备及可读存储介质
US16/645,211 US11902533B2 (en) 2017-09-06 2018-08-09 Code rate control method and apparatus, image acquisition device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710797249.3A CN109462728B (zh) 2017-09-06 2017-09-06 码率控制方法、装置、图像采集设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109462728A CN109462728A (zh) 2019-03-12
CN109462728B true CN109462728B (zh) 2020-01-14

Family

ID=65606113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710797249.3A Active CN109462728B (zh) 2017-09-06 2017-09-06 码率控制方法、装置、图像采集设备及可读存储介质

Country Status (4)

Country Link
US (1) US11902533B2 (zh)
EP (1) EP3681158A4 (zh)
CN (1) CN109462728B (zh)
WO (1) WO2019047664A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055607B (zh) * 2019-12-28 2022-10-04 浙江宇视科技有限公司 图像处理方法、装置、设备及存储介质
CN115225911B (zh) * 2022-08-19 2022-12-06 腾讯科技（深圳）有限公司 一种码率自适应方法、装置、计算机设备和存储介质
CN118537334B (zh) * 2024-07-25 2024-10-15 山东电力建设第三工程有限公司 一种检测定日镜背板平整度方法、系统、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724525A (zh) * 2012-06-01 2012-10-10 宁波大学 一种基于中心凹恰可觉察失真模型的深度视频编码方法
CN104065962A (zh) * 2013-10-28 2014-09-24 四川大学 基于视觉注意的宏块层比特分配优化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1718081A1 (en) * 2004-02-19 2006-11-02 Olympus Corporation Imaging system and image processing program
JP4441321B2 (ja) * 2004-04-27 2010-03-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
CN101095078B (zh) * 2004-12-29 2010-04-28 诺基亚公司 数字成像的曝光
WO2007049418A1 (ja) * 2005-10-26 2007-05-03 Olympus Corporation 画像処理システム、画像処理プログラム
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
JP5052189B2 (ja) * 2007-04-13 2012-10-17 オリンパス株式会社 映像処理装置及び映像処理プログラム
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
CN101247525B (zh) * 2008-03-24 2010-06-02 北京邮电大学 一种提高图像帧内编码速率的方法
WO2010021664A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Depth coding
KR20110048922A (ko) * 2009-11-03 2011-05-12 삼성전자주식회사 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
KR101679290B1 (ko) * 2009-11-17 2016-11-24 삼성전자 주식회사 영상 처리 방법 및 장치
CN101778281A (zh) * 2010-01-13 2010-07-14 中国移动通信集团广东有限公司中山分公司 一种基于结构相似度的h.264快速运动估算方法
GB201312382D0 (en) 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
US10334254B2 (en) * 2016-09-23 2019-06-25 Apple Inc. Feed-forward and feed-back metadata exchange in image processing pipelines to improve image quality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724525A (zh) * 2012-06-01 2012-10-10 宁波大学 一种基于中心凹恰可觉察失真模型的深度视频编码方法
CN104065962A (zh) * 2013-10-28 2014-09-24 四川大学 基于视觉注意的宏块层比特分配优化方法

Also Published As

Publication number Publication date
US20230232014A1 (en) 2023-07-20
US11902533B2 (en) 2024-02-13
EP3681158A1 (en) 2020-07-15
WO2019047664A1 (zh) 2019-03-14
EP3681158A4 (en) 2020-09-02
CN109462728A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
US8964060B2 (en) Determining an image capture payload burst structure based on a metering image capture sweep
CN110839129A (zh) 图像处理方法、装置以及移动终端
US9172888B2 (en) Determining exposure times using split paxels
KR20200017475A (ko) 관심 영역의 자동 노출 제어를 위한 조절 방법, 단말 장치 및 비 일시적 컴퓨터 판독 가능 저장 매체
CN109462728B (zh) 码率控制方法、装置、图像采集设备及可读存储介质
US9609328B2 (en) Electronic device and method
US20140168474A1 (en) Determining an Image Capture Payload Burst Structure
CN110784624B (zh) 除雾控制方法及装置
CN105391940B (zh) 一种图像推荐方法及装置
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
CN115278103B (zh) 一种基于环境感知的安防监控图像补偿处理方法及系统
US9906740B2 (en) Image processing apparatus, image processing method, and medium for noise reduction
CN108810509A (zh) 一种图像色彩校正方法及装置
CN109672829B (zh) 图像亮度的调整方法、装置、存储介质及终端
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN112435231B (zh) 图像质量标尺生成方法、评测图像质量的方法及装置
US12035033B2 (en) DNN assisted object detection and image optimization
CN111510622B (zh) 图像处理方法、装置、终端及存储介质
CN113747062A (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN115527474A (zh) 图像显示方法、装置、显示设备、投影设备及存储介质
CN114677719A (zh) 图像信号处理的方法、装置和计算机可读存储介质
CN112801932A (zh) 图像显示方法、装置、电子设备和存储介质
US20240249398A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN113837951A (zh) 图像亮度提高方法、装置、数据处理设备及存储介质
JP6838951B2 (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant