CN111292282A - 低比特位宽hdr图像的生成方法及装置、存储介质、终端 - Google Patents

低比特位宽hdr图像的生成方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN111292282A
CN111292282A CN202010071654.9A CN202010071654A CN111292282A CN 111292282 A CN111292282 A CN 111292282A CN 202010071654 A CN202010071654 A CN 202010071654A CN 111292282 A CN111292282 A CN 111292282A
Authority
CN
China
Prior art keywords
image
width
frame
split
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010071654.9A
Other languages
English (en)
Other versions
CN111292282B (zh
Inventor
刘春婷
接丹枫
张晓盟
陈欢
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010071654.9A priority Critical patent/CN111292282B/zh
Publication of CN111292282A publication Critical patent/CN111292282A/zh
Priority to US17/794,409 priority patent/US20230069014A1/en
Priority to PCT/CN2021/081721 priority patent/WO2021148057A1/zh
Priority to EP21744134.4A priority patent/EP4095793A4/en
Application granted granted Critical
Publication of CN111292282B publication Critical patent/CN111292282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Abstract

一种低比特位宽HDR图像的生成方法及装置、存储介质、终端，所述方法包括：确定待处理的高比特位宽HDR图像；对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。本方案可以在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。

Description

低比特位宽HDR图像的生成方法及装置、存储介质、终端
技术领域
本发明涉及通信技术领域，尤其涉及一种低比特位宽HDR图像的生成方法及装置、存储介质、终端。
背景技术
图像信号处理装置接收图像传感器原始(Raw)数据，经过处理后输出可以在屏幕上显示的图像。高动态范围(High dynamic range，HDR)图像通常具有较高的比特位宽，包含更多亮度和细节信息。HDR图像的获取方式包括将多帧不同曝光图像合成一帧HDR图像，或多帧等曝光图像合成一帧HDR图像，或由具有HDR功能的图像传感器输出。为了能够保留HDR数据完整的信息，需要能够接收和处理高比特位宽图像的信号处理装置。
现有的一些图像处理系统和装置能够处理的图像最大位宽通常低于HDR图像。随着HDR技术的发展，高动态范围图像处理的应用越来越多，为了保证图像精度没有损失，通常需要支持高比特位宽输入的图像处理系统。原有的低比特位宽图像处理系统在处理高比特位宽高动态范围图像时，需要预先将高比特位宽图像数据做降位宽处理。将高比特位宽数据移位或截断来降低位宽会造成图像动态范围的损失，影响图像质量。如果通过非线性压缩的方式将原高比特位宽数据的高位和低位信息保留在低比特位宽数据中输入图像处理系统，也会破坏图像原有数据的线性比例关系，在处理RAW图像数据时，会造成图像细节、颜色等的异常。
综上，亟需一种低比特位宽HDR图像的生成方法，可以在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。
发明内容
本发明解决的技术问题是提供一种低比特位宽HDR图像的生成方法及装置、存储介质、终端，可以在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。
为解决上述技术问题，本发明实施例提供一种低比特位宽HDR图像的生成方法，包括以下步骤：确定待处理的高比特位宽HDR图像；对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
可选的，对所述高比特位宽HDR图像进行拆分包括：确定拆分总增益；根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N；根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像；至少根据所述拆分总增益，确定第N帧拆分图像。
可选的，确定拆分图像总增益包括：将所述高比特位宽HDR图像转换为灰度图像；基于所述灰度图像得到统计累积直方图；根据所述统计累积直方图，确定第一预设像素概率的灰度统计累积值；采用预设的第一标准值除以所述第一预设像素概率的灰度统计累积值，得到第一商值，以作为所述拆分图像总增益。
可选的，其中，所述第一预设像素概率为第一预设像素概率范围的下限值。
可选的，确定拆分图像总增益包括：将所述高比特位宽HDR图像转换为灰度图像；基于所述灰度图像得到统计累积直方图；根据所述统计累积直方图，确定第二预设像素概率的灰度统计累积值；采用预设的第二标准值除以所述第二预设像素概率的灰度统计累积值，得到第二商值，以作为所述拆分图像总增益。
可选的，其中，所述第二预设像素概率为第二预设像素概率范围的上限值。
可选的，确定拆分图像总增益包括：将所述高比特位宽HDR图像转换为灰度图像；基于所述灰度图像得到统计累积直方图；根据所述统计累积直方图，确定第三预设像素概率范围内的灰度统计累积值的平均值；采用预设的平均标准值除以所述灰度统计累积值的平均值，得到第三商值，以作为所述拆分图像总增益。
可选的，采用下述公式，根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N：
Figure BDA0002377458220000031
其中，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益。
可选的，根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像包括：第N-1帧拆分图像为所述高比特位宽HDR图像与N-2个G_delta相乘得到的；其中，G_delta用于表示所述预设的单帧增益，N≥2。
可选的，至少根据所述拆分总增益，确定第N帧拆分图像包括：确定第N帧拆分图像为第N-1帧拆分图像与N帧增益的乘积；其中，所述N帧增益为G_total/(G_delta^(N-2))，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益。
可选的，至少根据所述拆分总增益，确定第N帧拆分图像包括：确定第N帧拆分图像为所述高比特位宽HDR图像与所述拆分总增益的乘积。
可选的，对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像包括：将所述N帧低比特位宽图像输入ISP处理单元，以输出处理后的N帧低比特位宽图像；对所述处理后的N帧低比特位宽图像进行融合处理，以得到低比特位宽HDR图像。
为解决上述技术问题，本发明实施例提供一种低比特位宽HDR图像的生成装置，包括以下步骤：高比特位宽HDR图像确定模块，适于确定待处理的高比特位宽HDR图像；拆分模块，适于对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；降位宽处理模块，适于分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；合成模块，适于对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述低比特位宽HDR图像的生成方法的步骤。
为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述低比特位宽HDR图像的生成方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，通过对高比特位宽HDR图像进行拆分，以得到N帧拆分图像，进而分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像，相比于现有技术中通过非线性压缩的方式直接将高比特位宽HDR图像的高位数据信息和低位数据信息保留在低比特位宽数据中，导致图像异常，采用本发明实施例的方案，可以在拆成N帧拆分图像后，有机会使得每帧低比特位宽图像包含高比特位宽图像的数值范围的信息的至少一部分，有助于使得N帧低比特位宽图像可以覆盖原高比特位宽的全部信息，从而在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。
进一步，在本发明实施例中，通过确定拆分总增益，预先设置单帧增益，可以确定拆分帧数N，并且采用不同的方式确定前N-1帧拆分图像以及第N帧拆分图像，从而有机会既设置所述N-1帧拆分图像分别包含原高比特位宽HDR图像的至少一部分信息，并且所述N-1帧拆分图像的信息量可以存在差别形成过渡，还有机会通过设置第N帧拆分图像，避免得到的图像仅受到单帧增益的影响，从而通过设置多个参数，进一步提高图像处理效果。
进一步，在本发明实施例中，通过设置第一预设像素概率为第一预设像素概率范围的下限值，可以得到更小的拆分总增益，从而使得到的低比特位宽HDR图像的增益较小，避免图像调整得过于明亮，更加适用于明亮场景，例如日间的场景。
进一步，在本发明实施例中，通过设置所述第二预设像素概率为第二预设像素概率范围的上限值，可以得到更大的拆分总增益，从而使得到的低比特位宽HDR图像的增益较大，避免图像调整得过于昏暗，更加适用于昏暗场景，例如夜晚的场景。
附图说明
图1是现有技术中一种图像处理单元的结构示意图；
图2是本发明实施例中一种低比特位宽HDR图像的生成方法的流程图；
图3是图2中步骤S21的一种具体实施方式的流程图；
图4是图3中步骤S31的第一种具体实施方式的流程图；
图5是本发明实施例中一种累积直方图的示意图；
图6是图3中步骤S31的第二种具体实施方式的流程图；
图7是图3中步骤S31的第三种具体实施方式的流程图；
图8是本发明实施例中一种低比特位宽HDR图像的生成装置的结构示意图。
具体实施方式
如前所述，为了能够保留HDR数据完整的信息，需要能够接收和处理高比特位宽图像的信号处理装置。现有的一些图像处理系统和装置能够处理的图像最大位宽通常低于HDR图像。随着HDR技术的发展，高动态范围图像处理的应用越来越多，为了保证图像精度没有损失，通常需要支持高比特位宽输入的图像处理系统。
参照图1，图1是现有技术中一种图像处理单元的结构示意图。所述图像处理单元12用于从原始图像输入单元11接收原始图像，然后将处理后的原始图像输出至存储单元13。
具体地，所述图像处理单元12可以包括原始图像处理子单元、彩色图像处理子单元以及图像后处理子单元，还可以包括其他适当的模块，此处不再赘述。
在具体实施中，一般的手机摄像头拍照的图像处理过程如图1所示。例如采用图像传感器输出拜耳(Bayer)原始(Raw)格式的图像到所述图像处理单元12，经过一系列处理输出保存可在显示设备上显示的图像。
本发明的发明人经过研究发现，在现有技术中，对同一场景拍摄多帧不同曝光的低比特位宽图像，经过所述图像处理单元12处理后，输出的多帧图像，通过多曝光合成的方式直接生成一张低比特位宽的HDR图像。当拍摄动态场景时，相机位移和物体运动不可避免地会造成图像模糊和运动物体的鬼影，需要在融合时增加对齐和去鬼影操作保证较好的图像质量，因此增加了融合过程的复杂度。当拍摄帧数较多时，较难满足实时HDR拍照的要求。
本发明的发明人经过研究进一步发现，目前的一些HDR技术可以在HDR图像生成的同时完成对齐和去鬼影操作，使对齐和去鬼影更加容易。有些具有HDR功能的图像传感器也可以输出无鬼影的HDR原始数据。然而，这些HDR原始数据的处理往往需要特殊设计的高比特位宽的图像处理装置，再经过动态范围压缩后，转换为能在显示设备上显示的低比特图像，限制了现有低比特位宽图像处理系统的应用。
在一个具体实施例中，现有的图像信号处理系统接收10比特原始(Raw)数据，将12比特或更高比特位宽的数据进行降位宽处理，容易导致多个比特位的精度损失，图像处理效果较差。
在本发明实施例中，确定待处理的高比特位宽HDR图像；对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。采用上述方案，通过对高比特位宽HDR图像进行拆分，以得到N帧拆分图像，进而分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像，相比于现有技术中通过非线性压缩的方式直接将高比特位宽HDR图像的高位数据信息和低位数据信息保留在低比特位宽数据中，导致图像异常，采用本发明实施例的方案，可以在拆成N帧拆分图像后，有机会使得每帧低比特位宽图像包含高比特位宽图像的数值范围的信息的至少一部分，有助于使得N帧低比特位宽图像可以覆盖原高比特位宽的全部信息，从而在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图2，图2是本发明实施例中一种低比特位宽HDR图像的生成方法的流程图。所述低比特位宽HDR图像的生成方法可以包括步骤S21至步骤S24：
步骤S21：确定待处理的高比特位宽HDR图像；
步骤S22：对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；
步骤S23：分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；
步骤S24：对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
在步骤S21的具体实施中，可以输入一帧高比特位宽高动态范围RAW图像，通常高于现有的图像处理(Image Signal Processor，ISP)系统，即当现有的ISP系统的处理数据位宽为10比特时，输入的图像数据位宽可以是12、14、16、20、24比特等。
在步骤S22的具体实施中，对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像。
参照图3，图3是图2中步骤S22的一种具体实施方式的流程图。所述对所述高比特位宽HDR图像进行拆分的步骤可以包括步骤S31至步骤S34，以下对各个步骤进行说明。
在步骤S31中，确定拆分总增益。
具体地，为了使原图像中的高亮细节和低亮细节在拆分图像中都较好的保留，在本发明实施例中，可以根据原始输入图像的像素值分布，估算图像低亮部分需要提升的亮度增益。
在本发明实施例的一种具体实施方式中，可以根据第一预设像素概率范围的下限值确定所述拆分总增益。
参照图4，图4是图3中步骤S31的第一种具体实施方式的流程图。所述确定拆分图像总增益的步骤可以包括步骤S41至步骤S44，以下对各个步骤进行说明。
在步骤S41中，将所述高比特位宽HDR图像转换为灰度图像。
具体地，可以采用常规的灰度图像转换技术，将所述高比特位宽HDR图像转换为灰度图像，在本发明实施例中，对于具体的灰度图像转换技术不做限制。
在步骤S42中，基于所述灰度图像得到统计累积直方图。
参照图5，图5是本发明实施例中一种累积直方图的示意图。
具体地，可以将输入图像转换为灰度图像并统计累积直方图，预设一个像素概率分布范围[p0，p1]作为待统计区域，其中，所述待统计区域通常为低亮区域，以后续采用计算得到的增益进行加亮处理。
其中，所述累积直方图可以视为灰度级的函数，用于表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。如图5中示出的即为最大值bin_p1和最小值bin_p0。
需要指出的是，可以采用常规的统计技术，对所述灰度图像统计累积直方图，在本发明实施例中，对于具体的统计技术不做限制。
在步骤S43中，根据所述统计累积直方图，确定第一预设像素概率的灰度统计累积值。
进一步地，所述第一预设像素概率可以为第一预设像素概率范围的下限值。
其中，所述第一预设像素概率范围可以为所述待统计区域[p0，p1]，还可以为其他适当的区域，每个区域可以采用最小概率(即预设像素概率范围的下限值)以及最大概率(即预设像素概率范围的上限值)表示。
在步骤S44中，采用预设的第一标准值除以所述第一预设像素概率的灰度统计累积值，得到第一商值，以作为所述拆分图像总增益。
具体地，可以采用预设的第一标准值除以所述第一预设像素概率范围的下限值，得到第一商值，以作为所述拆分图像总增益：
G_total＝target_0/bin_p0。
其中，G_total用于表示所述拆分总增益，target_0用于表示预设的第一标准值，bin_p0用于表示所述第一预设像素概率范围的下限值。
在本发明实施例中，通过设置预设的第一标准值，有利于根据实际情况，通过调整所述第一标准值，及时调整所述拆分总增益。
在本发明实施例中，通过设置第一预设像素概率为第一预设像素概率范围的下限值，可以得到更小的拆分总增益，从而使得到的低比特位宽HDR图像的增益较小，避免图像调整得过于明亮，更加适用于明亮场景，例如日间的场景。
继续参照图3，在步骤S31中，在本发明实施例的另一种具体实施方式中，可以根据第一预设像素概率范围的上限值确定所述拆分总增益。
参照图6，图6是图3中步骤S31的第二种具体实施方式的流程图。所述确定拆分图像总增益的步骤可以包括步骤S61至步骤S64，以下对各个步骤进行说明。
在步骤S61中，将所述高比特位宽HDR图像转换为灰度图像。
在步骤S62中，基于所述灰度图像得到统计累积直方图。
具体地，所述累积直方图可以参照图5示出的累积直方图。
具体地，可以将输入图像转换为灰度图像并统计累积直方图，预设一个像素概率分布范围[p0，p1]作为待统计区域，其中，所述待统计区域通常为低亮区域，以后续采用计算得到的增益进行加亮处理。
其中，所述累积直方图可以视为灰度级的函数，用于表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。如图5中示出的即为最大值bin_p1和最小值bin_p0。
在步骤S63中，根据所述统计累积直方图，确定第二预设像素概率的灰度统计累积值。
进一步地，所述第二预设像素概率可以为第二预设像素概率范围的上限值。
其中，所述第二预设像素概率范围可以为所述待统计区域[p0，p1]，还可以为其他适当的区域，每个区域可以采用最小概率(即预设像素概率范围的下限值)以及最大概率(即预设像素概率范围的上限值)表示。
在步骤S64中，采用预设的第二标准值除以所述第二预设像素概率的灰度统计累积值，得到第二商值，以作为所述拆分图像总增益。
具体地，可以采用预设的第二标准值除以所述第二预设像素概率范围的上限值，得到第二商值，以作为所述拆分图像总增益：
G_total＝target_1/bin_p1。
其中，G_total用于表示所述拆分总增益，target_1用于表示预设的第二标准值，bin_p1用于表示所述第二预设像素概率范围的下限值。
在本发明实施例中，通过设置预设的第二标准值，有利于根据实际情况，通过调整所述第二标准值，及时调整所述拆分总增益。
在本发明实施例中，通过设置所述第二预设像素概率为第二预设像素概率范围的上限值，可以得到更大的拆分总增益，从而使得到的低比特位宽HDR图像的增益较大，避免图像调整得过于昏暗，更加适用于昏暗场景，例如夜晚的场景。
继续参照图3，在步骤S31中，在本发明实施例的又一种具体实施方式中，可以根据第三预设像素概率范围的平均值确定所述拆分总增益。
参照图7，图7是图3中步骤S31的第三种具体实施方式的流程图。所述确定拆分图像总增益的步骤可以包括步骤S71至步骤S74，以下对各个步骤进行说明。
在步骤S71中，将所述高比特位宽HDR图像转换为灰度图像。
在步骤S72中，基于所述灰度图像得到统计累积直方图。
具体地，所述累积直方图可以参照图5示出的累积直方图。
具体地，可以将输入图像转换为灰度图像并统计累积直方图，预设一个像素概率分布范围[p0，p1]作为待统计区域，其中，所述待统计区域通常为低亮区域，以后续采用计算得到的增益进行加亮处理。
其中，所述累积直方图可以视为灰度级的函数，用于表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。如在图5中，可以根据最大值bin_p1和最小值bin_p0之间的像素个数计算平均值bin_avg。
在步骤S73中，根据所述统计累积直方图，确定第三预设像素概率范围内的灰度统计累积值的平均值。
其中，所述第三预设像素概率范围可以为所述待统计区域[p0，p1]，还可以为其他适当的区域，每个区域可以采用最小概率(即预设像素概率范围的下限值)以及最大概率(即预设像素概率范围的上限值)表示，并可以根据最大值和最小值之间的像素个数计算平均值。
在步骤S74中，采用预设的平均标准值除以所述灰度统计累积值的平均值，得到第三商值，以作为所述拆分图像总增益。
具体地，可以采用预设的平均标准值除以所述灰度统计累积值的平均值，得到第三商值，以作为所述拆分图像总增益：
G_total＝target_avg/bin_avg。
其中，G_total用于表示所述拆分总增益，target_avg用于表示预设的平均标准值，bin_avg用于表示所述灰度统计累积值的平均值。
在本发明实施例中，通过设置预设的平均标准值，有利于根据实际情况，通过调整所述平均标准值，及时调整所述拆分总增益。
在本发明实施例中，通过设置第三预设像素概率范围内的灰度统计累积值的平均值，可以得到适中的拆分总增益，从而使得到的低比特位宽HDR图像的增益较为适中，避免图像调整得过于昏暗或者过于明亮，更加适用于常规场景。
继续参照图3，在步骤S32中，根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N。
具体地，可以采用下述公式，根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N：
Figure BDA0002377458220000111
其中，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益，
Figure BDA0002377458220000112
用于表示向上取整。
在步骤S33中，根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像。
具体地，根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像的步骤可以包括：第N-1帧拆分图像为所述高比特位宽HDR图像与N-2个G_delta相乘得到的；其中，G_delta用于表示所述预设的单帧增益，N≥2。
在本发明实施例的一种具体实施方式中，可以得到下述拆分图像：
第一帧：原始帧，可以为所述高比特位宽HDR图像；
第二帧：第一帧×G_delta；
第三帧：第二帧×G_delta；
……
第N-1帧：第N-2帧×G_delta。
在步骤S34中，至少根据所述拆分总增益，确定第N帧拆分图像。
在本发明实施例的一种具体实施方式中，至少根据所述拆分总增益，确定第N帧拆分图像的步骤可以包括：确定第N帧拆分图像为第N-1帧拆分图像与N帧增益的乘积。也即：
第N帧：第N-1帧×(G_total/(G_delta^(N-2)))；
其中，所述N帧增益为G_total/(G_delta^(N-2))，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益。
在本发明实施例的又一种具体实施方式中，至少根据所述拆分总增益，确定第N帧拆分图像的步骤可以包括：确定第N帧拆分图像为所述高比特位宽HDR图像与所述拆分总增益的乘积，也即：
第N帧：原始帧×G_total；
其中，G_total用于表示所述拆分总增益。
在本发明实施例中，通过确定拆分总增益，预先设置单帧增益，可以确定拆分帧数N，并且采用不同的方式确定前N-1帧拆分图像以及第N帧拆分图像，从而有机会既设置所述N-1帧拆分图像分别包含原高比特位宽HDR图像的至少一部分信息，并且所述N-1帧拆分图像的信息量可以存在差别形成过渡，还有机会通过设置第N帧拆分图像，避免得到的图像仅受到单帧增益的影响，从而通过设置多个参数，进一步提高图像处理效果。
继续参照图2，在步骤S23的具体实施中，可以分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像。
具体地，可以采用常规的降位宽处理技术进行，在本发明实施例中，对此不做限制。
在步骤S24的具体实施中，对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像的步骤可以包括：将所述N帧低比特位宽图像输入ISP处理单元，以输出处理后的N帧低比特位宽图像；对所述处理后的N帧低比特位宽图像进行融合处理，以得到低比特位宽HDR图像。
具体地，将拆分后的每帧图像输入ISP处理单元，通常经过ISP处理单元后输出的是可以在显示设备上显示的低比特位宽图像。进而由图像信号处理单元输出N帧不同亮度的低比特位宽图像，融合成一帧低比特位宽HDR图像。更具体地，可以选用多曝光图像HDR合成的方法进行融合，在本发明实施例中，对此不做限制。
在本发明实施例中，通过对高比特位宽HDR图像进行拆分，以得到N帧拆分图像，进而分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像，相比于现有技术中通过非线性压缩的方式直接将高比特位宽HDR图像的高位数据信息和低位数据信息保留在低比特位宽数据中，导致图像异常，采用本发明实施例的方案，可以在拆成N帧拆分图像后，有机会使得每帧低比特位宽图像包含高比特位宽图像的数值范围的信息的至少一部分，有助于使得N帧低比特位宽图像可以覆盖原高比特位宽的全部信息，从而在降低数据的比特位宽时，有效地降低图形的精度损失，达到更好的图像处理效果。
参照图8，图8是本发明实施例中一种低比特位宽HDR图像的生成装置的结构示意图。所述低比特位宽HDR图像的生成装置可以包括：
高比特位宽HDR图像确定模块81，适于确定待处理的高比特位宽HDR图像；
拆分模块82，适于对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；
降位宽处理模块83，适于分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；
合成模块84，适于对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
关于该低比特位宽HDR图像的生成装置的原理、具体实现和有益效果请参照前文及图2至图7示出的关于低比特位宽HDR图像的生成方法的相关描述，此处不再赘述。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述低比特位宽HDR图像的生成方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述低比特位宽HDR图像的生成方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种低比特位宽HDR图像的生成方法，其特征在于，包括以下步骤：
确定待处理的高比特位宽HDR图像；
对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；
分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；
对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
2.根据权利要求1所述的低比特位宽HDR图像的生成方法，其特征在于，对所述高比特位宽HDR图像进行拆分包括：
确定拆分总增益；
根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N；
根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像；
至少根据所述拆分总增益，确定第N帧拆分图像。
3.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，确定拆分图像总增益包括：
将所述高比特位宽HDR图像转换为灰度图像；
基于所述灰度图像得到统计累积直方图；
根据所述统计累积直方图，确定第一预设像素概率的灰度统计累积值；
采用预设的第一标准值除以所述第一预设像素概率的灰度统计累积值，得到第一商值，以作为所述拆分图像总增益。
4.根据权利要求3所述的低比特位宽HDR图像的生成方法，其特征在于，其中，所述第一预设像素概率为第一预设像素概率范围的下限值。
5.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，确定拆分图像总增益包括：
将所述高比特位宽HDR图像转换为灰度图像；
基于所述灰度图像得到统计累积直方图；
根据所述统计累积直方图，确定第二预设像素概率的灰度统计累积值；
采用预设的第二标准值除以所述第二预设像素概率的灰度统计累积值，得到第二商值，以作为所述拆分图像总增益。
6.根据权利要求5所述的低比特位宽HDR图像的生成方法，其特征在于，其中，所述第二预设像素概率为第二预设像素概率范围的上限值。
7.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，确定拆分图像总增益包括：
将所述高比特位宽HDR图像转换为灰度图像；
基于所述灰度图像得到统计累积直方图；
根据所述统计累积直方图，确定第三预设像素概率范围内的灰度统计累积值的平均值；
采用预设的平均标准值除以所述灰度统计累积值的平均值，得到第三商值，以作为所述拆分图像总增益。
8.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，采用下述公式，根据预设的单帧增益以及所述拆分总增益，确定拆分帧数N：
Figure FDA0002377458210000021
其中，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益。
9.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，根据所述预设的单帧增益以及所述高比特位宽HDR图像，确定第1帧至第N-1帧拆分图像包括：
第N-1帧拆分图像为所述高比特位宽HDR图像与N-2个G_delta相乘得到的；
其中，G_delta用于表示所述预设的单帧增益，N≥2。
10.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，至少根据所述拆分总增益，确定第N帧拆分图像包括：
确定第N帧拆分图像为第N-1帧拆分图像与N帧增益的乘积；
其中，所述N帧增益为G_total/(G_delta^(N-2))，G_total用于表示所述拆分总增益，G_delta用于表示所述预设的单帧增益。
11.根据权利要求2所述的低比特位宽HDR图像的生成方法，其特征在于，至少根据所述拆分总增益，确定第N帧拆分图像包括：
确定第N帧拆分图像为所述高比特位宽HDR图像与所述拆分总增益的乘积。
12.根据权利要求1所述的低比特位宽HDR图像的生成方法，其特征在于，对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像包括：
将所述N帧低比特位宽图像输入ISP处理单元，以输出处理后的N帧低比特位宽图像；
对所述处理后的N帧低比特位宽图像进行融合处理，以得到低比特位宽HDR图像。
13.一种低比特位宽HDR图像的生成装置，其特征在于，包括以下步骤：
高比特位宽HDR图像确定模块，适于确定待处理的高比特位宽HDR图像；
拆分模块，适于对所述高比特位宽HDR图像进行拆分，以得到N帧拆分图像；
降位宽处理模块，适于分别对第1帧至第N帧拆分图像进行降位宽处理，以得到N帧低比特位宽图像；
合成模块，适于对所述N帧低比特位宽图像进行合成，以得到所述低比特位宽HDR图像。
14.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至12任一项所述低比特位宽HDR图像的生成方法的步骤。
15.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至12任一项所述低比特位宽HDR图像的生成方法的步骤。
CN202010071654.9A 2020-01-21 2020-01-21 低比特位宽hdr图像的生成方法及装置、存储介质、终端 Active CN111292282B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010071654.9A CN111292282B (zh) 2020-01-21 2020-01-21 低比特位宽hdr图像的生成方法及装置、存储介质、终端
US17/794,409 US20230069014A1 (en) 2020-01-21 2021-03-19 Method and apparatus for generating low bit width hdr image, storage medium, and terminal
PCT/CN2021/081721 WO2021148057A1 (zh) 2020-01-21 2021-03-19 低比特位宽hdr图像的生成方法及装置、存储介质、终端
EP21744134.4A EP4095793A4 (en) 2020-01-21 2021-03-19 METHOD AND APPARATUS FOR GENERATING LOW BIT WIDTH HDR IMAGE, RECORDING MEDIUM AND TERMINAL

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071654.9A CN111292282B (zh) 2020-01-21 2020-01-21 低比特位宽hdr图像的生成方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN111292282A true CN111292282A (zh) 2020-06-16
CN111292282B CN111292282B (zh) 2023-02-17

Family

ID=71026680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071654.9A Active CN111292282B (zh) 2020-01-21 2020-01-21 低比特位宽hdr图像的生成方法及装置、存储介质、终端

Country Status (4)

Country Link
US (1) US20230069014A1 (zh)
EP (1) EP4095793A4 (zh)
CN (1) CN111292282B (zh)
WO (1) WO2021148057A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885312A (zh) * 2020-07-27 2020-11-03 展讯通信（上海）有限公司 Hdr图像的成像方法、系统、电子设备及存储介质
WO2021148057A1 (zh) * 2020-01-21 2021-07-29 展讯通信（上海）有限公司 低比特位宽hdr图像的生成方法及装置、存储介质、终端
CN113409219A (zh) * 2021-06-28 2021-09-17 展讯通信（上海）有限公司 提升hdr图像质量的方法和装置
CN114157849A (zh) * 2020-09-07 2022-03-08 联发科技股份有限公司 图像处理方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587213B1 (en) * 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744157A (zh) * 2016-02-02 2016-07-06 西安电子科技大学 一种图像像素采样值转换、采样值处理方法及装置
CN105827971A (zh) * 2016-03-31 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US9413980B1 (en) * 2015-03-17 2016-08-09 Via Alliance Semiconductor Co., Ltd. Methods for generating HDR (high dynamic range) images and apparatuses using the same
CN106851138A (zh) * 2017-04-11 2017-06-13 成都聚像光学技术有限公司 一种基于hdr的图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186020A (zh) * 2010-01-13 2011-09-14 株式会社尼康 图像处理装置、图像处理方法
CN103325098A (zh) * 2013-07-02 2013-09-25 南京理工大学 基于多尺度处理的高动态红外图像增强方法
CN105513029B (zh) * 2015-11-26 2018-06-08 天津津航技术物理研究所 一种两段式红外热像仪自动增益控制方法
US20190313005A1 (en) * 2018-04-05 2019-10-10 Qualcomm Incorporated Tone mapping for high-dynamic-range images
CN110049332A (zh) * 2019-04-11 2019-07-23 深圳市朗驰欣创科技股份有限公司 一种图像压缩方法、图像压缩装置及电子设备
CN111292282B (zh) * 2020-01-21 2023-02-17 展讯通信（上海）有限公司 低比特位宽hdr图像的生成方法及装置、存储介质、终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413980B1 (en) * 2015-03-17 2016-08-09 Via Alliance Semiconductor Co., Ltd. Methods for generating HDR (high dynamic range) images and apparatuses using the same
CN105744157A (zh) * 2016-02-02 2016-07-06 西安电子科技大学 一种图像像素采样值转换、采样值处理方法及装置
CN105827971A (zh) * 2016-03-31 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106851138A (zh) * 2017-04-11 2017-06-13 成都聚像光学技术有限公司 一种基于hdr的图像处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021148057A1 (zh) * 2020-01-21 2021-07-29 展讯通信（上海）有限公司 低比特位宽hdr图像的生成方法及装置、存储介质、终端
CN111885312A (zh) * 2020-07-27 2020-11-03 展讯通信（上海）有限公司 Hdr图像的成像方法、系统、电子设备及存储介质
CN111885312B (zh) * 2020-07-27 2021-07-09 展讯通信（上海）有限公司 Hdr图像的成像方法、系统、电子设备及存储介质
CN114157849A (zh) * 2020-09-07 2022-03-08 联发科技股份有限公司 图像处理方法和装置
CN113409219A (zh) * 2021-06-28 2021-09-17 展讯通信（上海）有限公司 提升hdr图像质量的方法和装置
CN113409219B (zh) * 2021-06-28 2022-11-25 展讯通信（上海）有限公司 提升hdr图像质量的方法和装置

Also Published As

Publication number Publication date
CN111292282B (zh) 2023-02-17
EP4095793A1 (en) 2022-11-30
US20230069014A1 (en) 2023-03-02
WO2021148057A1 (zh) 2021-07-29
EP4095793A4 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
CN111292282B (zh) 低比特位宽hdr图像的生成方法及装置、存储介质、终端
US7570390B2 (en) Image processing device and method
US8654221B2 (en) Image processing device and method, and program
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN102045506A (zh) 图像处理装置及图像处理方法
CN110009587B (zh) 图像处理方法、装置、存储介质及电子设备
JP2009071621A (ja) 画像処理装置及びデジタルカメラ
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
KR101113483B1 (ko) 컬러 영상의 가시성 향상 장치 및 방법
CN105993170A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
JP2016173477A (ja) 画像表示装置及びその制御方法
CN100477805C (zh) 图像处理装置及使用它的图像显示装置、图像处理方法
KR100513273B1 (ko) 동영상 신호의 실시간 밝기 제어 장치 및 방법
US10387999B2 (en) Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method
KR20140132141A (ko) 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2012231441A (ja) 画像処理システム
CN111539975A (zh) 一种运动目标的检测方法、装置、设备及存储介质
US9813626B2 (en) Image sensor, operating method therefor, and electronic device
CN114979500B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2000350054A (ja) ガンマ処理装置
US20230169761A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP4787403B2 (ja) 自動露出装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant