CN106791471B - 图像优化方法、图像优化装置和终端 - Google Patents

图像优化方法、图像优化装置和终端 Download PDF

Info

Publication number
CN106791471B
CN106791471B CN201611241790.8A CN201611241790A CN106791471B CN 106791471 B CN106791471 B CN 106791471B CN 201611241790 A CN201611241790 A CN 201611241790A CN 106791471 B CN106791471 B CN 106791471B
Authority
CN
China
Prior art keywords
image
main
image data
main body
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611241790.8A
Other languages
English (en)
Other versions
CN106791471A (zh
Inventor
吴福华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN201611241790.8A priority Critical patent/CN106791471B/zh
Publication of CN106791471A publication Critical patent/CN106791471A/zh
Application granted granted Critical
Publication of CN106791471B publication Critical patent/CN106791471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像优化方法、图像优化装置和终端，涉及图像处理技术领域，其中，图像优化方法包括：获取图像中的主体图像数据；将主体图像数据的RGB模型转换成HSV模型；增强HSV模型的V通道中的部分像素以对主体图像进行补光，对所述图像的主体图像之外的部分进行曝光增强处理。本发明提供的技术方案，通过局部亮度增强的方式优化图像中的主体部分，解决逆光拍摄的图像中主体部分发黑的问题，提升了偏黑主体部分的亮度以使用户获得更清晰的观感，达到优化图像的目的。

Description

图像优化方法、图像优化装置和终端
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像优化方法、一种图像优化装置和一种终端。
背景技术
现有技术中，对于在背光情形下拍摄的成像效果较差的照片，通常通过HDR进行一定的弥补。HDR全称为High Dynamic Range，即高动态范围。开启该功能时，在拍照时，会连拍三张照片，分别对应欠曝光、正常曝光和过曝光，再合成为一幅图片，提升暗部和亮部的细节表现。
发明人在实现本发明的过程中发现：HDR对拍摄得到的整幅图像进行全局的处理，在拍摄主体图像的场景中此种情况可能会失效，因为此时即使过曝光后对于主体图像部分的曝光仍然不够，虽然有着一定的效果，但是还是会存在偏黑的情况。
因此，如何优化图像中发黑的主体部分同时又不会使得主体之外的部分过度曝光成为亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提出了一种图像优化方法。
本发明的另一个目的在于提供了一种图像优化装置。
本发明的再一个目的在于提供了一种终端。
为实现上述目的，根据本发明的第一方面的技术方案，提出了一种图像优化方法，包括：获取图像中的主体图像数据；将主体图像数据的RGB模型转换成HSV模型；增强HSV模型的V通道中的部分像素以对主体图像进行补光；对图像中主体图像之外的部分进行曝光增强处理。
根据本发明的技术方案的图像优化方法，主体图像即图片中的前景对象，或者说是重点表达的对象，在逆光拍摄的情境下，主体图像(前景图像)出现亮度不足的情况，而背景(或中景)的亮度则明显高于拍摄主体，为了给偏黑的主体图像补光，同时又不会将主体之外的背景图像(中景)过度曝光，首先获取整个图像的主体部分的图像数据，由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体部分的图像的亮度，对HSV模型的V通道中的部分像素(并非全部像素)进行增强以对主体图像进行补光。对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，同时为了使图像中的主体部分与周围部分能够融合，还需要对图像中主体图像之外的部分进行曝光增强处理。总体上，根据该技术方案一方面对图像主体部分的亮度重点增强，一方面对主体周围的部分进行较轻程度地曝光补偿，以此方法提升图像的整体亮度，防止出现部分图像过曝光的同时另一部分图像曝光不足的情况，解决逆光拍摄的图像中主体部分发黑的问题，提升了偏黑主体部分的亮度以使用户获得更清晰的观感，达到更好的优化效果。
在上述技术方案中，优选地，在获取图像中的主体图像数据之前，还包括：利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据。
在该技术方案中，逆光拍摄的主体(前景物体)在图像中的表现一般为，发黑情况较为严重，利用图像识别技术划定图像中偏黑的主体部分，对此部分的图像数据进行提取。例如，利用相机中较为成熟的“人脸检测”技术，定位逆光的人脸(即确定图像优化的重点)，之后对人脸部分进行重点补光，对人脸之外的部分(背景)，或者人脸之外的身体部分(中景)进行较轻程度的曝光补偿。其中，图像识别技术为根据图像特征进行对象选取的技术，例如，根据人脸的眼睛定位人脸，选取“人脸”这个对象，或者根据图形的边缘信息识别出建筑的轮廓，选取“建筑”这个对象。
在上述技术方案中，部分像素为V通道明度值大于第一阈值小于第二阈值的像素，其中，所述第一阈值小于所述第二阈值。
在该技术方案中，提取了需要重点增强的主体部分数据以后，根据HSV模型的V通道直方图筛选需要增强的像素，即在V通道中，0表示亮度值达到最小，1表示亮度值达到最大，增强低照度图像的亮度即意味着增强亮度值偏小的像素，具体地，将第一阈值设置为1/255(根据V通道的直方图统计结果，第一阈值可上下调整)，将第二阈值设置为0.95(根据V通道的直方图统计结果，第二阈值可上下调整)。
在上述技术方案中，优选地，提取逆光主体区域的主体图像数据，具体包括：将逆光主体区域扩大一定倍数，提取扩大后的逆光主体区域中的图像数据。
在该技术方案中，识别出主体区域以后，不直接提取此区域中的图像数据，将提取范围扩大一定倍数再进行图像数据提取。例如，利用人脸检测技术生成人脸选框之后，将此选框扩大至1.2倍，本来只能圈选人脸部分的选框，也圈选到了人脸之下的颈部，同时对人脸和颈部进行亮度增强，获得更好的优化效果。
在上述技术方案中，优选地，对图像中主体图像之外的部分进行曝光增强处理，具体包括：按照图像中各个元素的景深对各个元素进行不同程度的曝光增强；或者以主体图像为中心成辐射状地进行不同强度的背景曝光增强。
在该技术方案中，主体之外的部分采用曝光增强的方法进行亮度调整，曝光增强也包括负增强，元素即图片中的对象或者物体，为了使整幅图像和谐，按照图像中各个元素的景深对各个元素进行不同程度的曝光增强，或者以主体图像为中心成辐射状地进行不同强度的背景曝光增强，将利用不同技术手段进行增强的主体部分和背景部分更好地融合起来，具有更好的视觉效果。例如，若临近主体的中景亮度较低，则进行正向曝光补偿，若临近主体有一光源，光源亮度极高，则对光源进行反向的曝光补偿。
在上述技术方案中，优选地，所述主体图像数据为人脸图像数据。
在该技术方案中，图像识别过程可以利用相机中较为成熟的“人脸检测”手段，识别出待优化图像中的人脸，根据V通道亮度值统计，对第一阈值第二阈值之间的像素进行增强，解决了逆光拍摄人脸图像时，容易出现的人脸偏黑问题。
在上述技术方案中，优选地，还包括：通过γ校正进一步增强亮度或降低亮度，使得主体部分呈现出最佳观感。
在该技术方案中，通过γ校正的方法进一步调整图像的整体亮度或部分亮度，使得优化结果更加符合个人观感。例如，主体图像进行HSV模型V通道像素增强后，再对主体之外的部分进行曝光补偿，完成图像的优化。如果优化结果不能很好地满足用户的个人审美，这个时候通过γ校正的方式提高图像亮度观感或者降低亮度观感，使优化结果更符合用户需求。
根据本发明的第二方面的技术方案，提出了一种图像优化装置，包括：获取单元，获取图像中的主体图像数据；转换单元，将主体图像数据的RGB模型转换成HSV模型；补光单元，增强HSV模型的V通道中的部分像素以对主体图像进行补光；融合单元，对图像中主体图像之外的部分进行曝光增强处理。
根据本发明的技术方案的图像优化装置，主体图像即图片中的前景对象，或者说是重点表达的对象，在逆光拍摄的情境下，主体图像(前景图像)出现亮度不足的情况，而背景(或中景)的亮度则明显高于拍摄主体，为了给偏黑的主体图像补光，同时又不会将主体之外的背景图像(中景)过度曝光，首先获取整个图像的主体部分的图像数据，由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体部分的图像的亮度，对HSV模型的V通道中的部分像素(并非全部像素)进行增强以对主体图像进行补光。对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，同时为了使图像中的主体部分与周围部分能够融合，还需要对图像中主体图像之外的部分进行曝光增强处理。总体上，根据该技术方案一方面对图像主体部分的亮度重点增强，一方面对主体周围的部分进行较轻程度地曝光补偿，以此方法提升图像的整体亮度，防止出现部分图像过曝光的同时另一部分图像曝光不足的情况，解决逆光拍摄的图像中主体部分发黑的问题，提升了偏黑主体部分的亮度以使用户获得更清晰的观感，达到更好的优化效果。
在上述技术方案中，优选地，还包括：识别单元，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据。
在该技术方案中，逆光拍摄的主体(前景物体)在图像中的表现一般为，发黑情况较为严重，利用图像识别技术划定图像中偏黑的主体部分，对此部分的图像数据进行提取。例如，利用相机中较为成熟的“人脸检测”技术，定位逆光的人脸(即确定图像优化的重点)，之后对人脸部分进行重点补光，对人脸之外的部分(背景)，或者人脸之外的身体部分(中景)进行较轻程度的曝光补偿。其中，图像识别技术为根据图像特征进行对象选取的技术，例如，根据人脸的眼睛定位人脸，选取“人脸”这个对象，或者根据图形的边缘信息识别出建筑的轮廓，选取“建筑”这个对象。
在上述技术方案中，优选地，部分像素为V通道明度值大于第一阈值小于第二阈值的像素，其中，第一阈值小于第二阈值。
在该技术方案中，提取了需要重点增强的主体部分数据以后，根据HSV模型的V通道直方图筛选需要增强的像素，即在亮度通道中，0表示亮度值达到最小，1表示亮度值达到最大，增强低照度图像的亮度即意味着增强亮度值偏小的像素，具体地，将第一阈值设置为1/255(可根据具体情况进行调整)，将第二阈值设置为0.95(可根据具体情况进一步调整)。
在上述技术方案中，优选地，识别单元，具体用于：将逆光主体区域扩大一定倍数，提取扩大后的逆光主体区域中的图像数据。
在该技术方案中，识别出主体区域以后，不直接提取此区域中的图像数据，将提取范围扩大一定倍数再进行图像数据提取。例如，利用人脸检测技术生成人脸选框之后，将此选框扩大至1.2倍，本来只能圈选人脸部分的选框，也圈选到了人脸之下的颈部，同时对人脸和颈部进行亮度增强，获得更好的优化效果。
在上述技术方案中，优选地，融合单元，具体用于：按照图像中各个元素的景深对各个元素进行不同程度的曝光增强；或者以主体图像为中心成辐射状地进行不同强度的背景曝光增强。
在该技术方案中，主体之外的部分采用曝光增强的方法进行亮度调整，曝光增强也包括负增强，元素即图片中的对象或者物体，为了使整幅图像和谐，按照图像中各个元素的景深对各个元素进行不同程度的曝光增强，或者以主体图像为中心成辐射状地进行不同强度的背景曝光增强，将利用不同技术手段进行增强的主体部分和背景部分更好地融合起来，具有更好的视觉效果。例如，若临近主体的中景亮度较低，则进行正向曝光补偿，若临近主体有一光源，光源亮度极高，则对光源进行反向的曝光补偿。
在上述技术方案中，优选地，所述主体图像数据为人脸图像数据。
在该技术方案中，图像识别过程可以利用相机中较为成熟的“人脸检测”手段，识别出待优化图像中的人脸，根据V通道亮度值统计，对第一阈值第二阈值之间的像素进行增强，解决了逆光拍摄人脸图像时，容易出现的人脸偏黑问题。
在上述技术方案中，优选地，还包括：
校正单元，通过γ校正进一步增强亮度或降低亮度，使得主体部分呈现出最佳观感。
在该技术方案中，通过γ校正的方法进一步调整图像的整体亮度或部分亮度，使得优化结果更加符合个人观感。例如，主体图像进行HSV模型V通道像素增强后，再对主体之外的部分进行曝光补偿，完成图像的优化。如果优化结果不能很好地满足用户的个人审美，这个时候通过γ校正的方式提高图像亮度观感或者降低亮度观感，使优化结果更符合用户需求。
根据本发明的第三方面的技术方案，提出了一种终端，其特征在于，包括：如上述实施例中所述的图像优化装置。
根据本发明的第三方面技术方案的终端，通过对图像的主体部分进行局部光照增强，较好地改善了图像中主体图像的亮度；而且将图像中主体图像之外的的部分进行不同程度的曝光增强(当然，根据实际情况，有时候也需要减少曝光量)，保证了图像整体上亮度具有不同梯度的增强，使图像中主体图像获得了较强的亮度增强，而图像中主体图像之外的部分也不会过曝，使分区增强后的图像的主体部分与背景部分更加融合，具有更好的视觉效果。
本发明通过局部亮度增强的方式优化图像中的主体部分，解决逆光拍摄的图像中主体部分发黑的问题，提升了偏黑主体部分的亮度以使用户获得更清晰的观感，达到优化图像的目的。总体上看，本发明一方面对图像主体部分的亮度重点增强，一方面对主体周围的部分进行较轻程度地曝光补偿，对高光部分不做增强，以此方法提升图像的整体亮度，防止出现部分图像过曝光的同时另一部分图像曝光不足的情况，达到更好的优化效果。
附图说明
图1示出了根据本发明的第一方面的一个实施例的图像优化方法的流程示意图。
图2示出了根据本发明的第一方面的再一个实施例的图像优化方法的流程示意图。
图3示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
图4示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
图5示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
图6示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
图7示出了根据本发明的第二方面的一个实施例的图像优化装置的示意图。
图8示出了根据本发明的第二方面的一个实施例的图像优化装置的示意图。
图9示出了根据本发明的第二方面的又一个实施例的图像优化装置的示意图。
图10示出了根据本发明的第三方面的一个实施例的终端的示意图。
图11示出了根据本发明实施例的图像优化方法的一种实施方式流程图。
图12示出了根据本发明实施例的人脸检测的流程图和预期结果示意图。
图13示出了根据本发明实施例的经局部光照增强处理后的图像示意图。
图14示出了根据本发明实施例的经与周围图像融合处理后的图像示意图。
图15示出了根据本发明实施例的终端硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的第一方面的一个实施例的图像优化方法的流程示意图。
如图1所示，图像优化方法，包括：
步骤102，获取图像中的主体图像数据；
步骤104，将主体图像数据的RGB模型转换成HSV模型；
步骤106，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
在该实施例中，通过步骤102，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤104，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤106，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度。
图2示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
如图2所示，图像优化方法，包括：
步骤202，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据
步骤204，获取图像中的主体图像数据；
步骤206，将主体图像数据的RGB模型转换成HSV模型；
步骤208，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
在该实施例中，步骤202，利用图像识别技术提取逆光主体区域的主体图像数据，为步骤204做准备，接下来通过步骤204，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤206，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤208，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度。
另外，在该是实例中，部分像素为V通道明度值大于第一阈值小于第二阈值的像素，具体地，第一阈值为1/255左右，第二阈值为0.95左右。
图3示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
如图3所示，图像优化方法，包括：
步骤302，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据；
步骤304，获取图像中的主体图像数据；
步骤306，将主体图像数据的RGB模型转换成HSV模型；
步骤308，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
步骤310，对图像中主体图像之外的部分进行曝光增强处理。
在该实施例中，步骤302，利用图像识别技术提取逆光主体区域的主体图像数据，为步骤304做准备，接下来通过步骤304，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤306，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤308，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，最后，为了使图像中的主体图像与周围图像能够融合，步骤310，对图像中主体图像的部分进行曝光增强处理，即提升中主体图像之外部分的亮度。
图4示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
如图4所示，图像优化方法，包括：
步骤402，利用图像识别技术，划定图像的逆光主体区域，将逆光主体区域扩大一定倍数，提取扩大后的逆光主体区域中的图像数据；
步骤404，获取图像中的主体图像数据；
步骤406，将主体图像数据的RGB模型转换成HSV模型；
步骤408，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
步骤410，对图像中主体图像之外的部分进行曝光增强处理。
在该实施例中，步骤402，利用图像识别技术提取逆光主体区域的主体图像数据，为了显示良好，将逆光主体区域进行扩大一定的倍数，该倍数可以预设，也可以根据逆光主体区域的大小进行改变，为步骤404做准备，接下来通过步骤404，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤406，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤408，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，最后，为了使图像中的主体图像与周围图像能够融合，步骤410，对图像中主体图像的部分进行曝光增强处理，即提升中主体图像之外部分的亮度。
图5示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
如图5所示，图像优化方法，包括：
步骤502，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据；
步骤504，获取图像中的主体图像数据；
步骤506，将主体图像数据的RGB模型转换成HSV模型；
步骤508，增强HSV模型的V通道中的部分像素以对主体图像进行补光；
步骤510，按照图像中各个元素的景深对各个元素进行不同程度的曝光增强。
在该实施例中，步骤502，利用图像识别技术提取逆光主体区域的主体图像数据，为了显示良好，将逆光主体区域进行扩大一定的倍数，该倍数可以预设，也可以根据逆光主体区域的大小进行改变，为步骤504做准备，接下来通过步骤504，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤506，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤508，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，最后，为了使图像中的主体图像与周围图像能够融合，步骤510，为了使整幅图像和谐，按照图像中各个元素的景深对各个元素进行不同程度的曝光增强。
图6示出了根据本发明的第一方面的又一个实施例的图像优化方法的流程示意图。
如图6所示，图像优化方法，包括：
步骤602，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据；
步骤604，获取图像中的主体图像数据；
步骤606，将主体图像数据的RGB模型转换成HSV模型；
步骤608，增强HSV模型的V通道中的部分像素以对主体图像进行补光；
步骤610，以主体图像为中心成辐射状地进行不同强度的背景曝光增强。
在该实施例中，步骤602，利用图像识别技术提取逆光主体区域的主体图像数据，为了显示良好，将逆光主体区域进行扩大一定的倍数，该倍数可以预设，也可以根据逆光主体区域的大小进行改变，为步骤604做准备，接下来通过步骤604，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此，通过步骤606，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，步骤608，对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度，最后，为了使图像中的主体图像与周围图像能够融合，步骤610，以主体图像为中心成辐射状地进行不同强度的背景曝光增强，从而保证图像的层次感，且图像中主体图像和图像中主体图像之外的部分相融合，具有更好的视觉效果。
另外，在上述实施例中，主体为人脸时，解决了背光情形下人脸图像偏黑的问题。
图7示出了根据本发明的第二方面的一个实施例的图像优化装置的示意图。
如图7所示，图像优化装置700，包括：
获取单元702，获取图像中的主体图像数据；
转换单元704，将主体图像数据的RGB模型转换成HSV模型；
补光单元706，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
在该实施例中，首先获取单元702，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此转换单元704，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，补光单元706对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度。
图8示出了根据本发明的第二方面的一个实施例的图像优化装置的示意图。
如图8所示，图像优化装置800，包括：
获取单元802，获取图像中的主体图像数据；
转换单元804，将主体图像数据的RGB模型转换成HSV模型；
补光单元806，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
识别单元810，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据。
在该实施例中，首先识别单元810利用图像识别技术提取逆光主体区域的主体图像数据，为下一步对主体图像进行处理做准备，然后获取单元802，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此转换单元804，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，补光单元806对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度。
另外，在该实施例中，部分像素为V通道明度值大于第一阈值小于第二阈值的像素。具体地，第一阈值为1/255左右，第二阈值为0.95左右。
图9示出了根据本发明的第二方面的又一个实施例的图像优化装置的示意图。
如图9所示，图像优化装置900，包括：
获取单元902，获取图像中的主体图像数据；
转换单元904，将主体图像数据的RGB模型转换成HSV模型；
补光单元906，增强HSV模型的V通道中的部分像素以对主体图像进行补光。
识别单元910，利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的主体图像数据。
融合单元912，对图像中主体图像之外的部分进行曝光增强处理。
在该实施例中，首先识别单元910利用图像识别技术提取逆光主体区域的主体图像数据，为下一步对主体图像进行处理做准备，然后获取单元902，获取整个图像的主体图像数据，且由于HSV彩色空间对于亮度的表达比RGB模型更加直接，因此转换单元904，将主体图像数据的RGB模型转换成HSV模型，其中，HSV分别为色相H、饱和度S和明度V，为了提高主体图像的亮度，补光单元906对HSV模型的V通道中的部分像素进行增强以对主体图像数据的暗部进行补光。通过该技术方案，对图像的主体部分进行局部光照增强，较好地改善了图像主体部分的亮度。为了使图像中的主体图像与周围图像能够融合，融合单元912对图像中主体图像的部分进行曝光增强处理，即提升中主体图像之外部分的亮度。
同时，为了显示良好，识别单元910将逆光主体区域进行扩大一定的倍数，该倍数可以预设，也可以根据逆光主体区域的大小进行改变，然后再提取扩大后的逆光主体区域中的图像数据；为了使整幅图像和谐，融合单元按照图像中各个元素的景深对各个元素进行不同程度的曝光增强，或者以主体图像为中心成辐射状地进行不同强度的背景曝光增强，从而保证图像的层次感，且图像中主体图像和图像中主体图像之外的部分相融合，具有更好的视觉效果。
在该实施例中，具体地，主体为人脸。从而可以对背光情形下人脸拍照偏黑的照片就行处理。
图10示出了根据本发明的第三方面的一个实施例的图像优化装置的示意图。
如图10所示，终端1000，包括：如上述实施例中所述的图像优化装置1002。
在该实施例中，通过对图像的主体部分进行局部光照增强，较好地改善了图像中主体图像的亮度；而且将图像中主体图像之外的的部分进行曝光增强，保证了图像的层次感，使图像中主体图像和图像中主体图像之外的部分更加融合，具有更好的视觉效果。
具体实施例：
结合图11和图12来阐述图像优化方法的一个具体实施例。
在该实施例中，结合相机上的人脸检测技术，对图像进行分割处理，对分割得到的人脸图像单独进行局部光照增强，提升面部的亮度，为了使图像的整体效果看起来更好，将处理过的面部图像和周围部分进行融合。下面将介绍每个步骤的详细情形，主要包括：
步骤1102，人脸检测；
步骤1104，局部光照增强；
步骤1106，与周围图像融合。
在步骤1102中，利用简单的眼睛定位和硬件加速技术，可以快速的定位人脸并且进行跟踪。进入智能机时代以后，各种拍照类的APP层出不穷，并且也根据需求出现了各种类似的功能，尤其是主打自拍功能的手机更是如此。此后，为了进一步提升检测的速度和各种场景下的准确性，在此基础上有实现了人脸跟踪的功能，可以实时的在预览界面检测并跟踪人脸。当前基于压缩感知的跟踪是一种比较流行的方法，结合传统的利用haar特征检测人脸，利用随机投影矩阵对haar特征进行压缩，基于Johnson-Lindenstrauss定理和压缩感知理论，在保留主要的信息下对特征进行降维处理，大大较少了运算的复杂度，提高了速度，为了加快速度，还可以引入多线程进行处理。其流程图和预期结果如图12所示，首先，步骤1202进行初始化，然后步骤1204和步骤1206进行特征提取和特征压缩，步骤1208进行分类器训练，最后步骤1210得到跟踪目标，如图12方框所示。
在步骤1104中，对定位得到的人脸图像进行局部光照增强处理。为了显示效果的良好，一般情况下会扩大处理的区域，将检测到的人脸部分扩大到1.2倍进行处理。直方图均衡化是图像增强领域应用较为广泛的方法，原理是利用累计分布函数实现对图像像素的灰度级进行处理，使图像更加清晰。对于一幅图像X，其灰度概率分布函数如下：
Figure BDA0001196326940000161
上式中的n为一幅图像的像素总数，nk是灰度级为Xk的像素数目，p(Xk)是图像中第k个灰度级的概率，直方图均衡化的累积分布函数T(X)为：
Figure BDA0001196326940000162
上式中的0≤ri≤1，i＝0,1,...,H-1，H为原始图像的最大灰度值。
传统的直方图均衡化是对所有的像素进行累计分布函数处理，但是当图像亮度低时，许多细节被掩盖住了，所以需要进行区分的直方图均值化，以达到更好的效果。由于HSV彩色空间对于亮度的表达更加直接，所以一般转换为HSV空间进行计算。HSV分别为色相H、饱和度S和明度V，H表示颜色的色相，取值为[0,360)，S表示颜色的纯度，取值为[0,1)，V表示颜色的亮度，取值为[0,1)。从RGB到HSV之间的转换关系如下，这里RGB的值首先归一化到[0,1)上。
max＝max(R,G,B)
min＝min(R,G,B)
Figure BDA0001196326940000171
完成HSV的转换后，单独对HSV彩色空间的亮度V通道进行处理，将V通道中的像素分为两种：需要处理的像素和不需要处理的像素。在亮度通道中，0表示亮度值达到最小，1表示亮度值达到最大，增强低照度图像的亮度即意味着增强亮度值偏小的像素。在本发明中，对于V通道亮度值大于0.95或者小于1/255的不做处理。
为了进一步加强图像的显示效果，利用gamma校正进行进一步的处理，不同的γ取值会有不同的效果。一般来说，当γ＝1时亮度保持不变，当γ＞1时亮度会整体降低，当γ＜1时，亮度会整体增强。因为经过上面的直方图均衡化以后亮度已经得到了增强，在这里取γ＝0.8，预期的效果图13所示右图所示。
步骤106，完成了步骤104之后，人脸及其附近区域的效果得到了较好的提升，但是和周围部分的差别相差较大，虽然相对来说我们更关注人脸的效果，但是和周围环境的匹配度也是重要的方面，此种情况下从视觉效果上来说不和谐，因此需要将周围的部分也进行亮度的提升，这样整幅图像的效果才会更好。相比较人脸来说，如果我们全局的调整整幅图像中的光线情况，很容易造成背景的光线过量，出现过度曝光的情况。对此采取局部曝光补强，保证图像的层次感，即将人脸部分和周围的图像区域相融合，视觉效果更好，如图14所示后侧图片。
图15示出了根据本发明实施例的终端硬件结构示意图。
图15是本发明实施例公开的另一种终端1500，可以用于实施上述图1至图14所示的本发明各实施例实现的方法，为了便于说明，仅示出了主要组成部分，具体技术细节未揭示的，请参看本发明各实施例。其中，如图15所示，终端1500的硬件结构主要包括但不限于：屏幕502、存储器504和处理器506，其中，各结构通过数据总线进行连接。
结合本发明的主要技术特征从硬件层面上解释本发明的运作过程：存储器1504用来存储图像数据以及用于实现本发明的程序或指令，首先，处理器1506利用图像识别技术，划定图像的逆光主体区域，提取逆光主体区域的所述主体图像数据，然后获取图像中的主体图像数据，将主体图像数据的RGB模型转换成HSV模型，并增强HSV模型的V通道中的部分像素以对主体图像数据的暗部进行补光，在对图像中的主体图像进行处理后，处理器1506对图像中主体图像之外的部分进行曝光增强处理，并将每一步处理前后得到的图像显示在显示屏1502上，通过该技术方案，不仅可以增强图像中主体图像的亮度，而且还能有层次感地对主体图像之外的部分进行曝光增强，使整个图像的亮度分布更加和谐，具有更好的视觉效果。
上述实施例的各种方法中的全部或部分步骤是可以通过程序来控制相关的硬件来完成，该程序可以存储于可读存储介质中(如图15所示的存储器1504)，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的可读的任何其他介质。
在对本发明技术方案的描述中，提到了“亮度”与“明度”，在本发明中，二者属于相似概念(广义与狭义的关系)，为了贴近自然语言，便于描述，并未进行统一，不影响对技术方案的理解与实施，如有歧义，以明度的定义为准。
如上述实施例提供的技术方案，本发明通过局部亮度增强的方式优化图像中的主体部分，解决逆光拍摄的图像中主体部分发黑的问题，提升了偏黑主体部分的亮度以使用户获得更清晰的观感，达到优化图像的目的。总体上看，本发明一方面对图像主体部分的亮度重点增强，一方面对主体周围的部分进行较轻程度地曝光补偿，对高光部分和无光部分不做增强，以此方法提升图像的整体亮度，防止出现部分图像过曝光的同时另一部分图像曝光不足的情况，达到更好的优化效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像优化方法，用于终端，其特征在于，包括：
获取图像中的主体图像数据；
将所述主体图像数据的RGB模型转换成HSV模型；
增强所述HSV模型的V通道中的部分像素以对主体图像进行补光；
对所述图像的主体图像之外的部分进行曝光增强处理，具体包括：
按照所述图像中各个元素的景深对所述各个元素进行不同程度的曝光增强；或者
以所述主体图像为中心成辐射状地进行不同强度的背景曝光增强；
在所述获取图像中的主体图像数据之前，还包括：
利用图像识别技术，划定所述图像的逆光主体区域，提取所述逆光主体区域的所述主体图像数据；
所述提取所述逆光主体区域的所述主体图像数据，具体包括：
将所述逆光主体区域扩大一定倍数，提取扩大后的逆光主体区域中的图像数据。
2.根据权利要求1所述的方法，其特征在于，所述部分像素为V通道明度值大于第一阈值小于第二阈值的像素，其中，所述第一阈值小于所述第二阈值。
3.根据权利要求1或2所述的方法，其特征在于，所述主体图像数据为人脸图像数据。
4.一种图像优化装置，用于终端，其特征在于，包括：
获取单元，获取图像中的主体图像数据；
转换单元，将所述主体图像数据的RGB模型转换成HSV模型；
补光单元，增强所述HSV模型的V通道中的部分像素以对主体图像进行补光；
融合单元，对所述图像的主体图像之外的部分进行曝光增强处理；
所述融合单元，具体用于：
按照所述图像中各个元素的景深对所述各个元素进行不同程度的曝光增强；或者
以所述主体图像为中心成辐射状地进行不同强度的背景曝光增强；
识别单元，利用图像识别技术，划定所述图像的逆光主体区域，提取所述逆光主体区域的所述主体图像数据；
将所述逆光主体区域扩大一定倍数，提取扩大后的逆光主体区域中的图像数据。
5.根据权利要求4所述的装置，其特征在于，所述部分像素为V通道明度值大于第一阈值小于第二阈值的像素，其中，所述第一阈值小于所述第二阈值。
6.根据权利要求4或5所述的装置，其特征在于，所述主体图像数据为人脸图像数据。
7.一种终端，其特征在于，包括：如权利要求4至6中任一项所述的图像优化装置。
CN201611241790.8A 2016-12-29 2016-12-29 图像优化方法、图像优化装置和终端 Active CN106791471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611241790.8A CN106791471B (zh) 2016-12-29 2016-12-29 图像优化方法、图像优化装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611241790.8A CN106791471B (zh) 2016-12-29 2016-12-29 图像优化方法、图像优化装置和终端

Publications (2)

Publication Number Publication Date
CN106791471A CN106791471A (zh) 2017-05-31
CN106791471B true CN106791471B (zh) 2021-07-20

Family

ID=58923639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611241790.8A Active CN106791471B (zh) 2016-12-29 2016-12-29 图像优化方法、图像优化装置和终端

Country Status (1)

Country Link
CN (1) CN106791471B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955518B (zh) * 2017-05-18 2020-06-16 武汉斗鱼网络科技有限公司 一种基于图像识别的测光处理方法、系统与设备
CN107277356B (zh) * 2017-07-10 2020-02-14 Oppo广东移动通信有限公司 逆光场景的人脸区域处理方法和装置
CN107454315B (zh) * 2017-07-10 2019-08-02 Oppo广东移动通信有限公司 逆光场景的人脸区域处理方法和装置
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
CN108280426B (zh) * 2018-01-23 2022-02-25 山东极视角科技有限公司 基于迁移学习的暗光源表情识别方法及装置
CN109246399A (zh) * 2018-08-17 2019-01-18 优视科技新加坡有限公司 一种识别逆光区域方法、装置和设备/终端/服务器
CN109445584A (zh) * 2018-10-22 2019-03-08 南京工业大学 一种基于数据手套的手势识别系统及方法
CN110009588B (zh) * 2019-04-09 2022-12-27 成都品果科技有限公司 一种人像图像色彩增强方法及装置
CN110363720A (zh) * 2019-07-04 2019-10-22 北京奇艺世纪科技有限公司 一种图像的色彩增强方法、装置、设备和存储介质
US11792531B2 (en) 2019-09-27 2023-10-17 Apple Inc. Gaze-based exposure
CN112584127B (zh) * 2019-09-27 2023-10-03 苹果公司 基于注视的曝光
CN111626958B (zh) * 2020-05-27 2021-01-26 重庆紫光华山智安科技有限公司 曝光调节方法、装置、计算机可读存储介质和电子设备
CN111614908B (zh) * 2020-05-29 2022-01-11 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112069475B (zh) * 2020-09-14 2023-10-24 杭州领信数科信息技术有限公司 一种身份安全管理系统
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质
CN113781321B (zh) * 2021-08-02 2024-03-12 中国科学院深圳先进技术研究院 图像高亮区域的信息补偿方法、装置、设备及存储介质
CN113762189B (zh) * 2021-09-14 2024-03-22 深圳市南方安创科技有限公司 考勤系统人脸图像优化方法、装置、考勤设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645942A (zh) * 2004-01-22 2005-07-27 柯尼卡美能达影像株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN101895692A (zh) * 2009-05-20 2010-11-24 卡西欧计算机株式会社 图像处理装置和图像处理方法
CN103632351A (zh) * 2013-12-16 2014-03-12 武汉大学 一种基于亮度基准漂移的全天候交通图像增强方法
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN104778674A (zh) * 2015-04-30 2015-07-15 武汉大学 一种基于时间序列的顺逆光交通图像自适应增强方法
CN105474627A (zh) * 2013-08-12 2016-04-06 株式会社尼康 电子设备、电子设备的控制方法以及控制程序
CN106023117A (zh) * 2016-06-01 2016-10-12 哈尔滨工业大学（威海） 基于非线性亮度提升模型的逆光图像恢复方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645942A (zh) * 2004-01-22 2005-07-27 柯尼卡美能达影像株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN101895692A (zh) * 2009-05-20 2010-11-24 卡西欧计算机株式会社 图像处理装置和图像处理方法
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN105474627A (zh) * 2013-08-12 2016-04-06 株式会社尼康 电子设备、电子设备的控制方法以及控制程序
CN103632351A (zh) * 2013-12-16 2014-03-12 武汉大学 一种基于亮度基准漂移的全天候交通图像增强方法
CN104778674A (zh) * 2015-04-30 2015-07-15 武汉大学 一种基于时间序列的顺逆光交通图像自适应增强方法
CN106023117A (zh) * 2016-06-01 2016-10-12 哈尔滨工业大学（威海） 基于非线性亮度提升模型的逆光图像恢复方法

Also Published As

Publication number Publication date
CN106791471A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106791471B (zh) 图像优化方法、图像优化装置和终端
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP4234195B2 (ja) 画像分割方法および画像分割システム
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
WO2016011889A1 (zh) 过曝拍摄方法及装置
US11715184B2 (en) Backwards-compatible high dynamic range (HDR) images
Kuo et al. Content-adaptive inverse tone mapping
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
KR20210118233A (ko) 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
CN112822413B (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
CN113658197A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108629329B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
CN115205172A (zh) 图像处理方法及装置、电子设备和存储介质
JP2006186983A (ja) カラー画像の露出補正方法
US20230186612A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models
JP5058903B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant