CN113556468A - 一种图像处理的方法及系统 - Google Patents

一种图像处理的方法及系统 Download PDF

Info

Publication number
CN113556468A
CN113556468A CN202110865911.0A CN202110865911A CN113556468A CN 113556468 A CN113556468 A CN 113556468A CN 202110865911 A CN202110865911 A CN 202110865911A CN 113556468 A CN113556468 A CN 113556468A
Authority
CN
China
Prior art keywords
pixel points
proportion
target
exposure time
frame data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110865911.0A
Other languages
English (en)
Other versions
CN113556468B (zh
Inventor
尹睿
徐敏
张卫
金健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC Manufacturing Innovation Center Co Ltd
Original Assignee
Shanghai IC Manufacturing Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai IC Manufacturing Innovation Center Co Ltd filed Critical Shanghai IC Manufacturing Innovation Center Co Ltd
Priority to CN202110865911.0A priority Critical patent/CN113556468B/zh
Publication of CN113556468A publication Critical patent/CN113556468A/zh
Priority to US17/583,419 priority patent/US20230033445A1/en
Application granted granted Critical
Publication of CN113556468B publication Critical patent/CN113556468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理的方法及系统，该方法包括获取目标对象的高帧数据和低帧数据，且获取完成该高帧数据和该低帧数据的初始曝光时间，计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，根据过曝像素点的比例和欠曝像素点的比例的大小，对初始曝光时间调整，得到目标曝光时间，根据目标曝光时间获得目标高帧数据和目标低帧数据，用该目标低帧数据的像素点替换目标高帧数据中的过曝像素点。本发明根据过曝像素点的比例，对初始曝光时间进行调整，得到目标曝光时间，根据目标曝光时间获得目标高帧数据和目标低帧数据，用目标低帧数据的像素点替换目标高帧数据中的过曝像素点，提高了图片的质量。

Description

一种图像处理的方法及系统
技术领域
本发明涉及摄像领域，尤其涉及一种图像处理的方法及系统。
背景技术
目前，三维视觉成像技术在各个行业中都存在重要的作用，其中飞行时间(TimeofFlight，TOF)技术是三维视觉成像技术中主要的技术之一。
但是目前利用TOF传感器获取深度图像的过程中，通常存在过曝光或欠曝光的情况导致获取的深度图像质量较差，且特别针对在拍摄区域内同时存在反射率高的物体和反射率低的物体时，尤其是反射率高的物体在前反射率低的物体在后时，自动曝光基于减少过曝点原则会减小积分时间，从而使反射率低的物体大面积欠曝，导致反射率低的物体数据缺失，图像生成的质量不高。
发明内容
本发明的目的在于提供一种图像处理的方法及系统，提高了图像生成的质量。
为实现上述目的，第一方面，本发明提供了一种图像处理的方法，该方法包括：获取目标对象的高帧数据和低帧数据，且获取完成该高帧数据和该低帧数据的初始曝光时间，计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间，并根据目标曝光时间重新获得目标高帧数据和目标低帧数据，用该目标低帧数据的像素点替换对应的目标高帧数据中的过曝像素点。
本发明实施例图像处理的方法的有益效果在于：通过计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，并根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间，然后根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点，从而降低了拍摄时由于欠曝光导致像素信息丢失的情况，提高了图片的质量。
在一种可能的实现中，根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间，包括：当过曝像素点的比例大于第一阈值时，下调初始曝光时间，得到目标曝光时间。或当过曝像素点的比例小于等于第一阈值，欠曝像素点的比例大于第二阈值时，上调初始曝光时间，得到目标曝光时间。其有益效果在于：根据过曝像素点的比例与第一阈值的比较情况，以及根据欠曝像素点的比例与第二阈值的比较情况对初始曝光时间进行上下调整，从而使目标曝光时间更加可靠，提高深度图像的质量。
在一种可能的实现中，过曝像素点的比例满足数学表达式：
ratio_over＝pixel_over/pixel_all
其中，ratio_over为过曝像素点的比例，pixel_over为过曝像素点，pixel_all为所有像素点，
欠曝像素点的比例满足数学表达式：
ratio_under＝pixel_under/pixel_all
其中，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点。其有益效果在于：通过该数学表达式准确的计算出过曝像素点的比例和欠曝像素点的比例，从而了解图片过曝和欠曝的情况。
在一种可能的实现中，目标曝光时间包括高帧曝光时间和低帧曝光时间，高帧曝光时间是低帧曝光时间的K倍，系数K满足数学表达式：
K＝IR_thres/IR_test
其中，IR_thres为预设的标准灰度值，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数；
根据目标曝光时间获得目标高帧数据和目标低帧数据，包括：
根据低帧曝光时间获得目标低帧深度数据，根据高帧曝光时间获得目标高帧深度数据。其有益效果在于：通过该方法计算得到最优的目标曝光时间，并通过该目标曝光时间可得到较高质量的深度图像。
在一种可能的实现中，所述低帧曝光时间满足数学表达式：
T＝IR_thres*t/IR_mean
其中，T为低帧曝光时间，t为初始曝光时间，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，当过曝像素点的比例大于第一阈值时，采用过曝像素点的灰度平均值计算；或当过曝像素点的比例小于等于第一阈值，欠曝像素点的比例大于第二阈值时，采用欠曝像素点的灰度平均值计算。其有益效果在于：通过该方法计算出低帧曝光时间。
在一种可能的实现中，将目标低帧数据的像素点替换目标高帧数据中的过曝像素点，包括：将目标高帧深度数据作为深度数据主体，目标低帧深度数据用于替换目标高帧数据中的过曝像素点，得到最终深度数据。其有益效果在于：得到最终深度数据，避免了数据由于欠曝导致部分的丢失，提高了图片的质量。
在第二方面，本发明实施例提供一种图像处理的系统，包括：获取单元用于获取目标对象的高帧数据和低帧数据，且获取完成高帧数据和低帧数据的初始曝光时间，计算单元用于计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，调整单元用于根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整得到目标曝光时间，处理单元用于根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换所述目标高帧数据中的过曝像素点。
本发明实施例图像处理的系统的有益效果在于：通过计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，并根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间，然后根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点，从而降低了拍摄时由于欠曝光或过曝光导致像素信息丢失的情况，提高了图片的质量。
在一种可能的实现中，调整单元，还用于判断当所述过曝像素点的比例大于第一阈值时，下调所述初始曝光时间，或当过曝像素点的比例小于等于第一阈值，欠曝像素点的比例大于第二阈值时，上调初始曝光时间。其有益效果在于：根据计算得到的欠曝像素点的比例和过曝像素点的比例的实际大小对初始曝光时间进行上下调整，从而使得到的目标曝光时间更加可靠。
在一种可能的实现中，过曝像素点的比例满足数学表达式：ratio_over＝pixel_over/pixel_all，其中，ratio_over为过曝像素点的比例，pixel_over为过曝像素点，pixel_all为所有像素点，欠曝像素点的比例满足数学表达式：
ratio_under＝pixel_under/pixel_all
其中，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点。
在一种可能的实现中，目标曝光时间包括高帧曝光时间和低帧曝光时间，所述高帧曝光时间是所述低帧曝光时间的K倍，系数K满足数学表达式：
K＝IR_thres/IR_test
其中，IR_thres为预设的标准灰度值，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数，根据目标曝光时间获得目标高帧数据和目标低帧数据，包括：根据低帧曝光时间获得目标低帧深度数据，根据高帧曝光时间获得目标高帧深度数据。
在一种可能的实现中，低帧曝光时间满足数学表达式：
T＝IR_thres*t/IR_mean
其中，T为低帧曝光时间，t为初始曝光时间，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，当过曝像素点的比例大于第一阈值时，采用过曝像素点的灰度平均值计算；或当过曝像素点的比例小于等于第一阈值，欠曝像素点的比例大于第二阈值时，采用欠曝像素点的灰度平均值计算。
在一种可能的实现中，处理单元还用于将目标高帧深度数据作为深度数据主体，目标低帧深度数据用于替换目标高帧数据中的过曝像素点，得到最终深度数据。
附图说明
图1为本发明实施例提供的图像处理方法的流程图；
图2为本发明实施例提供的图像处理系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对目前存在的问题，本发明的实施例提供了一种图像处理的方法，参考图1所示，该方法包括：
S101：获取目标对象的高帧数据和低帧数据，且获取完成高帧数据和低帧数据的初始曝光时间。
S102：计算低帧数据中的过曝像素点的比例和欠曝像素点的比例。
该步骤中，过曝像素点的比例通过数学表达式ratio_over＝pixel_over/pixel_all计算得到，欠曝像素点的比例满足数学表达式：ratio_under＝pixel_under/pixel_all。其中，ratio_over为过曝像素点的比例，pixel_over为过曝像素点，pixel_all为所有像素点，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点。需要说明的是，TOF拍摄终端统计出拍摄的目标对象中所有像素点和过曝像素点，然后计算出该过曝像素点的比例和欠曝像素点的比例，便于后续的应用。需要说明的是，高帧数据就是长曝光时间数据，低帧数据就是短曝光时间数据。
S103：根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间。
该步骤中，通过过曝像素点的比例的大小和欠曝像素点的比例的大小对初始曝光时间进行调整，并得到目标曝光时间。
具体的，在TOF拍摄终端预先设置第一阈值和第二阈值，将过曝像素点的比例与第一阈值进行比较，当过曝像素点的比例大于第一阈值时，下调初始曝光时间至目标曝光时间。或当过曝像素点的比例小于等于第一阈值时，且欠曝像素点的比例大于第二阈值时上调初始曝光时间，从而得到目标曝光时间。
在本实施例中，目标曝光时间包括高帧曝光时间和低帧曝光时间，且高帧曝光时间是低帧曝光时间的K倍，系数K满足数学表达式：K＝IR_thres/IR_test其中，IR_thres为预设的标准灰度值，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数，在该直方图中横坐标用于区分不同的灰度值范围，比如0-10、11-20、21-30等，纵坐标表示此灰度值范围内对应的像素点数。简单的说，就是将所有欠曝像素点中灰度值的范围对应的像素点数量用直方图统计，直方图的横坐标用于区分灰度值的不同的大小，直方图的纵坐标表示灰度值范围内的像素点的数量，从而通过直方图可以统计不同欠曝灰度值范围内对应的像素点数量。
需要说明的是，低帧曝光时间满足数学表达式：T＝IR_thres*t/IR_mean，其中，T为低帧曝光时间，t为初始曝光时间，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，当所述过曝像素点的比例大于第一阈值时，TOF拍摄终端计算出过曝像素点的灰度平均值，并采用过曝像素点的灰度平均值计算出T。或当过曝像素点的比例小于等于所述第一阈值，欠曝像素点的比例大于所述第二阈值时，TOF拍摄终端计算出欠曝像素点的灰度平均值，并采用欠曝像素点的灰度平均值计算出T。
S104：根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点。
该步骤中，根据目标曝光时间获得目标低帧深度数据，具体为根据低帧曝光时间获得目标低帧深度数据，根据高帧曝光时间获得目标高帧深度数据。最后将目标高帧深度数据作为深度数据的主体，目标低帧深度数据用于替换目标高帧数据中的过曝像素点，得到最终深度数据，通过最终深度数据得到的图像，避免了由于欠曝光导致的像素点数据的丢失，提高了图像形成的质量和完整度。
在本实施例中，通过计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，并根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整，得到目标曝光时间，然后根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点，从而降低了拍摄时由于欠曝光导致像素信息丢失的情况，提高了图片的质量。
在本发明公开的另一个实施例中，一种图像处理的系统，参考图2所示，该系统包括获取单元201、计算单元202、调整单元203和处理单元204。获取单元201用于获取目标对象的高帧数据和低帧数据，且获取完成高帧数据和低帧数据的初始曝光时间，计算单元202用于用于计算低帧数据中的过曝像素点的比例和欠曝像素点的比例，调整单元203用于根据过曝像素点的比例的大小和欠曝像素点的比例的大小，对初始曝光时间进行调整得到目标曝光时间，处理单元204用于根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点。
在本实施例中，通过计算单元202计算出低帧数据中的过曝像素点的比例和欠曝像素点的比例，调整单元203根据过曝像素点的比例和欠曝像素点的比例，对初始曝光时间进行调整，得到目标曝光时间，然后处理单元204根据目标曝光时间获得目标高帧数据和目标低帧数据，并用目标低帧数据的像素点替换目标高帧数据中的过曝像素点，从而降低了拍摄时由于欠曝光导致像素信息丢失的情况，提高了图片的质量。
在一种可能的实施中，调整单元203还用于判断当过曝像素点的比例大于第一阈值时，下调初始曝光时间。或当过曝像素点的比例小于等于第一阈值，且欠曝像素点的比例大于第二阈值时，上调初始曝光时间，从而根据实际情况来进行初始曝光时间的调节，从而使目标曝光时间更加可靠。过曝像素点的比例满足数学表达式：ratio_over＝pixel_over/pixel_all，欠曝像素点的比例满足数学表达式：ratio_under＝pixel_under/pixel_all，其中，ratio_over表示过曝像素点的比例，pixel_over表示过曝像素点，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点，pixel_all表示所有像素点。
在一种可能的实施中，目标曝光时间包括高帧曝光时间和低帧曝光时间，且高帧曝光时间是低帧曝光时间的K倍，系数K满足数学表达式：K＝IR_thres/IR_test，其中，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数。在本实施例中，处理单元204根据低帧曝光时间获得目标低帧深度数据，根据高帧曝光时间获得目标高帧深度数据。处理单元204还用于将目标高帧深度数据作为深度数据主体，将目标低帧深度数据的像素点替换目标高帧数据中的过曝像素点，得到最终深度数据。从而降低了拍摄时由于欠曝光导致像素信息丢失的情况，提高了图片的质量。
当然，处理单元会统计过曝像素点和所有像素点的数量，然后再经过计算单元进行计算处理，当过曝像素点的比例大于第一阈值时，计算出过曝像素点的灰度平均值，当过曝像素点的比例小于等于第一阈值时，计算出欠曝像素点的灰度平均值，且低帧曝光时间满足数学表达式：T＝IR_thres*t/IR_mean其中，T为低帧曝光时间，t为初始曝光时间，IR_thres为预设的标准灰度值，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，通过该方法计算得到最优的低帧曝光时间。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理的方法，应用于TOF拍摄终端，其特征在于，包括：
获取目标对象的高帧数据和低帧数据，且获取完成所述高帧数据和所述低帧数据的初始曝光时间；
计算所述低帧数据中的过曝像素点的比例和欠曝像素点的比例；
根据所述过曝像素点的比例的大小和所述欠曝像素点的比例的大小，对所述初始曝光时间进行调整，得到目标曝光时间；
根据所述目标曝光时间获得目标高帧数据和目标低帧数据，并用所述目标低帧数据的像素点替换所述目标高帧数据中的过曝像素点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述过曝像素点的比例的大小和所述欠曝像素点的比例的大小，对所述初始曝光时间进行调整，包括：
当所述过曝像素点的比例大于第一阈值时，下调所述初始曝光时间；或当所述过曝像素点的比例小于等于所述第一阈值，所述欠曝像素点的比例大于第二阈值时，上调所述初始曝光时间。
3.根据权利要求2所述的方法，其特征在于，所述过曝像素点的比例满足数学表达式：
ratio_over＝pixel_over/pixel_all
其中，ratio_over为过曝像素点的比例，pixel_over为过曝像素点，pixel_all为所有像素点；
所述欠曝像素点的比例满足数学表达式：
ratio_under＝pixel_under/pixel_all
其中，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点。
4.根据权利要求2或3所述的方法，其特征在于，所述目标曝光时间包括高帧曝光时间和低帧曝光时间，所述高帧曝光时间是所述低帧曝光时间的K倍，系数K满足数学表达式：
K＝IR_thres/IR_test
其中，IR_thres为预设的标准灰度值，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数；
所述根据所述目标曝光时间获得目标高帧数据和目标低帧数据，包括：
根据所述低帧曝光时间获得所述目标低帧深度数据，根据所述高帧曝光时间获得所述目标高帧深度数据。
5.根据权利要求4所述的方法，其特征在于，所述低帧曝光时间满足数学表达式：
T＝IR_thres*t/IR_mean
其中，T为低帧曝光时间，t为初始曝光时间，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，当所述过曝像素点的比例大于第一阈值时，采用所述过曝像素点的灰度平均值计算；或当所述过曝像素点的比例小于等于所述第一阈值，所述欠曝像素点的比例大于所述第二阈值时，采用所述欠曝像素点的灰度平均值计算。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标低帧数据的像素点替换所述目标高帧数据中的过曝像素点，包括：
将所述目标高帧深度数据作为深度数据主体，所述目标低帧深度数据用于替换所述目标高帧数据中的过曝像素点，得到最终深度数据。
7.一种图像处理的系统，其特征在于，包括：
获取单元，用于获取目标对象的高帧数据和低帧数据，且获取完成所述高帧数据和所述低帧数据的初始曝光时间；
计算单元，用于计算低帧数据中的过曝像素点的比例和欠曝像素点的比例；
调整单元，用于根据所述过曝像素点的比例的大小和所述欠曝像素点的比例的大小，对所述初始曝光时间进行调整，得到目标曝光时间；
处理单元，用于根据所述目标曝光时间获得目标高帧数据和目标低帧数据，并用所述目标低帧数据的像素点替换所述目标高帧数据中的过曝像素点。
8.根据权利要求7所述的系统，其特征在于，所述调整单元，还用于当所述过曝像素点的比例大于第一阈值时，下调所述初始曝光时间，或当所述过曝像素点的比例小于等于所述第一阈值，所述欠曝像素点的比例大于第二阈值时，上调所述初始曝光时间。
9.根据权利要求8所述的系统，其特征在于，所述过曝像素点的比例满足数学表达式：
ratio_over＝pixel_over/pixel_all
其中，ratio_over为过曝像素点的比例，pixel_over为过曝像素点，pixel_all为所有像素点；
所述欠曝像素点的比例满足数学表达式：
ratio_under＝pixel_under/pixel_all
其中，ratio_under为欠曝像素点的比例，pixel_under为欠曝像素点。
10.根据权利要求8或9所述的系统，其特征在于，所述目标曝光时间包括高帧曝光时间和低帧曝光时间，所述高帧曝光时间是所述低帧曝光时间的K倍，系数K满足数学表达式：
K＝IR_thres/IR_test
其中，IR_thres为预设的标准灰度值，IR_test为采用直方图统计的欠曝像素点中灰度值范围内像素点占比最多的灰度值范围内的中位数；
所述根据所述目标曝光时间获得目标高帧数据和目标低帧数据，包括：
根据所述低帧曝光时间获得所述目标低帧深度数据，根据所述高帧曝光时间获得所述目标高帧深度数据。
11.根据权利要求10所述的系统，其特征在于，所述低帧曝光时间满足数学表达式：
T＝IR_thres*t/IR_mean
其中，T为低帧曝光时间，t为初始曝光时间，IR_mean为过曝像素点的灰度平均值或欠曝像素点的灰度平均值，当所述过曝像素点的比例大于第一阈值时，采用所述过曝像素点的灰度平均值计算；或当所述过曝像素点的比例小于等于所述第一阈值，所述欠曝像素点的比例大于所述第二阈值时，采用所述欠曝像素点的灰度平均值计算。
12.根据权利要求11所述的系统，其特征在于，所述处理单元，还用于将所述目标高帧深度数据作为深度数据主体，所述目标低帧深度数据用于替换所述目标高帧数据中的过曝像素点，得到最终深度数据。
CN202110865911.0A 2021-07-29 2021-07-29 一种图像处理的方法及系统 Active CN113556468B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110865911.0A CN113556468B (zh) 2021-07-29 2021-07-29 一种图像处理的方法及系统
US17/583,419 US20230033445A1 (en) 2021-07-29 2022-01-25 Method and system for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865911.0A CN113556468B (zh) 2021-07-29 2021-07-29 一种图像处理的方法及系统

Publications (2)

Publication Number Publication Date
CN113556468A true CN113556468A (zh) 2021-10-26
CN113556468B CN113556468B (zh) 2023-03-24

Family

ID=78104857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865911.0A Active CN113556468B (zh) 2021-07-29 2021-07-29 一种图像处理的方法及系统

Country Status (2)

Country Link
US (1) US20230033445A1 (zh)
CN (1) CN113556468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492621B (zh) * 2024-01-03 2024-03-29 深圳市永迦电子科技有限公司 一种数码云相框智能照片优化处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970488A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
JP2016107004A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 内視鏡システム及びその作動方法
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108513078A (zh) * 2017-02-24 2018-09-07 灯塔人工智能公司 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN109981992A (zh) * 2017-12-28 2019-07-05 周秦娜 一种在高环境光变化下提升测距准确度的控制方法及装置
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970488A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
JP2016107004A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 内視鏡システム及びその作動方法
CN108513078A (zh) * 2017-02-24 2018-09-07 灯塔人工智能公司 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109981992A (zh) * 2017-12-28 2019-07-05 周秦娜 一种在高环境光变化下提升测距准确度的控制方法及装置
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GU, B (GU, BO)等: "Gradient field multi-exposure images fusion for high dynamic range image visualization", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
赵金波: "基于多曝光的高动态范围成像技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Also Published As

Publication number Publication date
US20230033445A1 (en) 2023-02-02
CN113556468B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN106713778B (zh) 曝光控制方法和装置
CN102694981B (zh) 基于自适应阈值分割的直方图均衡化的自动曝光方法
CN109936698B (zh) 一种自动曝光控制方法、装置、电子设备及存储介质
CN108337445B (zh) 拍照方法、相关设备及计算机存储介质
CN110248112B (zh) 一种图像传感器的曝光控制方法
CN103973990B (zh) 宽动态融合方法及装置
CN111447374B (zh) 补光调节方法、装置、电子设备及存储介质
CN111711767B (zh) 一种自动曝光控制方法及电子设备
CN111225160B (zh) 基于图像多阈值控制的自动曝光控制方法
CN106412447A (zh) 曝光控制系统及其方法
CN114666512B (zh) 一种快速自动曝光的调节方法及系统
CN112738411B (zh) 曝光调节方法、装置、电子设备及存储介质
CN104754240A (zh) Cmos图像传感器自动曝光方法及装置
JP2008526149A (ja) デジタル画像形成の露出
CN110809146A (zh) 一种图像对比度调整方法、装置、终端设备及存储介质
WO2017173750A1 (zh) 调整图像曝光度的方法及系统
CN113556468B (zh) 一种图像处理的方法及系统
CN111314622A (zh) 一种多种场景下图像亮度自适应调节方法、装置及系统
JP5932392B2 (ja) 画像処理装置および画像処理方法
US20120293688A1 (en) Method of adjusting the brightness of a digital camera image
CN108337448B (zh) 高动态范围图像获取方法、装置、终端设备及存储介质
CN116017170A (zh) 一种具有局部强光的弱光场景成像自动曝光方法及系统
CN111754410B (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN110868549B (zh) 一种曝光控制方法、装置及电子设备
CN110072050B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for image processing

Granted publication date: 20230324

Pledgee: Shanghai Pudong Development Bank Co.,Ltd. Hongqiao sub branch

Pledgor: Shanghai integrated circuit manufacturing Innovation Center Co.,Ltd.

Registration number: Y2024310000012

PE01 Entry into force of the registration of the contract for pledge of patent right