CN113452901A - 图像采集方法及装置、电子设备、计算机可读存储介质 - Google Patents

图像采集方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN113452901A
CN113452901A CN202110516871.9A CN202110516871A CN113452901A CN 113452901 A CN113452901 A CN 113452901A CN 202110516871 A CN202110516871 A CN 202110516871A CN 113452901 A CN113452901 A CN 113452901A
Authority
CN
China
Prior art keywords
image
target
information
determining
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110516871.9A
Other languages
English (en)
Inventor
李旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110516871.9A priority Critical patent/CN113452901A/zh
Publication of CN113452901A publication Critical patent/CN113452901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供一种图像采集方法及装置、电子设备、计算机可读存储介质；其中包括：获取预览图像，所述预览图像中包括目标图像；基于所述预览图像，确定所述目标图像的拍摄信息；基于所述拍摄信息，调节曝光参数；步基于调节后的所述曝光参数，进行图像采集。通过确定目标图像的拍摄信息，针对图像中的目标调节曝光参数，根据调节后的曝光参数进行拍摄，使得拍摄得到图像中的目标图像能够更加清晰。

Description

图像采集方法及装置、电子设备、计算机可读存储介质
技术领域
本公开一般地涉及摄像领域，具体涉及一种图像采集方法及装置、电子设备、计算机可读存储介质。
背景技术
照相已经成为人们日常生活的一部分，并且对拍摄出来的图像的质量要求也越来越高。人们在拍摄人脸或者动物等的时候，希望可以在各种复杂的光照条件下，都可以拍摄出清晰的图像。当人们在拍摄人物时，最关注的是图像中人脸的质量的好坏。可是，在某些场景下，例如逆光，自动曝光的调节能力不足，使得拍摄出来的图像不清晰。
发明内容
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种图像采集方法及装置、电子设备、计算机可读存储介质；其中，所述图像采集方法包括：获取预览图像，所述预览图像中包括目标图像；基于所述预览图像，确定所述目标图像的拍摄信息；基于所述拍摄信息，调节曝光参数；步基于调节后的所述曝光参数，进行图像采集。
在一些实施例中，所述基于所述预览图像，确定所述目标图像的拍摄信息，包括：基于所述预览图像，确定所述目标图像的关键点；基于所述关键点，确定所述目标图像的所述拍摄信息。
在一些实施例中，所述关键点包括内部关键点；所述基于所述内部关键点，确定所述目标图像的拍摄信息，包括：基于所述内部关键点，确定所述内部关键点的周围图像；基于所述周围图像，确定所述周围图像的局部拍摄信息；基于全部局部拍摄信息，确定所述拍摄信息。
在一些实施例中，所述基于所述内部关键点，确定所述关键点的周围图像，包括：基于所述内部关键点以及范围尺寸，确定所述内部关键点的周围图像，其中，所述范围尺寸为预设尺寸或与所述内部关键点对应的尺寸。
在一些实施例中，所述关键点包括外部关键点；所述基于所述关键点，确定所述目标图像的拍摄信息，包括：基于所述外部关键点，确定所述外部关键点包围的图像；基于所述外部关键点包围的图像，确定所述拍摄信息。
在一些实施例中，所述图像采集方法还包括：所述基于所述预览图像，确定所述目标图像的关键点，包括：基于所述预览图像，确定所述目标图像的目标位置信息；基于所述目标位置信息，确定所述目标图像的关键点。
在一些实施例中，所述基于所述预览图像，确定所述目标图像的目标位置信息，包括：基于所述预览图像，通过目标检测，得到包含所述目标图像的最小包围框，作为所述目标位置信息。
在一些实施例中，所述基于所述目标位置信息，确定所述目标图像的目标信息，包括：基于所述最小包围框，得到含有所述目标图像的局部图像；及，基于所述局部图像，通过目标关键点检测模型，得到所述目标图像的多个关键点，作为所述目标信息。
在一些实施例中，所述拍摄信息包括：目标亮度均值；所述曝光参数包括：曝光时间和模拟增益。
在一些实施例中，所述基于所述拍摄信息，调节曝光参数，包括：若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值；若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值。
在一些实施例中，所述若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值，包括：增加曝光时间；若通过增加曝光时间使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过增加曝光时间至最大值仍未使得所述目标亮度值等于所述亮度阈值，则通过增大模拟增益，使所述目标亮度值等于所述亮度阈值；所述若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值，包括：降低模拟增益；若通过降低模拟增益使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过降低模拟增益至最小值仍未使得所述目标亮度值等于所述亮度阈值，则通过减小曝光时间，使所述目标亮度值等于所述亮度阈值。
本公开的第二方面提供一种图像采集装置，其中所述图像采集装置包括：图像获取模块，用于获取预览图像，所述预览图像中包括目标图像；信息确定模块，用于基于所述预览图像，确定所述目标图像的拍摄信息；调参模块，用于基于所述拍摄信息，调节曝光参数；所述图像获取模块还用于：基于调节后的所述曝光参数，进行图像采集。
在一些实施例中，所述信息确定模块包括，第一确定单元，基于所述预览图像，确定所述目标图像的目标位置信息；第二确定单元，基于所述目标位置信息，确定所述目标图像的目标信息；第三确定单元，基于所述目标信息，确定所述目标图像的所述拍摄信息。
在一些实施例中，所述第一确定单元包括：第一确定单元子单元，基于所述预览图像，通过目标检测，得到包含所述目标图像的最小包围框，作为所述目标位置信息。
在一些实施例中，所述第二确定单元包括，第一获取子单元，基于所述最小包围框，得到含有所述目标图像的局部图像；及，第二获取子单元，基于所述局部图像，通过目标关键点检测模型，得到所述目标图像的多个轮廓关键点，作为所述目标信息；
在一些实施例中，所述第二确定单元还包括，第三获取子单元，对所述多个轮廓关键点内部的图像进行检测，得到所述拍摄信息。
在一些实施例中，上述图像采集装置中，所述拍摄信息包括：目标亮度均值；所述曝光参数包括：曝光时间和模拟增益。
在一些实施例中，所述调参模块还用于：
若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值；
若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值。
在一实施例中，所述调参模块还用于：所述若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值，包括：增加曝光时间；若通过增加曝光时间使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过增加曝光时间至最大值仍未使得所述目标亮度值等于所述亮度阈值，则通过增大模拟增益，使所述目标亮度值等于所述亮度阈值；所述若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值，包括：降低模拟增益；若通过降低模拟增益使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过降低模拟增益至最小值仍未使得所述目标亮度值等于所述亮度阈值，则通过减小曝光时间，使所述目标亮度值等于所述亮度阈值。
本公开的第三方面提供一种一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任一项所述的图像采集方法。
本公开的第四方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面所述的图像采集方法。
本公开提出了图像采集方法、图像采集装置、电子设备及计算机可读存储介质，通过确定目标图像的拍摄信息，针对图像中的目标调节曝光参数，根据调节后的曝光参数进行拍摄，使得拍摄得到图像中的目标图像能够更加清晰。
附图说明
通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示出了根据本公开一实施例图像采集装置应用场景示意图。
图2示出了根据本公开一实施例图像采集方法的流程示意图。
图3示出了根据本公开另一实施例图像采集方法的流程示意图。
图4示出了根据本公开一实施例的图像采集装置示意图。
图5是本公开实施例提供的一种电子设备示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
目前的技术方案中，采用自动曝光技术，根据整张图像的成像质量来动态调节曝光时间和各种增益。但是，对于有一些图像，我们往往只关注某一部分是否清晰，而对于背景或者其它部分我们并不太关注。在一些复杂环境中，比如逆光，拍摄人物时，拍摄出来的图像由于调节能力不足，使得拍摄出来的图像的人脸部分不清晰。
为了解决上述问题，本公开实施例提供了一种图像采集方法，可以应用于图像采集设备110中的图像采集系统111，如图1所示，图像采集设备110可以是手机、摄像机、电脑、监控设备等具有摄像功能的装置或产品。其中，图像采集系统111与图像采集设备110连接，用于检测及处理图像。通过图像采集设备110进行拍摄，其中在预览图像120中可以包括目标图像，目标图像可以是人脸图像122、人物图像121、动物图像、汽车图像或其它他物品的图像。而预览图像120可以仅是在图像采集系统111中生成、不进行显示的图像；也可以通过具有显示屏的设备进行显示的图像。预览图像120包括目标图像，可能还包括除目标图像之外的背景或者其他物品等。图像采集设备110在采集到预览图像120时，图像采集系统111获取这个预览图像120。图像采集系统111根据预览图像120确定目标图像的拍摄信息。其中，拍摄信息可以包括所要拍摄目标图像亮度信息、对比度等。图像采集系统111通过以下方法实现图像采集过程：获取预览图像，预览图像中包括目标图像；基于预览图像，确定目标图像的拍摄信息；基于拍摄信息，调节曝光参数；基于调节后的曝光参数，进行图像采集。
本公开一实施例提供了一种图像采集方法，如图2所示，图像采集方法可以包括：步骤S210-步骤S240，以下详细说明。
步骤S210，获取预览图像，预览图像中包括目标图像。
本公开实施例中，如图1中所示，图像采集设备110拍摄图像时，图像采集系统111获取图像采集设备110的采集的预览图像120。比如拍摄的目标是人物，图像采集设备采集的是预览图像120，预览图像120包括的目标图像是人脸图像122、以及除人脸图像122之外的背景等。其中，预览图像可以是仅在图像采集设备生成并不通过显示屏进行展示的图像；也可以是通过图像采集设备自身或外接的显示屏展示出的图像。目标图像也可以是人物图像121、或其他物体。可以是默认设定的，也可以是基于用户指定的目标。通过本公开实施例的方式，能够在处理过程中以目标图像为重点，使得在经过处理后，目标图像能够更加清晰。
步骤S220，基于预览图像，确定目标图像的拍摄信息。
本公开实施例中，图像采集设备110采集的预览图像120，由于预览图像120中包括很多信息，其中包括目标图像、背景等。图像采集系统111根据预览图像120，进一步确定目标图像的拍摄信息，而忽视其他背景的拍摄信息。其中，拍摄信息可以是用于调节曝光参数的信息，例如图像的亮度、对比度等。
步骤S230，基于拍摄信息，调节曝光参数。
本公开实施例中，图像采集系统111确定了目标图像的拍摄信息，基于这个拍摄信息，调节曝光参数。因为每一个图像拍摄场景和光线不同，拍摄信息就会不同，根据具体的拍摄信息进行曝光参数的调节，使得拍摄出来的图像更加清楚。同时，由于拍摄信息是目标图像的拍摄信息，因此经过调节后的曝光参数，更加有利于目标图像的质量提升。
步骤S240，基于调节后的曝光参数，进行图像采集。
本公开实施例中，图像采集系统111已经对采集的图像进行了曝光调节，根据调节后的曝光参数，进行图像采集，并可以进一步的输出图像。
在本方案中，通过确定目标图像的拍摄信息，使得能够根据目标图像的拍摄信息调节曝光参数，忽略了图像中除目标图像之外的背景部分的拍摄信息对曝光参数的影响，保证了在最终采集得到的图像中目标图像的质量。例如，在对人物进行拍摄时，人脸的清晰程度是最重要的，在逆光的环境中，背景的亮度一般较大，如果根据图像的拍摄信息进行调节曝光参数，人脸位置会很暗、不清晰。而通过本公开的技术方案，先识别出目标图像、即人脸图像122。然后根据人脸图像122的拍摄信息调节曝光参数，能够使得最终得到的图像中人脸图像122能够清晰。
本公开实施例中，提供了另一种图像采集方法，如图3所示，步骤220基于预览图像，确定目标图像的拍摄信息，可以包括：步骤S221-步骤S222。
步骤S221，基于预览图像，确定目标图像的关键点；
步骤S222，基于关键点，确定目标图像的拍摄信息。
本实施例中，基于预览图像，确定目标图像的关键点信息。可以通过目标检测模型，在预览图像中确定目标图像的关键点。关键点可以是目标图像的坐标信息和亮度值信息。目标图像的关键点可以包括图像中的各个点的坐标信息和亮度信息，再多目标图像进行拍摄时，根据多个关键点的信息，确定拍摄信息。例如，在拍摄一株植物时候，这株植物的花是我们的目标图像，多个关键点可以是每个花瓣、每个花蕊的位置信息亮度信息，通过汇总和处理这些信息，确定目标图像的拍摄信息。
本公开的一些实施例中，关键点包括内部关键点；基于关键点，确定目标图像的拍摄信息，包括：基于内部关键点，确定内部关键点的周围图像；基于周围图像，确定周围图像的局部拍摄信息；基于全部局部拍摄信息，确定拍摄信息。关键点为目标图像的内部关键点，例如，如果人脸是目标图像，那个多个关键点可以是人脸内的点，可以眼睛、鼻子、嘴、眉毛等点，也可以是眼睛关键点中眼角、瞳孔等关键点。根据这些内部关键点，确定关键周围的图像，也就是说，如果关键点是眼睛，那么眼睛周围的区域为我们的周围图像。根据这个周围图像确定拍摄信息。这可以进一步精确所要拍摄目标图像的具体内容，根据具体的拍摄信息进行调节，使拍摄出来的图像更加清楚。
本公开的一些实施例中，基于内部关键点，确定内部关键点的周围图像，包括：基于关键点以及范围尺寸，确定内部关键点的周围图像，其中，范围尺寸为预设尺寸或与内部关键点对应的尺寸。通过预先甚至关键点周围的取值范围，确定关键点周围图像的区域大小。例如可以设置关键点的周围尺寸的取值范围时4个像素，那么就是一关键点为中心，半径为4个像素的圆的范围为关键点周围图像的区域。也可以更加关键点的内容设置取值，例如鼻子的关键的取值范围时5个像素，眼睛的关键点的取值范围时3个像素，可以根据关键点的类型设置，这样更加切合图像个关键位置的大小。也可以设置关键点周围尺寸取值有两个方向，x轴方向是一个像素，y轴方向是一个像素，两个方向组成一个四边形的长和宽，这样形成一个以关键点为基准的一个四边形。在拍摄人像时，人的眼睛，鼻子并不是圆形，如果设置四边形的周围图像，更加符合实际情况，使目标图像的拍摄信息更加准确。
本公开的一些实施例中，关键点包括外部关键点；基于关键点，确定目标图像的拍摄信息，包括：基于外部关键点，确定外部关键点包围的图像；基于外部关键点包围的图像，确定拍摄信息。其中，外部关键点可以包括目标图像的轮廓上的多个关键点，多个关键点包围区域为拍摄目标的目标图像区域，通过确定外部关键，确定目标图像的拍摄区域，通过这个区域确定拍摄信息，使拍摄信息更加准确。
基于所述预览图像，确定所述目标图像的目标位置信息；目标检测模型可以是卷积神经网络也可以是其他基于深度学习的模型，能够在图像中检测目标。目标检测模型可以预先进行训练。并且本公开的方案中，在强光和逆光的条件下，背景光照信息会影响目标位置信息的统计，所以在目标检测模型的训练中，对训练集中的图像增加强光或弱光的噪音，使得目标检测模型的鲁棒性更强，能够在不同条件的图像中获取的目标位置信息更加精确。例如，在进行任务拍摄时，人脸图像122作为目标图像。在获取到预览图像120之后，通过目标检测模型，获取人脸图像122的位置信息。
其中，关于目标检测模型的训练：目标检测模型的输入信息是多个图像，其中这多个图像中包含目标图像。图像可以是在不同环境下拍摄的。例如，在逆光、强光或弱光的条件下拍摄出的图像。输出的是目标图像的坐标信息，即目标图像的位置信息。例如，输入的是多个含有人物的图像，由多个人在不同环境下拍摄的多个图像。人的面部是目标图像，输出的就是面部的位置信息；如果输入的是多个含有开花植物的图像信息，花是目标图像，输出的就行花的位置信息。
基于目标位置信息，确定目标图像的关键点。在获取到目标位置信息后，可以根据目标图像的位置，进一步确定目标图像的轮廓。由于，目标位置信息确定的范围中，可能还包括有除去目标图像之外的内容。例如，人脸图像122作为目标图像的情况下，目标位置信息是含有目标图像的包围框，由于人脸的并非矩形，在包围框中会包含有人脸周围的环境。在一些情况下，尤其是逆光的情况下，环境的拍摄信息会产生不利影响。因此，在确定了目标位置信息后，可以进一步确定目标图像的目标信息，即更加准确的目标图像的轮廓。在一些实施例中，可以通过目标关键点检测模型得到目标位置信息中的目标图像的关键点坐标信息，这些关键点坐标信息可以作为目标信息。
基于目标信息，确定目标图像的关键点。
目标信息可以是目标图像的轮廓信息，或者目标图像的多个点信息；如果是轮廓信息，那么在轮廓内仅包含目标图像，也是最需要拍摄清晰的部分，根据这个范围确定的拍摄信息即为目标图像最准确的拍摄信息；如果是多个点信息，那么多个点信息的目标图像的多个点坐标的信息，多个点信息信息还可以包括多个坐标对应的光线强度信息等。例如，在拍摄人物时，最后得到了人物脸部的目标信息，根据这个目标信息确定的拍摄信息最能够准确的体现人脸的光线等信息。根据这个拍摄信息进行拍摄，这样拍摄出来的图像中目标图像部分不会受到图像中其他环境其他不利因素的干扰，呈现出清晰的目标图像。
本公开实施例中，供了一种图像采集方法，上述方法其中，基于预览图像，确定目标图像的目标位置信息，可以包括：基于预览图像，通过目标检测，得到包含目标图像的最小包围框，作为目标位置信息。
在检测目标图像的位置信息时，通过深度学习的目标检测模型得到目标图像的位置信息。在本公开的方案中，最小包围框是最接近目标图像大小的包围框，如果目标图像是人脸，那么最小包围框就是包含人脸的最小人脸包围框，通过该目标检测模型根据人脸检测模型检出的人脸包括框，在这个人脸包围框基础上扣出更接近人脸的最小包围框。最小包围框是最接近目标图像大小的包围框，最小包围框的四条边可以分别与目标图像的上下左右最外沿相切。最小包围框也可以是圆形或者六边形等，圆形或者六边形边与目标图像的边缘相切，这样缩小了原来包围框的面积，使得可以在更小的范围内确定目标信息，这样可以使目标信息更加准确，也降低了确定目标信息的计算量。
本公开实施例中，供了一种图像采集方法，上述方法其中，基于目标位置信息，确定目标图像的目标信息，可以包括：基于最小包围框，得到含有目标图像的局部图像；及，基于局部图像，通过目标关键点检测模型，得到目标图像的多个关键点。
本实施例中，最小包围框是包含目标图像的最小矩形范围。进一步可以通过目标关键点检测模型，得到最小包围框的关键点信息，其中关键点可以是包含关于目标图像各个关键部位的坐标信息和光线信息。其中，关键点可以包括人脸轮廓各个位置的坐标信息和亮度值。例如目标图像是人脸，最小包围框框出人脸的位置，那么关键点可能是人脸的上下左右的轮廓点或者眼睛、鼻子、嘴等点。得到这个最小包围框确定的局部图像中包含的目标图像的多个关键点，根据关键点确定目标图像的精确轮廓。例如，目标图像是人脸图像122时，目标关键点检测模型可以通过人脸检测，得到人脸的关键点。其中关键点是围绕人脸图像外延的关键点，将关键点依次连接，其内部的图像即为人脸图像122。获取关键点的数量可以进行设置，获取越多的关键点能够更加精确的确定目标图像的轮廓，获取相对较少的关键点能够降低计算成本，使得本方案更利于部署在计算力相对较低的终端设备。
在通过关键点获取到目标图像的准确轮廓后，对关键点内部的图像进行检测，可以得到目标图像准确的拍摄信息，排除了图像中环境的影响。这样得到的拍摄信息更加精准，而且更加符合目标图像的实际情况。
本公开实施例中，拍摄信息包括：目标亮度均值等能够用于调节曝光参数的信息；曝光参数包括：曝光时间和模拟增益。曝光时间可以调节图像采集设备进行拍摄时进行曝光的时间，在光线较暗的情况下，可以延长曝光时间。而模拟增益则是通过算法，调节图像的参数。其中目标亮度均是通过各个关键点的亮度值计算得出的亮度均值。本公开实施例中，供了一种图像采集方法，上述方法其中，步骤S230基于拍摄信息，调节曝光参数，可以包括：若目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使目标亮度值等于亮度阈值；若目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使目标亮度值等于亮度阈值。本实施例中，可以将目标图像的目标亮度均值与亮度阈值进行比较，如果目标亮度均值小于亮度阈值，则说明目标图像较暗，需要增加曝光时间和/或增大模拟增益，使得目标图像的目标亮度均值提高，直至符合亮度阈值。反之，如果目标亮度均值大于亮度阈值，则说明目标图像较亮，需要减少曝光时间和/或降低模拟增益，使得目标图像的目标亮度均值降低，直至符合亮度阈值。亮度阈值可以是一个数值，也可以是一个数值范围。
本公开实施例中，供了一种图像采集方法，上述方法其中，若目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使目标亮度值等于亮度阈值，包括：增加曝光时间；若通过增加曝光时间使得目标亮度值等于亮度阈值，则完成调节曝光参数；若通过增加曝光时间至最大值仍未使得目标亮度值等于亮度阈值，则通过增大模拟增益，使目标亮度值等于亮度阈值；若目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使目标亮度值等于亮度阈值，包括：降低模拟增益；若通过降低模拟增益使得目标亮度值等于亮度阈值，则完成调节曝光参数；若通过降低模拟增益至最小值仍未使得目标亮度值等于亮度阈值，则通过减小曝光时间，使目标亮度值等于亮度阈值。
由于调整曝光时间是物理调节图像采集的参数，能够保证图像采集不失真，而模拟增益则是通过算法调整，可能存在误差或失真。本实施例通过优先调节曝光时间能够保证图像采集的质量。当目标亮度均值小于亮度阈值时，通过先增加曝光时间调整目标亮度均值，如果当曝光时间调节到最大时还不能满足需求，再调大模拟增益值，使得目标亮度均值接近或者等于亮度阈值。当目标亮度均值大于亮度阈值时，先调小模拟增益，以降低目标亮度均值，但是当模拟增益调节到最小时，目标亮度均值还是不能满足要求，再减少曝光时间，最终使得目标亮度均值接近或者等于亮度阈值。
公开一实施例提供了一种图像采集装置，如图4所示，其中图像采集装置300包括：图像获取模块310，用于获取预览图像，预览图像中包括目标图像；信息确定模块320，用于基于预览图像，确定目标图像的拍摄信息；调参模块330，用于基于拍摄信息，调节曝光参数；图像获取模块310还用于：基于调节后的曝光参数，进行图像采集。
在一实施例中，信息确定模块320包括，第一确定单元，于所述预览图像，确定所述目标图像的关键点；第二确定单元，基于所述关键点，确定所述目标图像的所述拍摄信息。
在一实施例中，第一确定单元包括：第一确定单元子单元，基于所述内部关键点，确定所述内部关键点的周围图像；第二确定单元子单元：基于所述周围图像，确定所述周围图像的局部拍摄信息；第三确定单元子单元：基于全部局部拍摄信息，确定所述拍摄信息。
在一些实施例中，第一确定单元子单元包括：基于所述内部关键点以及范围尺寸，确定所述内部关键点的周围图像，其中，所述范围尺寸为预设尺寸或与所述内部关键点对应的尺寸。
在一些实施例中，所述关键点包括外部关键点；第一确定子单元，还可以包括：第一确定子模块：用于基于所述外部关键点，确定所述外部关键点包围的图像；第二确定子模块，用于基于所述外部关键点包围的图像，确定所述拍摄信息。
在一些实施例中，第一确定单元子单元包括：预览单元，用于基于所述预览图像，确定所述目标图像的目标位置信息；关键点确定单元，用于基于所述目标位置信息，确定所述目标图像的所述关键点。
在一些实施例中，预览单元可以包括：检测单元，用于基于所述预览图像，通过目标检测，得到包含所述目标图像的最小包围框，作为所述目标位置信息。
在一些实施例中，第二确定单元还包括，第三获取子单元，对多个轮廓关键点内部的图像进行检测，得到拍摄信息。
在一些实施例中，上述图像采集装置中，拍摄信息包括：目标亮度均值；曝光参数包括：曝光时间和模拟增益。
在一些实施例中，调参模块330还用于：若目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使目标亮度值等于亮度阈值；若目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使目标亮度值等于亮度阈值。
在一些实施例中，调参模块330还用于：若目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使目标亮度值等于亮度阈值，包括：增加曝光时间；若通过增加曝光时间使得目标亮度值等于亮度阈值，则完成调节曝光参数；若通过增加曝光时间至最大值仍未使得目标亮度值等于亮度阈值，则通过增大模拟增益，使目标亮度值等于亮度阈值；若目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使目标亮度值等于亮度阈值，包括：降低模拟增益；若通过降低模拟增益使得目标亮度值等于亮度阈值，则完成调节曝光参数；若通过降低模拟增益至最小值仍未使得目标亮度值等于亮度阈值，则通过减小曝光时间，使目标亮度值等于亮度阈值。
本公开的一个实施方式提供了一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行上述任一项所述的图像采集方法。
如图5所示，本公开的一个实施方式提供了一种电子设备400。其中，该电子设备400包括存储器401、处理器402、输入/输出(Input/Output，I/O)接口403。其中，存储器401，用于存储指令。处理器402，用于调用所述存储器存储的指令执行上述图像采集方法。其中，处理器402分别与存储器401、I/O接口403连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器401可用于存储程序和数据，包括本公开实施例中涉及图像采集方法的程序，处理器402通过运行存储在存储器401的程序从而执行电子设备400的各种功能应用以及数据处理。
本公开实施例中处理器402可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器402可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器401可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本公开实施例中，I/O接口403可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备400的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口403可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (14)

1.一种图像采集方法，其中，所述图像采集方法包括：
获取预览图像，所述预览图像中包括目标图像；
基于所述预览图像，确定所述目标图像的拍摄信息；
基于所述拍摄信息，调节曝光参数；
基于调节后的所述曝光参数，进行图像采集。
2.根据权利要求1所述的图像采集方法，其中，所述基于所述预览图像，确定所述目标图像的拍摄信息，包括：
基于所述预览图像，确定所述目标图像的关键点；
基于所述关键点，确定所述目标图像的所述拍摄信息。
3.根据权利要求2所述的图像采集方法，其中，所述关键点包括内部关键点；
所述基于所述关键点，确定所述目标图像的拍摄信息，包括：
基于所述内部关键点，确定所述内部关键点的周围图像；
基于所述周围图像，确定所述周围图像的局部拍摄信息；
基于全部局部拍摄信息，确定所述拍摄信息。
4.根据权利要求3所述的图像采集方法，其中，所述基于所述内部关键点，确定所述内部关键点的周围图像，包括：
基于所述内部关键点以及范围尺寸，确定所述内部关键点的周围图像，其中，所述范围尺寸为预设尺寸或与所述内部关键点对应的尺寸。
5.根据权利要求2所述的图像采集方法，其中，所述关键点包括外部关键点；
所述基于所述关键点，确定所述目标图像的拍摄信息，包括：
基于所述外部关键点，确定所述外部关键点包围的图像；
基于所述外部关键点包围的图像，确定所述拍摄信息。
6.根据权利要求2-5任意一项所述的图像采集方法，其中，所述基于所述预览图像，确定所述目标图像的关键点，包括：
基于所述预览图像，确定所述目标图像的目标位置信息；
基于所述目标位置信息，确定所述目标图像的所述关键点。
7.根据权利要求6所述的图像采集方法，其中，所述基于所述预览图像，确定所述目标图像的目标位置信息，包括：
基于所述预览图像，通过目标检测，得到包含所述目标图像的最小包围框，作为所述目标位置信息。
8.根据权利要求7所述的图像采集方法，其中，
所述基于所述目标位置信息，确定所述目标图像的目标信息，包括：
基于所述最小包围框，得到含有所述目标图像的局部图像；及，基于所述局部图像，通过目标关键点检测模型，得到所述目标图像的多个关键点，作为所述目标信息。
9.根据权利要求1所述的图像采集方法，其中，所述拍摄信息包括：目标亮度均值；所述曝光参数包括：曝光时间和模拟增益。
10.根据权利要求9所述的图像采集方法，其中，所述基于所述拍摄信息，调节曝光参数，包括：
若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值；
若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值。
11.根据权利要求9所述的图像采集方法，其中，
所述若所述目标亮度均值小于亮度阈值，则增加曝光时间和/或增大模拟增益，使所述目标亮度值等于所述亮度阈值，包括：
增加曝光时间；
若通过增加曝光时间使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过增加曝光时间至最大值仍未使得所述目标亮度值等于所述亮度阈值，则通过增大模拟增益，使所述目标亮度值等于所述亮度阈值；
所述若所述目标亮度均值大于亮度阈值，则减少曝光时间和/或降低模拟增益，使所述目标亮度值等于所述亮度阈值，包括：
降低模拟增益；
若通过降低模拟增益使得所述目标亮度值等于所述亮度阈值，则完成调节曝光参数；若通过降低模拟增益至最小值仍未使得所述目标亮度值等于所述亮度阈值，则通过减小曝光时间，使所述目标亮度值等于所述亮度阈值。
12.一种图像采集装置，其中，所述图像采集装置包括：
图像获取模块，用于获取预览图像，所述预览图像中包括目标图像；
信息确定模块，用于基于所述预览图像，确定所述目标图像的拍摄信息；
调参模块，用于基于所述拍摄信息，调节曝光参数；
所述图像获取模块还用于：基于调节后的所述曝光参数，进行图像采集。
13.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行如权利要求1-11任一项所述的图像采集方法。
14.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-11任一项所述的图像采集方法。
CN202110516871.9A 2021-05-12 2021-05-12 图像采集方法及装置、电子设备、计算机可读存储介质 Pending CN113452901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516871.9A CN113452901A (zh) 2021-05-12 2021-05-12 图像采集方法及装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516871.9A CN113452901A (zh) 2021-05-12 2021-05-12 图像采集方法及装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113452901A true CN113452901A (zh) 2021-09-28

Family

ID=77809742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516871.9A Pending CN113452901A (zh) 2021-05-12 2021-05-12 图像采集方法及装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113452901A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189634A (zh) * 2022-01-26 2022-03-15 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质
CN114205650A (zh) * 2022-01-27 2022-03-18 众信方智(苏州)智能技术有限公司 一种三维全景视频画面同步方法及装置
CN114299601A (zh) * 2022-03-08 2022-04-08 北京万里红科技有限公司 控制方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247479A (zh) * 2008-03-26 2008-08-20 北京中星微电子有限公司 一种基于图像中目标区域的自动曝光方法
CN105407276A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 拍照方法和设备
CN110099222A (zh) * 2019-05-17 2019-08-06 睿魔智能科技（深圳）有限公司 一种拍摄设备的曝光调整方法、装置、存储介质及设备
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法
CN110691199A (zh) * 2019-10-10 2020-01-14 厦门美图之家科技有限公司 人脸自动曝光方法、装置、拍摄设备及存储介质
CN110731076A (zh) * 2018-07-31 2020-01-24 深圳市大疆创新科技有限公司 一种拍摄处理方法、设备及存储介质
CN111491108A (zh) * 2019-01-28 2020-08-04 杭州海康威视数字技术股份有限公司 一种曝光参数的调整方法及装置
CN112073645A (zh) * 2020-09-04 2020-12-11 深圳创维－Rgb电子有限公司 曝光控制方法、装置、终端设备及存储介质
CN112752031A (zh) * 2020-07-31 2021-05-04 腾讯科技（深圳）有限公司 图像采集检测方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247479A (zh) * 2008-03-26 2008-08-20 北京中星微电子有限公司 一种基于图像中目标区域的自动曝光方法
CN105407276A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 拍照方法和设备
CN110731076A (zh) * 2018-07-31 2020-01-24 深圳市大疆创新科技有限公司 一种拍摄处理方法、设备及存储介质
CN111491108A (zh) * 2019-01-28 2020-08-04 杭州海康威视数字技术股份有限公司 一种曝光参数的调整方法及装置
CN110099222A (zh) * 2019-05-17 2019-08-06 睿魔智能科技（深圳）有限公司 一种拍摄设备的曝光调整方法、装置、存储介质及设备
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法
CN110691199A (zh) * 2019-10-10 2020-01-14 厦门美图之家科技有限公司 人脸自动曝光方法、装置、拍摄设备及存储介质
CN112752031A (zh) * 2020-07-31 2021-05-04 腾讯科技（深圳）有限公司 图像采集检测方法、装置、电子设备及存储介质
CN112073645A (zh) * 2020-09-04 2020-12-11 深圳创维－Rgb电子有限公司 曝光控制方法、装置、终端设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189634A (zh) * 2022-01-26 2022-03-15 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质
CN114189634B (zh) * 2022-01-26 2022-06-14 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质
CN114205650A (zh) * 2022-01-27 2022-03-18 众信方智(苏州)智能技术有限公司 一种三维全景视频画面同步方法及装置
CN114299601A (zh) * 2022-03-08 2022-04-08 北京万里红科技有限公司 控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN113452901A (zh) 图像采集方法及装置、电子设备、计算机可读存储介质
CN110536068B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US10917571B2 (en) Image capture device control based on determination of blur value of objects in images
US9330446B2 (en) Method and apparatus for processing image
US10410327B2 (en) Shallow depth of field rendering
US20210014411A1 (en) Method for image processing, electronic device, and computer readable storage medium
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
US20220166930A1 (en) Method and device for focusing on target subject, and electronic device
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
US11538175B2 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN110796600B (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
EP1774466A1 (en) Image processing method and apparatus, image sensing apparatus, and program
CN110971841B (zh) 图像处理方法、装置、存储介质及电子设备
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
WO2023030139A1 (zh) 图像融合方法、电子设备和存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
US20220329729A1 (en) Photographing method, storage medium and electronic device
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
US20100289912A1 (en) Camera arrangement with image modification
CN110392211B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210928

RJ01 Rejection of invention patent application after publication