CN112969023A - 图像拍摄方法、设备、存储介质以及计算机程序产品 - Google Patents

图像拍摄方法、设备、存储介质以及计算机程序产品 Download PDF

Info

Publication number
CN112969023A
CN112969023A CN202110129871.3A CN202110129871A CN112969023A CN 112969023 A CN112969023 A CN 112969023A CN 202110129871 A CN202110129871 A CN 202110129871A CN 112969023 A CN112969023 A CN 112969023A
Authority
CN
China
Prior art keywords
image
position information
preview image
target object
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110129871.3A
Other languages
English (en)
Inventor
张锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qisheng Technology Co Ltd
Original Assignee
Beijing Qisheng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qisheng Technology Co Ltd filed Critical Beijing Qisheng Technology Co Ltd
Priority to CN202110129871.3A priority Critical patent/CN112969023A/zh
Publication of CN112969023A publication Critical patent/CN112969023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例提供了一种图像拍摄方法、设备、存储介质以及计算机程序产品,方法包括:基于拍摄的包括目标物的第一预览图像,获取目标物在第一预览图像中的平面位置信息,以及获取第一预览图像对应的深度图像;根据平面位置信息和深度图像,确定目标物上的目标特征点相对于摄像装置的空间距离;基于平面位置信息和目标特征点对应的空间距离调整摄像装置的对焦参数,并完成对目标物的拍摄。上述方法能够获取到清晰度较高的目标物的拍摄图像;另外,在保证目标物的图像具有期望的清晰度的情况下,可以以少量的目标特征点所对应的空间距离作为调整对焦参数的依据,这有助于减少计算量,提高拍摄效率。

Description

图像拍摄方法、设备、存储介质以及计算机程序产品
技术领域
本公开涉及图像拍摄的技术领域,具体而言,涉及一种图像拍摄方法、设备、存储介质以及计算机程序产品。
背景技术
在利用摄像装置对目标物进行拍摄到过程中,经常会出现对焦不准的情况,这会导致被拍摄的目标物的图像出现不同程度的运动模糊,影响目标物的图像质量。
发明内容
有鉴于此,本公开实施例提供了一种图像拍摄方法、设备、存储介质以及计算机程序产品,至少部分解决现有技术中存在的问题。
第一方面,本公开实施例提供了一种图像拍摄方法,所述方法包括:
基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,以及获取所述第一预览图像对应的深度图像;
根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
在一种可能的实施方式中,通过以下步骤确定所述目标特征点:
根据所述平面位置信息,确定所述目标物的多个候选特征点在所述第一预览图像中的位置信息;
根据每个候选特征点对应的位置信息和所述深度图像,确定每个候选特征点相对于所述摄像装置的空间距离;
确定所述目标特征点包括对应的所述空间距离最远的候选特征点以及对应的所述空间距离最近的候选特征点。
在一种可能的实施方式中,通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个边缘点,将所述边缘点确定为候选特征点。
在一种可能的实施方式中,通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个顶点,将所述顶点确定为候选特征点。
在一种可能的实施方式中,所述目标物为二维码,所述候选特征点包括所述二维码的四个顶点。
在一种可能的实施方式中,所述基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,包括:
根据所述平面位置信息调整所述摄像装置的焦点的位置;
根据所述目标特征点对应的空间距离调整所述摄像装置的景深。
在一种可能的实施方式中,所述根据所述平面位置信息调整所述摄像装置的焦点的位置,包括:
根据所述平面位置信息确定所述目标物的参考点在所述第一预览图像中的位置信息,将所述摄像装置的焦点对准所述参考点。
在一种可能的实施方式中,所述根据所述目标特征点对应的空间距离调整所述摄像装置的景深,包括:
将所述摄像装置的最远景深点相对于所述摄像装置的距离,调整为大于所述目标特征点对应的空间距离;
将所述摄像装置的最近景深点相对于所述摄像装置的距离,调整为小于所述目标特征点对应的空间距离。
在一种可能的实施方式中,在所述完成对所述目标物的拍摄之后,所述方法还包括:
对拍摄获取的所述目标物的图像进行解析;
或者,将拍摄获取的所述目标物的图像的信息发送给服务器。
在一种可能的实施方式中,所述基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,包括:
将所述第一预览图像输入到预先训练好的图像识别模型中;
利用所述图像识别模型输出多个候选平面位置信息、以及每个所述候选平面位置信息的置信度;
基于每个所述候选平面位置信息的置信度,在所述多个候选平面位置信息中确定出所述目标物在所述第一预览图像中的平面位置信息。
在一种可能的实施方式中,所述摄像装置包括第一镜头和景深镜头,所述第一镜头用于拍摄所述第一预览图像,所述景深镜头用于拍摄所述深度图像。
在一种可能的实施方式中,所述摄像装置包括第一镜头和第二镜头,所述第一镜头用于拍摄所述第一预览图像,所述第二镜头用于拍摄与所述第一预览图像对应的第二预览图像;
所述获取所述第一预览图像对应的深度图像,包括:
基于所述第一预览图像和所述第二预览图像,采用预设深度图像算法生成深度图像;
或者,将所述第一预览图像和所述第二预览图像输入至预先训练好的双目深度估计模型,利用所述双目深度估计模型输出深度图像。
在一种可能的实施方式中,所述获取所述第一预览图像对应的深度图像,包括:
将所述第一预览图像输入至预先训练好的单目深度估计模型,利用所述单目深度估计模型输出深度图像。
第二方面,本公开实施例提供了一种图像拍摄装置,所述装置包括位置获取模块、深度图像获取模块、空间距离确定模块和拍摄模块;
所述位置获取模块用于基于包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息;
所述深度图像获取模块用于获取所述第一预览图像对应的深度图像;
所述空间距离确定模块用于根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
所述拍摄模块用于基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
在一种可能的实施方式中,所述空间距离确定模块通过以下步骤确定所述目标特征点:
根据所述平面位置信息,确定所述目标物的多个候选特征点在所述第一预览图像中的位置信息;
根据每个候选特征点对应的位置信息和所述深度图像,确定每个候选特征点相对于所述摄像装置的空间距离;
确定所述目标特征点包括对应的所述空间距离最远的候选特征点以及对应的所述空间距离最近的候选特征点。
在一种可能的实施方式中,所述空间距离确定模块通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个边缘点,将所述边缘点确定为候选特征点。
在一种可能的实施方式中,所述空间距离确定模块通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个顶点,将所述顶点确定为候选特征点。
在一种可能的实施方式中,所述目标物为二维码,所述候选特征点包括所述二维码的四个顶点。
在一种可能的实施方式中,所述拍摄模块在用于基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数时,具体用于:
根据所述平面位置信息调整所述摄像装置的焦点的位置;
根据所述目标特征点对应的空间距离调整所述摄像装置的景深范围。
在一种可能的实施方式中,所述拍摄模块在用于根据所述平面位置信息调整所述摄像装置的焦点的位置时,具体用于:
根据所述平面位置信息确定所述目标物的参考点在所述第一预览图像中的位置信息,将所述摄像装置的焦点对准所述参考点。
在一种可能的实施方式中,所述拍摄模块在用于根据所述目标特征点对应的空间距离调整所述摄像装置的景深范围时,具体用于:
将所述摄像装置的最远景深点相对于所述摄像装置的距离,调整为大于所述目标特征点对应的空间距离;
将所述摄像装置的最近景深点相对于所述摄像装置的距离,调整为小于所述目标特征点对应的空间距离。
在一种可能的实施方式中,所述拍摄模块还用于:
对拍摄获取的所述目标物的图像进行解析;
或者,将拍摄获取的所述目标物的图像的信息发送给服务器。
在一种可能的实施方式中,所述位置获取模块在用于基于包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息时,具体用于:
将所述第一预览图像输入到预先训练好的图像识别模型中;
利用所述图像识别模型输出多个候选平面位置信息、以及每个所述候选平面位置信息的置信度;
基于每个所述候选平面位置信息的置信度,在所述多个候选平面位置信息中确定出所述目标物在所述第一预览图像中的平面位置信息。
在一种可能的实施方式中,所述摄像装置包括第一镜头和景深镜头,所述第一镜头用于拍摄所述第一预览图像,所述景深镜头用于拍摄所述深度图像。
在一种可能的实施方式中,所述摄像装置包括第一镜头和第二镜头,所述第一镜头用于拍摄所述第一预览图像,所述第二镜头用于拍摄与所述第一预览图像对应的第二预览图像;
所述深度图像获取模块在用于获取所述第一预览图像对应的深度图像时,具体用于:
基于所述第一预览图像和所述第二预览图像,采用预设深度图像算法生成深度图像;
或者,将所述第一预览图像和所述第二预览图像输入至预先训练好的双目深度估计模型,利用所述双目深度估计模型输出深度图像。
在一种可能的实施方式中,所述深度图像获取模块在用于获取所述第一预览图像对应的深度图像时,具体用于:
将所述第一预览图像输入至预先训练好的单目深度估计模型,利用所述单目深度估计模型输出深度图像。
第三方面,本公开实施例提供了一种电子设备,电子设备包括处理器、存储器、摄像装置和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述摄像装置用于拍摄包括目标物的第一预览图像,当所述电子设备运行时,所述处理器通过所述总线分别与所述存储器和所述摄像装置通信,所述机器可读指令被所述处理器运行时执行上述第一方面,或第一方面中任一种可能的图像拍摄方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的图像拍摄方法的步骤。
第五方面,本公开实施例提供了一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现上述第一方面,或第一方面中任一种可能的图像拍摄方法的步骤。
本公开实施例提供的图像拍摄方法、装置、电子设备以及存储介质,能够根据平面位置信息和空间距离自动调整摄像装置的对焦参数,从而提高获取到清晰度较高的目标物的拍摄图像;另外,在能够保证目标物的图像具有期望的清晰度的情况下,可以以少量的目标特征点所对应的空间距离作为调整对焦参数的依据,这有助于减少计算量,从而在较大程度上缩短对焦时间,提高拍摄效率。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的一种图像拍摄方法的流程图;
图2为本公开实施例提供的一种展示第一预览图像的示意图;
图3为本公开实施例提供的一种确定目标物上的目标特征点的方法的流程图;
图4为本公开实施例提供的一种摄像装置的景深示意图;
图5为本公开实施例提供的一种图像拍摄装置的示意图;
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,在利用摄像装置对目标物进行拍摄到过程中,经常会出现对焦不准的情况,这会导致被拍摄的目标物的图像出现不同程度的运动模糊,影响目标物的图像质量;另外,现有的摄像装置需要耗费较长的时间才能获取比较清晰的目标物的图像,导致拍摄的效率较低。
基于上述研究,本公开实施例提供了一种图像拍摄方法,通过包括目标物的第一预览图像以及第一预览图像对应的深度图像,确定出目标物在平面位置信息、以及目标物上的目标特征点相对于摄像装置的空间距离,能够根据平面位置信息和空间距离自动调整摄像装置的对焦参数,从而提高获取到清晰度较高的目标物的拍摄图像;另外,在能够保证目标物的图像具有期望的清晰度的情况下,可以以少量的目标特征点所对应的空间距离作为调整对焦参数的依据,这有助于减少计算量,从而在较大程度上缩短对焦时间,提高拍摄效率。
另外,上述图像拍摄方法可以应用在基于二维码的扫码场景中,以便在扫码过程中可以快速地获得清晰度较高的二维码图像,从而提高扫码的效率成功率,能够有效地减少冗余无效的重复扫码行为,提升用户体验。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种图像拍摄方法进行详细介绍,本公开实施例所提供的图像拍摄方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端设备、终端设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像拍摄方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为终端设备为例对本公开实施例提供的图像拍摄方法加以说明。
参见图1所示,为本公开实施例提供的一种图像拍摄方法的流程图,所述方法包括步骤S110~S140,其中:
S110:基于拍摄的包括目标物的第一预览图像,获取目标物在第一预览图像中的平面位置信息。
参见图2所示,为本公开实施例提供的一种展示第一预览图像的示意图。当终端设备启动摄像装置后,终端设备的屏幕上展示拍摄界面,当目标物在终端设备的摄像装置的拍摄范围时,拍摄界面的取景框内可以展示包括目标物的第一预览图像。
目标物可以是任意一种实物或图形,例如,目标物可以是信息码,该信息码可以包括条形码、二维码和三维码等。可选地,本公开提供的图像拍摄方法可以应用于扫码场景,以基于二维码的扫码场景为例,终端设备响应于启用扫码功能操作以启动摄像装置,终端设备的屏幕上展示扫码界面,当二维码在摄像装置的拍摄范围时,扫码界面的扫码框内可以展示包括二维码的第一预览图像。
在该步骤中,可以将第一预览图像输入到预先训练好的图像识别模型中,利用图像识别模型输出目标物在第一预览图像中的平面位置信息。
可选地,第一预览图像输入到预先训练好的图像识别模型之后,图像识别模型可以输出多个候选平面位置信息、以及每个候选平面位置信息的置信度;基于每个候选平面位置信息的置信度,在多个候选平面位置信息中确定出目标物在第一预览图像中的平面位置信息。
这里,可以采用多种预设的方式,来基于置信度,从多个候选平面位置信息选择出期望的平面位置信息。例如,可以确定出最大的置信度,将该最大的置信度对应的候选平面位置信息确定为目标物在第一预览图像中的平面位置信息;也可以将判断每个候选平面位置信息的置信度是否大于预设的置信度阈值,将置信度大于置信度阈值的候选平面位置信息确定为目标物在第一预览图像中的平面位置信息。
示例性的,可以理解,以置信度的范围为0~1.0为例,置信度阈值可以根据实际的设计需要设置为0~1.0之间的某一值,例如可以置信度阈值设为0.5,也可以根据图像识别模型在测试集上的表现来选择合适的置信度阈值。
在本公开实施例中,图像识别模型可以是基于任一种图像识别算法/原理的图像识别模型,例如,图像识别模型可以是基于图像分割的图像识别模型,也可以是基于关键点检测的图像识别模型,但不限于此。
下面介绍基于图像分割的图像识别模型的训练和应用过程。
在此需要说明的是,基于图像分割的图像识别模型可以包括基于语义分割的图像识别模型、基于实例分割的图像识别模型以及基于全景分割的图像识别模型,但不限于此。图像识别模型的具体类别的可以结合硬件平台的算力和应用场景特性等因素而定。可以理解,基于图像分割的图像识别模型所输出的平面位置信息,包括目标物的边缘上的若干边缘点的位置信息。
在基于图像分割的图像识别模型的训练阶段,可以基于预训练过的图像分割模型为图像识别模型做初始化,之后利用带标注的目标物的定位数据进行迁移训练,使得训练后的图像识别模型能够输出目标物的平面位置信息。
在模型训练的过程中,可以将带标注的目标物的定位数据按一定比例拆分成训练集、验证集和测试集,基于训练集对图像识别模型进行训练,基于训练过的图像识别模型在验证集和测试集上准确率和损失函数变化,对模型和训练参数进行调优,从而优化图像识别模型的效果。
可以理解,上述训练好的图像识别模型所适用的目标物的类型,与模型训练阶段所使用的定位数据所属的目标物可以是一致的。例如,在模型训练阶段,利用带标注的二维码的定位数据对图像识别模型进行迁移训练,则训练好的图像识别模型可以输出二维码的平面位置信息。
以基于图像分割的图像识别模型适用于二维码的识别场景为例,在模型的应用阶段,可以将包含二维码的图像输入到预先训练好的图像识别模型中,图像识别模型通过对输入的包含二维码的图像进行预处理、模型推理以及后处理,输出二维码的多个候选平面位置信息、以及每个候选平面位置信息的置信度,其中,每个候选平面位置信息包括二维码的边缘上的若干边缘点的坐标。
下面介绍基于关键点检测的图像识别模型的训练和应用过程。
在此需要说明的是,基于关键点检测的图像识别模型的具体类别的可以结合硬件平台的算力和应用场景特性等因素而定。基于关键点检测的图像识别模型所输出的平面位置信息包括目标物的预设点的位置信息。以二维码为例,平面位置信息可以包括二维码的中心点和四个顶点的位置信息。
在基于关键点检测的图像识别模型的训练阶段,可以基于预训练过的关键点检测模型为图像识别模型做初始化,之后利用带标注的目标物的定位数据进行迁移训练,使得训练后的图像识别模型能够输出目标物的平面位置信息。
上述关键点检测模型可以是针对人脸或车牌等实物或图形的关键点检测模型,例如多任务级联卷积网络(Multi-task Cascaded Convolutional Networks,MTCNN)模型、或者Center Face模型,但不限于此。
在模型训练的过程中,可以将带标注的目标物的定位数据按一定比例拆分成训练集、验证集和测试集,基于训练集对图像识别模型进行训练,基于训练过的图像识别模型在验证集和测试集上准确率和损失函数变化,对模型和训练参数进行调优,从而优化图像识别模型的效果。
可以理解,上述训练好的图像识别模型所适用的目标物的类型,与模型训练阶段所使用的定位数据所属的目标物一致。例如,在模型训练阶段,利用带标注的二维码的定位数据对图像识别模型进行迁移训练,则训练好的图像识别模型可以输出二维码的平面位置信息。
以基于关键点检测的图像识别模型适用于二维码的识别场景为例,在模型的应用阶段,可以将包含二维码的图像输入到预先训练好的图像识别模型中,图像识别模型通过对输入的包含二维码的图像进行预处理、模型推理以及后处理,输出二维码的多个候选平面位置信息、以及每个候选平面位置信息的置信度,其中,每个候选平面位置信息包括二维码的中心点和四个顶点的坐标。
S120:获取第一预览图像对应的深度图像。
深度图像(Depth map)是一种三维场景信息表达方式,深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像装置的远近。可以理解,深度图像与第一预览图像所对应的拍摄范围一致,第一预览图像中的每个点相对于摄像装置的空间距离,可以用深度图像的对应的像素点的灰度值来确定。
在本公开实施例中,可以根据终端设备的软件和/或硬件的配置情况选择对应的获取深度图像的方式。其中,软件的配置情况包括终端设备所部署的用于获取深度图像的机器学习模型的类型,硬件的配置情况包括终端设备的摄像装置所包括的镜头的类型。
在一种可能的实施方式中,摄像装置包括第一镜头和景深镜头,第一镜头用于拍摄第一预览图像,景深镜头用于拍摄深度图像。
终端设备可以通过景深镜头获取第一预览图像对应的深度图像,在终端设备无需付出额外的计算代价的情况下,即可获取景稳定可靠的深图像。具体地,第一镜头可以是是RGB彩色镜头,或者红外镜头,但不限于此。这里,景深镜头也称为TOF(Time Of Flight)深感镜头,包括光源、光电探测器、脉冲装置和逻辑处理器。
终端设备可以控制景深镜头在工作时与第一镜头保持同步,景深镜头的光源通常采用红外线,景深镜头的脉冲装置可以让光源连续不断的发射调制的红外光,照射到目标物体上,并接收源源不断的反射光线,通过计算光线发射和反射时间差或相位差,来确定被拍摄物体和摄像装置之间的距离以产生深度信息,形成深度图像。
在一种可能的实施方式中,摄像装置包括双目镜头,该双目镜头包括第一镜头和第二镜头,第一镜头用于拍摄第一预览图像,第二镜头用于拍摄与第一预览图像对应的第二预览图像。双目镜头可以是是双目RGB彩色镜头,或者双目红外镜头。
终端设备可以启动第一镜头来拍摄第一预览图像,启动第二镜头来拍摄第二预览图像。可以理解,第二预览图像与第一预览图像对应的拍摄范围相同,且第二预览图像中包括目标物。
可选地,终端设备可以基于第一镜头拍摄的第一预览图像和第二镜头拍摄的第二预览图像,采用预设深度图像算法生成深度图像。这里,预设深度图像算法可以是绝对差异的总和(Sum of Absolute Differences,SAD)算法、块匹配(Block Matching,BM)算法、半全局块匹配(Semi-Global Block Matching,SGBM)算法等,但不限于此。
可选地,终端设备可以将第一镜头拍摄的第一预览图像和第二镜头拍摄的第二预览图像输入至预先训练好的双目深度估计模型,利用双目深度估计模型输出第一预览图像对应的深度图像。这里,双目深度估计模型可以是金字塔立体匹配网络((Pyramid StereoMatching Network,PSMNet)模型,但不限于此。
在一种可能的实施方式中,终端设备可以将第一预览图像输入至预先训练好的单目深度估计模型,利用单目深度估计模型输出深度图像。
这里,单目深度估计模型可以是基于注意机制的用于单目深度估计的上下文聚合网络(Attention-based Context Aggregation Network for Monocular DepthEstimatio,ACAN)模型、适于单目深度估计的深度有序回归网络(Deep OrdinalRegression Network for Monocular Depth Estimation,DORN)模型,但不限于此。
本公开实施例根据终端设备的软件和/或硬件的配置情况,提供了不同的获取深度图像的方式,提高了本公开实施例的图像拍摄方法的普适性,有助于该方法的推广使用。
S130:根据平面位置信息和深度图像,确定目标物上的目标特征点相对于摄像装置的空间距离。
如前文所述,深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像装置的远近。深度图像与第一预览图像所对应的拍摄范围一致,第一预览图像中的每个点相对于摄像装置的空间距离,可以用深度图像的对应的像素点的灰度值来确定。因此,在确定出的目标物在第一预览图像中的平面位置信息的情况下,可以确定出目标物上的任意一点所对应的深度图像中的像素点,从而确定出该点相对于摄像装置的空间距离。
可以理解,目标物上包括多个点,终端设备需要在目标物上的多个点点中确定出所需要的目标特征点以及目标特征点对应的空间距离。参见图3所示,为本公开实施例提供的一种确定目标物上的目标特征点的方法的流程图,所述方法包括步骤S1301~S1303,其中:
S1301:根据平面位置信息,确定目标物的多个候选特征点在第一预览图像中的位置信息。
可选地,终端设备可以基于目标物在第一预览图像中的平面位置信息,从第一预览图像中确定出目标物的多个边缘点,将边缘点确定为候选特征点。
如前文所述,基于图像分割的图像识别模型所确定的目标物在第一预览图像中的平面位置信息,包括目标物的边缘上的若干边缘点的位置信息。在步骤S1301中,可以将目标物的上述若干边缘点中的部分或全部边缘点作为候选特征点。以目标物为二维码为例,候选特征点可以包括二维码的四个边缘中各边缘上的至少一个边缘点。
可选地,终端设备可以基于目标物在第一预览图像中的平面位置信息,从第一预览图像中确定出目标物的多个顶点,将顶点确定为候选特征点。
如前文所述,基于关键点检测的图像识别模型所确定的目标物在第一预览图像中的平面位置信息包括目标物的预设点的位置信息,预设点可以是目标物的顶点,在步骤S1301中,将目标物的至少一个顶点作为候选特征点。以目标物为二维码为例,候选特征点可以包括二维码的四个顶点。
S1302:根据每个候选特征点对应的位置信息和深度图像,确定每个候选特征点相对于摄像装置的空间距离。
可以理解,基于候选特征点在第一预览图像中的位置信息,可以在深度图像确定出该候选特征点所对应的像素,基于该像素的灰度值确定出该候选特征点相对于摄像装置的空间距离。
S1303:确定目标特征点包括对应的空间距离最远的候选特征点以及对应的空间距离最近的候选特征点。
在确定出每个候选特征点相对于摄像装置的空间距离后,可以对候选特征点的空间距离进行排序,确定出最远的空间距离和最近的空间距离,将对应的空间距离最远的候选特征点以及对应的空间距离最近的候选特征点作为目标特征点。
在本公开实施例中,将边缘点和/或顶点确定为候选特征点,一方面可以能够有效地减少选择候选特征点是所需的区域范围,提高选择候选特征点的效率;另一方面,对于平面形式的目标物(如二维码),目标物距离拍摄装置最远的点和最近的点在在边缘点和/或顶点中的概率较高,更容易在边缘点和/或顶点中确定出符合要求的目标特征点。
接下来返回参照图1,S140:基于平面位置信息和目标特征点对应的空间距离调整摄像装置的对焦参数,并完成对目标物的拍摄。
在一种可能的实施方式中,终端设备可以根据平面位置信息调整摄像装置的焦点的位置,还可以根据目标特征点对应的空间距离调整摄像装置的景深。
本领域的技术人员可以理解,景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围,而光圈、镜头、及拍摄物的距离是影响景深的重要因素。如图4所示,在聚焦完成后,焦点前后的范围内所呈现的清晰图像,这一前一后的距离范围便叫做景深,其中,在焦点之前的一段距离称为前景深,在焦点之后的一段距离称为后景深。
这里,根据目标物在第一预览图像中的平面位置信息、以及目标物上的目标特征点对应的空间距离,针对性地调整焦点的位置和景深的范围,可以提高第一预览图像中目标物的清晰度。
可选地,在步骤S140中,可以根据平面位置信息确定目标物的参考点在第一预览图像中的位置信息,将摄像装置的焦点对准参考点。
参考点在目标物上的位置可以根据目标物的形状特点等因素而定,以目标物为二维码为例,可以将二维码的中心点作为参考点,在调整摄像装置的焦点的位置时,将摄像装置的焦点对准二维码的中心点,可以提高第一预览图像中的二维码的清晰度。
可选地,在步骤S140中,可以通过以下步骤来调整摄像装置的景深:将摄像装置的最远景深点相对于摄像装置的距离,调整为大于目标特征点对应的空间距离;将摄像装置的最近景深点相对于摄像装置的距离,调整为小于目标特征点对应的空间距离。
在本公开实施例中,最远景深点在摄像装置的焦点之后,最远景深点与焦点之间的距离为后景深;最近景深点在摄像装置的焦点之前,最近景深点与焦点之间的距离为前景深。可以理解,在步骤S140中将摄像装置的最远景深点相对于摄像装置的距离调整为大于上述的最远的空间距离,将摄像装置的最近景深点相对于摄像装置的距离调整为小于上述的最近的空间距离,这可以使目标物的大部分区域位于摄像装置的景深对应的空间范围内,或者使目标物全部位于摄像装置的景深对应的空间范围内,从而提高第一预览图像中的目标物(例如二维码)的清晰度。
在此需要说明的是,在完成对目标物的拍摄之后,可以保存目标物的图像,也可以基于目标物的图像执行其他的流程。例如,终端设备可以对拍摄获取的目标物的图像进行解析,或者将拍摄获取的目标物的图像的信息发送给服务器。
服务器在接收到目标物的图像的信息后,可以保存或转发该图像的信息,也可以针对该图像的信息发送对应的信息,或者对目标物的图像进行解析。
以目标物为二维码为例,其中,二维码又称QR Code,QR全称Quick Response,二维码利用构成计算机内部逻辑基础的“0”、“1”比特流,按照一定规律对信息进行编码,视觉上以在平面(二维方向上)分布的黑白相间的图形记录数据符号信息。在对拍摄获取的二维码的图像进行解析之后,可以识别出二维码图像中所包含的内容信息,基于识别出的内容信息执行响应的流程,该流程的具体内容可以根据实际的应用场景而定,应用场景可以包括共享单车场景、扫码取件场景、基于扫码完成信息录入的场景等。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与图像拍摄方法对应的图像拍摄装置,由于本公开实施例中的图像拍摄装置解决问题的原理与本公开实施例上述的图像拍摄方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图5所示,为本公开实施例提供的一种图像拍摄装置的示意图,图像拍摄装置500包括位置获取模块501、深度图像获取模块502、空间距离确定模块503和拍摄模块504。
位置获取模块501用于基于拍摄的包括目标物的第一预览图像,获取目标物在第一预览图像中的平面位置信息。
深度图像获取模块502用于获取第一预览图像对应的深度图像。
空间距离确定模块503,于根据平面位置信息和深度图像,确定目标物上的目标特征点相对于摄像装置的空间距离。
拍摄模块504用于基于平面位置信息和目标特征点对应的空间距离调整摄像装置的对焦参数,并完成对目标物的拍摄。
在一种可选的实施方式中,空间距离确定模块503通过以下步骤确定目标特征点:根据平面位置信息,确定目标物的多个候选特征点在第一预览图像中的位置信息;根据每个候选特征点对应的位置信息和深度图像,确定每个候选特征点相对于摄像装置的空间距离;确定目标特征点包括对应的空间距离最远的候选特征点以及对应的空间距离最近的候选特征点。
在一种可选的实施方式中,空间距离确定模块503通过以下步骤确定多个候选特征点:基于平面位置信息,从第一预览图像中确定出目标物的多个边缘点,将边缘点确定为候选特征点。
在一种可选的实施方式中,空间距离确定模块503通过以下步骤确定多个候选特征点:基于平面位置信息,从第一预览图像中确定出目标物的多个顶点,将顶点确定为候选特征点。
在一种可选的实施方式中,目标物为二维码,候选特征点包括二维码的四个顶点。
在一种可选的实施方式中,拍摄模块504在用于基于平面位置信息和目标特征点对应的空间距离调整摄像装置的对焦参数时,具体用于:根据平面位置信息调整摄像装置的焦点的位置;根据目标特征点对应的空间距离调整摄像装置的景深。
在一种可选的实施方式中,拍摄模块504在用于根据平面位置信息调整摄像装置的焦点的位置时,具体用于:根据平面位置信息确定目标物的参考点在第一预览图像中的位置信息,将摄像装置的焦点对准参考点。
在一种可选的实施方式中,拍摄模块504在用于根据目标特征点对应的空间距离调整摄像装置的景深时,具体用于:将摄像装置的最远景深点相对于摄像装置的距离,调整为大于目标特征点对应的空间距离;将摄像装置的最近景深点相对于摄像装置的距离,调整为小于目标特征点对应的空间距离。
在一种可选的实施方式中,拍摄模块504还用于:对拍摄获取的目标物的图像进行解析;或者,将拍摄获取的目标物的图像的信息发送给服务器。
在一种可选的实施方式中,位置获取模块501在用于基于拍摄的包括目标物的第一预览图像,获取目标物在第一预览图像中的平面位置信息时,具体用于:将第一预览图像输入到预先训练好的图像识别模型中;利用图像识别模型输出多个候选平面位置信息、以及每个候选平面位置信息的置信度;基于每个候选平面位置信息的置信度,在多个候选平面位置信息中确定出目标物在第一预览图像中的平面位置信息。
在一种可选的实施方式中,摄像装置包括第一镜头和景深镜头,第一镜头用于拍摄第一预览图像,景深镜头用于拍摄深度图像。
在一种可选的实施方式中,摄像装置包括第一镜头和第二镜头,第一镜头用于拍摄第一预览图像,第二镜头用于拍摄与第一预览图像对应的第二预览图像。
深度图像获取模块502在用于获取第一预览图像对应的深度图像时,具体用于:基于第一预览图像和第二预览图像,采用预设深度图像算法生成深度图像;或者,将第一预览图像和第二预览图像输入至预先训练好的双目深度估计模型,利用双目深度估计模型输出深度图像。
在一种可选的实施方式中,深度图像获取模块502在用于获取第一预览图像对应的深度图像时,具体用于:将第一预览图像输入至预先训练好的单目深度估计模型,利用单目深度估计模型输出深度图像。
本公开实施例提供的图像拍摄装置,通过包括目标物的第一预览图像以及第一预览图像对应的深度图像,确定出目标物在平面位置信息、以及目标物上的目标特征点相对于摄像装置的空间距离,根据平面位置信息和空间距离针对性地调整摄像装置的对焦参数,从而提高第一预览图像中目标物的清晰度,以便获取到清晰度较高的目标物的拍摄图像;另外,在能够保证目标物的图像具有期望的清晰度的情况下,可以以少量的目标特征点所对应的空间距离作为调整对焦参数的依据,这有助于减少计算量,从而在较大程度上缩短对焦时间,提高拍摄效率。
另外,上述图像拍摄方法可以应用在基于二维码的扫码场景中,以便在扫码过程中可以快速地获得清晰度较高的二维码图像,从而提高扫码的效率成功率,能够有效地减少冗余无效的重复扫码行为,提升用户体验
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一发明构思,对应于图1中的图像拍摄方法,本公开实施例还提供了一种电子设备,如图6所示,为本公开实施例提供的电子设备的结构示意图。电子设备600包括处理器61、存储器62、摄像装置63和总线64。存储器62用于存储有处理器61可执行的机器可读指令,所述摄像装置63用于拍摄包括目标物的第一预览图像,存储器62包括内存621和外部存储器622。这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当所述电子设备600运行时,所述处理器61通过所述总线64分别与所述存储器62和所述摄像装置63通信,机器可读指令被处理器21运行时执行以下指令:
基于拍摄的包括目标物的第一预览图像,获取目标物在第一预览图像中的平面位置信息,以及获取第一预览图像对应的深度图像;
根据平面位置信息和深度图像,确定目标物上的目标特征点相对于摄像装置的空间距离;
基于平面位置信息和目标特征点对应的空间距离调整摄像装置的对焦参数,并完成对目标物的拍摄。
基于同一发明构思,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像拍摄方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现上述的图像拍摄方法的步骤。其中,计算机程序产品可以是任何能实现上述图标显示方法的产品,该计算机程序产品中对现有技术做出贡献的全部或部分方案可以以软件产品(例如软件开发包(Software Development Kit,SDK))的形式体现,该软件产品可以被存储在一个存储介质中,通过包含的计算机指令使得相关设备或处理器执行上述图标显示方法的全部或部分步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
本公开实施例提供了一种图像拍摄方法、设备、存储介质以及计算机程序产品,具体包括:
TS1、一种图像拍摄方法,其中,所述方法包括:
基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,以及获取所述第一预览图像对应的深度图像;
根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
TS2、根据TS1所述的方法,其中,通过以下步骤确定所述目标特征点:
根据所述平面位置信息,确定所述目标物的多个候选特征点在所述第一预览图像中的位置信息;
根据每个候选特征点对应的位置信息和所述深度图像,确定每个候选特征点相对于所述摄像装置的空间距离;
确定所述目标特征点包括对应的所述空间距离最远的候选特征点以及对应的所述空间距离最近的候选特征点。
TS3、根据TS2所述的方法,其中,通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个边缘点,将所述边缘点确定为候选特征点。
TS4、根据TS2所述的方法,其中,通过以下步骤确定所述多个候选特征点:
基于所述平面位置信息,从所述第一预览图像中确定出所述目标物的多个顶点,将所述顶点确定为候选特征点。
TS5、根据TS4所述的方法,其中,所述目标物为二维码,所述候选特征点包括所述二维码的四个顶点。
TS6、根据TS1所述的方法,其中,所述基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,包括:
根据所述平面位置信息调整所述摄像装置的焦点的位置;
根据所述目标特征点对应的空间距离调整所述摄像装置的景深。
TS7、根据TS6所述的方法,其中,所述根据所述平面位置信息调整所述摄像装置的焦点的位置,包括:
根据所述平面位置信息确定所述目标物的参考点在所述第一预览图像中的位置信息,将所述摄像装置的焦点对准所述参考点。
TS8、根据TS6所述的方法,其中,所述根据所述目标特征点对应的空间距离调整所述摄像装置的景深,包括:
将所述摄像装置的最远景深点相对于所述摄像装置的距离,调整为大于所述目标特征点对应的空间距离;
将所述摄像装置的最近景深点相对于所述摄像装置的距离,调整为小于所述目标特征点对应的空间距离。
TS9、根据TS1所述的方法,其中,在所述完成对所述目标物的拍摄之后,所述方法还包括:
对拍摄获取的所述目标物的图像进行解析;
或者,将拍摄获取的所述目标物的图像的信息发送给服务器。
TS10、根据TS1所述的方法,其中,所述基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,包括:
将所述第一预览图像输入到预先训练好的图像识别模型中;
利用所述图像识别模型输出多个候选平面位置信息、以及每个所述候选平面位置信息的置信度;
基于每个所述候选平面位置信息的置信度,在所述多个候选平面位置信息中确定出所述目标物在所述第一预览图像中的平面位置信息。
TS11、根据TS1所述的方法,其中,所述摄像装置包括第一镜头和景深镜头,所述第一镜头用于拍摄所述第一预览图像,所述景深镜头用于拍摄所述深度图像。
TS12、根据TS1所述的方法,其中,所述摄像装置包括第一镜头和第二镜头,所述第一镜头用于拍摄所述第一预览图像,所述第二镜头用于拍摄与所述第一预览图像对应的第二预览图像;
所述获取所述第一预览图像对应的深度图像,包括:
基于所述第一预览图像和所述第二预览图像,采用预设深度图像算法生成深度图像;
或者,将所述第一预览图像和所述第二预览图像输入至预先训练好的双目深度估计模型,利用所述双目深度估计模型输出深度图像。
TS13、根据TS1所述的方法,其中,所述获取所述第一预览图像对应的深度图像,包括:
将所述第一预览图像输入至预先训练好的单目深度估计模型,利用所述单目深度估计模型输出深度图像。
TS14、一种图像拍摄装置,其中,所述装置包括:
位置获取模块,用于基于包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息;
深度图像获取模块,用于获取所述第一预览图像对应的深度图像;
空间距离确定模块,用于根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
拍摄模块,用于基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
TS15、一种电子设备,其中,包括:处理器、存储器、摄像装置和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述摄像装置用于拍摄包括目标物的第一预览图像,当所述电子设备运行时,所述处理器通过所述总线分别与所述存储器和所述摄像装置通信,所述机器可读指令被所述处理器运行时执行如TS1至TS13中任一项所述的图像拍摄方法的步骤。
TS16、一种计算机可读存储介质,其中,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如TS1至TS13中任意一项所述的图像拍摄方法的步骤。
TS17、一种计算机程序产品,包括计算机指令,其中,所述计算机指令被处理器执行时实现如TS1至TS13中任意一项所述的图像拍摄方法的步骤。

Claims (10)

1.一种图像拍摄方法,其特征在于,所述方法包括:
基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,以及获取所述第一预览图像对应的深度图像;
根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
2.根据权利要求1所述的方法,其特征在于,通过以下步骤确定所述目标特征点:
根据所述平面位置信息,确定所述目标物的多个候选特征点在所述第一预览图像中的位置信息;
根据每个候选特征点对应的位置信息和所述深度图像,确定每个候选特征点相对于所述摄像装置的空间距离;
确定所述目标特征点包括对应的所述空间距离最远的候选特征点以及对应的所述空间距离最近的候选特征点。
3.根据权利要求1所述的方法,其特征在于,所述基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,包括:
根据所述平面位置信息调整所述摄像装置的焦点的位置;
根据所述目标特征点对应的空间距离调整所述摄像装置的景深。
4.根据权利要求1所述的方法,其特征在于,所述基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息,包括:
将所述第一预览图像输入到预先训练好的图像识别模型中;
利用所述图像识别模型输出多个候选平面位置信息、以及每个所述候选平面位置信息的置信度;
基于每个所述候选平面位置信息的置信度,在所述多个候选平面位置信息中确定出所述目标物在所述第一预览图像中的平面位置信息。
5.根据权利要求1所述的方法,其特征在于,所述摄像装置包括第一镜头和第二镜头,所述第一镜头用于拍摄所述第一预览图像,所述第二镜头用于拍摄与所述第一预览图像对应的第二预览图像;
所述获取所述第一预览图像对应的深度图像,包括:
基于所述第一预览图像和所述第二预览图像,采用预设深度图像算法生成深度图像;
或者,将所述第一预览图像和所述第二预览图像输入至预先训练好的双目深度估计模型,利用所述双目深度估计模型输出深度图像。
6.根据权利要求1所述的方法,其特征在于,所述获取所述第一预览图像对应的深度图像,包括:
将所述第一预览图像输入至预先训练好的单目深度估计模型,利用所述单目深度估计模型输出深度图像。
7.一种图像拍摄装置,其特征在于,所述装置包括:
位置获取模块,用于基于拍摄的包括目标物的第一预览图像,获取所述目标物在所述第一预览图像中的平面位置信息;
深度图像获取模块,用于获取所述第一预览图像对应的深度图像;
空间距离确定模块,用于根据所述平面位置信息和所述深度图像,确定所述目标物上的目标特征点相对于摄像装置的空间距离;
拍摄模块,用于基于所述平面位置信息和所述目标特征点对应的空间距离调整所述摄像装置的对焦参数,并完成对所述目标物的拍摄。
8.一种电子设备,其特征在于,包括:处理器、存储器、摄像装置和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述摄像装置用于拍摄包括目标物的第一预览图像,当所述电子设备运行时,所述处理器通过所述总线分别与所述存储器和所述摄像装置通信,所述机器可读指令被所述处理器运行时执行如权利要求1至6中任一项所述的图像拍摄方法的步骤。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6中任意一项所述的图像拍摄方法的步骤。
10.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现如权利要求1至6中任意一项所述的图像拍摄方法的步骤。
CN202110129871.3A 2021-01-29 2021-01-29 图像拍摄方法、设备、存储介质以及计算机程序产品 Pending CN112969023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110129871.3A CN112969023A (zh) 2021-01-29 2021-01-29 图像拍摄方法、设备、存储介质以及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129871.3A CN112969023A (zh) 2021-01-29 2021-01-29 图像拍摄方法、设备、存储介质以及计算机程序产品

Publications (1)

Publication Number Publication Date
CN112969023A true CN112969023A (zh) 2021-06-15

Family

ID=76273522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129871.3A Pending CN112969023A (zh) 2021-01-29 2021-01-29 图像拍摄方法、设备、存储介质以及计算机程序产品

Country Status (1)

Country Link
CN (1) CN112969023A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515143A (zh) * 2021-06-30 2021-10-19 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
CN117082344A (zh) * 2023-08-11 2023-11-17 蚂蚁区块链科技(上海)有限公司 图像拍摄方法和装置
WO2023226548A1 (zh) * 2022-05-25 2023-11-30 惠州Tcl移动通信有限公司 镜头对焦方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056089A1 (ja) * 2014-10-08 2016-04-14 日立マクセル株式会社 カメラ及び撮影方法
CN108629220A (zh) * 2018-03-23 2018-10-09 阿里巴巴集团控股有限公司 一种二维码识读方法、装置及设备
CN109815813A (zh) * 2018-12-21 2019-05-28 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质
CN111523340A (zh) * 2019-02-02 2020-08-11 北京骑胜科技有限公司 二维码识别方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056089A1 (ja) * 2014-10-08 2016-04-14 日立マクセル株式会社 カメラ及び撮影方法
CN108629220A (zh) * 2018-03-23 2018-10-09 阿里巴巴集团控股有限公司 一种二维码识读方法、装置及设备
CN109815813A (zh) * 2018-12-21 2019-05-28 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN111523340A (zh) * 2019-02-02 2020-08-11 北京骑胜科技有限公司 二维码识别方法、装置、电子设备及存储介质
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515143A (zh) * 2021-06-30 2021-10-19 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
WO2023226548A1 (zh) * 2022-05-25 2023-11-30 惠州Tcl移动通信有限公司 镜头对焦方法、装置、电子设备和计算机可读存储介质
CN117082344A (zh) * 2023-08-11 2023-11-17 蚂蚁区块链科技(上海)有限公司 图像拍摄方法和装置

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
US9307221B1 (en) Settings of a digital camera for depth map refinement
CN105933589B (zh) 一种图像处理方法及终端
JP6929047B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN112767538B (zh) 三维重建及相关交互、测量方法和相关装置、设备
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN111291885A (zh) 近红外图像的生成方法、生成网络的训练方法和装置
US11615547B2 (en) Light field image rendering method and system for creating see-through effects
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN112969023A (zh) 图像拍摄方法、设备、存储介质以及计算机程序产品
CN112561879B (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN110505398A (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2021046773A1 (zh) 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质
CN113128428A (zh) 基于深度图预测的活体检测方法和相关设备
CN106815237B (zh) 搜索方法、搜索装置、用户终端及搜索服务器
CN109166176B (zh) 三维人脸图像的生成方法与装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
EP3859683A1 (en) A method for generating a 3d model
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination