CN114788254B - 辅助对焦方法、装置及系统 - Google Patents

辅助对焦方法、装置及系统 Download PDF

Info

Publication number
CN114788254B
CN114788254B CN202080077437.9A CN202080077437A CN114788254B CN 114788254 B CN114788254 B CN 114788254B CN 202080077437 A CN202080077437 A CN 202080077437A CN 114788254 B CN114788254 B CN 114788254B
Authority
CN
China
Prior art keywords
image
depth
target object
scene
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080077437.9A
Other languages
English (en)
Other versions
CN114788254A (zh
Inventor
李恺
耶方明
熊策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN114788254A publication Critical patent/CN114788254A/zh
Application granted granted Critical
Publication of CN114788254B publication Critical patent/CN114788254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种辅助对焦方法、装置及系统。在用户使用摄像装置对目标场景进行拍摄时,可以根据目标场景中的各对象的深度信息生成辅助对焦图像,通过辅助对焦图像可以直观地展示目标场景各对象的深度分布以及摄像装置的焦点在目标场景中对应的位置,从而用户可以从辅助对焦图像中直观的了解当前焦点所在的位置,以及根据各对象的深度分布调整焦点的位置,使得用户感兴趣的对象可以清晰成像,通过辅助对焦图像为用户手动对焦提供参考,方便用户手动对焦,提升用户手动对焦的效率。

Description

辅助对焦方法、装置及系统
技术领域
本申请涉及图像采集技术领域,具体而言,涉及一种辅助对焦方法、装置及系统。
背景技术
在一些拍摄场景中,采用自动对焦的方式对摄像装置进行对焦的效果不太理想,因而需要通过用户手动对焦的方式对摄像装置进行对焦。用户在手动对焦时,需要根据目标对象与摄像装置的距离调整对焦环的位置,以便调整焦点的位置,使焦点对准用户想要拍摄的目标对象所在的平面,从而目标对象在摄像装置中才能清晰成像。为了方便用户调整焦点的位置,有必要提供一种辅助用户手动对焦的方案。
发明内容
有鉴于此,本申请提供一种辅助对焦方法、装置及系统。
根据本申请的第一方面,提供一种辅助对焦方法,所述方法包括:
在摄像装置对目标场景进行拍摄的情况下,根据目标场景中各对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于展示所述对象的深度分布以及所述摄像装置的焦点当前在所述目标场景中的位置;
将所述辅助对焦图像通过交互界面展示给用户;
接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像
根据本申请的第二方面,提供一种辅助对焦装置,所述辅助对焦装置包括处理器、存储器、存储在所述存储器上可供所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在摄像装置对目标场景进行拍摄的情况下,根据目标场景中各对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于展示所述对象的深度分布以及所述摄像装置的焦点当前在所述目标场景中的位置;
将所述辅助对焦图像通过交互界面展示给用户;
接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像。
根据本申请的第三方面,提供一种辅助对焦辅助系统,所述系统包括如上述第二方面提及的辅助对焦装置、摄像装置以及测距装置
应用本申请提供的方案,在用户使用摄像装置对目标场景进行拍摄时,可以根据目标场景中的各对象的深度信息生成辅助对焦图像,通过辅助对焦图像可以直观地展示目标场景各对象的深度分布以及摄像装置的焦点在目标场景中对应的位置,从而用户可以从辅助对焦图像中直观的了解当前焦点所在的位置,以及根据各对象的深度分布调整焦点的位置,使得用户感兴趣的对象可以清晰成像,通过辅助对焦图像为用户手动对焦提供参考,方便用户手动对焦,提升用户手动对焦的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例的辅助对焦方法的流程图。
图2是本申请一个实施例的一种深度分布图像的示意图。
图3是本申请一个实施例的一种深度分布图像的示意图。
图4(a)-4(c)是本申请一个实施例的一种通过深度分布图像展示焦点位置的示意图。
图5是本申请一个实施例的镜头成像原理的示意图。
图6(a)-6(b)是本申请一个实施例的通过深度分布图像展示对焦区域的示意图。
图7(a)-7(b)是本申请一个实施例的辅助对焦图像的示意图。
图8是本申请一个实施例的深度分布图像由多个图层构成的示意图。
图9是本申请一个实施例的应用场景的示意图。
图10是本申请一个实施例的辅助对焦图像的示意图。
图11是本申请一个实施例的辅助对焦装置的逻辑结构的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在采用摄像装置采集图像之前,需要对摄像装置进行对焦处理,使摄像装置的焦点对准用户想要拍摄的目标对象所在的平面,以确保采集的图像中目标对象是清晰的。摄像装置的镜头一般由多组镜片组成,通过调整其中的一组或多组镜片组与成像平面(即感光元件)的距离,即可以调整焦点的位置,其中,用于改变焦点位置的镜片组,称为对焦镜组,通过调整对焦镜组的位置可以改变焦点的位置,比如将焦点前移或后移,使其对准目标对象。通常,摄像装置可以包括对焦环,对焦环一般包括标尺,标尺可以指示目标对象与摄像装置的距离不同时对焦环所对应的位置,通过调节对焦环的位置即可以调节对焦镜组的位置,进而改变焦点的位置。
目前,对焦方式有两种,自动对焦和手动对焦。自动对焦可以由摄像装置自行确定焦点的位置,并自动驱动对焦环调整到对应的位置,无需用户手动调节。但是,在拍摄场景光线较弱、拍摄场景反差较小、微距拍摄等场景,使用自动对焦的效果可能不太理想,因而需要采用手动对焦的方式。
在进行手动对焦时,可以根据目标对象与摄像装置的距离调整摄像装置上的对焦环的位置,从而改变焦点的位置,使得用户感兴趣的对象可以清晰成像。目前,为了更加准确地调整焦点的位置,可以采用一些测距装置测量拍摄场景中的各目标对象和摄像装置的距离,比如深度传感器、激光雷达等,通过这些测距装置可以得到拍摄场景的深度图像或者点云等,对于深度图像,深度值需要按一定规律映射为图像像素值,不能直观的反应场景中各对象的深度分布情况。而点云则需要人为拖动,才能在2D屏幕上看出3D景物的分布,不易操作。所以,仅通过测距装置采集的深度图像或点云展示拍摄场景中各对象的深度,用户无法直观地了解各对象的深度分布情况,不方便用户手动对焦。
基于此,本申请实施例提供一种辅助对焦的方法,在用户使用摄像装置对目标场景进行拍摄时,可以根据目标场景中的各对象的深度信息生成辅助对焦图像,通过辅助对焦图像可以直观地展示目标场景各对象的深度分布以及摄像装置的焦点在目标场景中对应的位置,从而用户可以从辅助对焦图像中直观的了解当前焦点所在的位置,以及根据各对象的深度分布确定该如何调整焦点的位置,使得用户感兴趣的对象可以清晰成像。
本申请的辅助对焦方法可以由于摄像装置执行,也可以由与摄像装置通信连接的其他设备执行,比如,在某些场景中,可以采用专门的跟焦设备调节摄像装置的焦点位置,这种场景下,该方法也可以由所述摄像装置配备的跟焦设备执行。
具体的,所述方法如图1所示,包括以下步骤:
S102、在摄像装置对目标场景进行拍摄的情况下,根据目标场景中各对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于展示所述对象的深度分布以及所述摄像装置的焦点当前在所述目标场景中的位置;
手动对焦的模式下,用户需知道目标对象与摄像装置的距离,根据距离调整焦点的位置,所以,在用户采用摄像装置对目标场景进行拍摄时,可以先获取目标场景中各对象的深度信息,其中,目标场景各对象的深度信息可以通过一些测距装置获取,比如,可以给摄像装置配备激光雷达、深度相机、深度传感器、红外测距仪等测距装置,通过这些测距装置获取目标场景中各对象的深度信息。比如,在某些实施例中,摄像装置可以是包括彩色相机和深度相机的一体化设备,或者有两中相机组合得到的设备。
获取到各对象的深度信息后,可以根据各对象的深度信息生成辅助对焦图像,辅助对焦图像可以是各种形式的图像,比如,辅助对焦图像可以显示各对象的深度值,以及当前焦点所在位置的深度值,辅助对焦图像也可以只仅显示各对象与摄像装置的距离远近关系,只要通过该图像可以直观地展示目标场景中各对象的深度分布以及当前时刻摄像装置的焦点在该目标场景的位置即可。
S104、将所述辅助对焦图像通过交互界面展示给用户;
在生成辅助对焦图像后,可以通过交互界面将辅助对焦图像展示给用户,在该辅助对焦的方法由摄像装置执行的场景,交互界面可以是摄像装置提供的交互界面,在该辅助对焦的方法由其他设备(比如跟焦设备)执行的场景,该交互界面可以是摄像装置提供的交互界面,也可以是跟焦设备的提供的交互界面。当然,在一些场景中,交互界面也可以是与摄像装置或者跟焦设备通信连接的其他设备提供的交互界面,本申请实施例不作限制。
S106、接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像。
用户在看到交互界面展示的辅助对焦图像后,即可以直观地看到当前焦点所在的位置,用户可以根据各对象的深度分布确定自己感兴趣的对象所处的位置,然后根据自己感兴趣的对象所处的位置调整焦点的位置。在接收到用户对焦点位置的调整指令后,可以根据调整后的焦点的位置更新辅助对焦图像,以便在图像中实时显示焦点的位置,为用户调整焦点位置提供参考。
本申请实施例通过根据目标场景各对象的深度信息生成辅助对焦图像,并通过交互界面展示给用户,利用辅助对焦图像展示目标场景中各对象的深度分布以及当前焦点在目标场景中的位置,这样用户根据辅助对象图像便可以直观地知道当前焦点位于场景的哪个位置,以及要将焦点调整至感兴趣对象所在平面应该如何调整,为用户手动对焦提供了极大的便利,提高了用户手动对焦的效率,从而提升了用户体验。
在某些实施例中,辅助对焦图像可以仅展示目标场景中各对象的深度分布以及焦点的位置。在某些实施例中,辅助对焦图像也可以同时展示摄像装置采集的目标场景的场景图像,比如,在生成辅助对焦图像时,可以获取摄像装置采集的目标场景的场景图像,然后根据目标场景中各对象的深度信息生成深度分布图像,深度分布图像可以用于展示各对象的深度分布,然后根据场景图像和深度分布图像生成辅助对焦图像。
在某些实施例中,目标场景中各对象的深度分布可以通过各对象在深度分布图像上对应的投影点展示。比如,深度分布图像可以通过将目标场景中各对象在指定轴向上投影得到,每个目标对象可以对应深度分布图像上的一个或者多个投影点,其中,指定轴向与摄像装置的光轴轴向不重合。这样,在投影过程中,便可以保留目标场景中各对象的深度信息,避免深度信息损失。
举个例子,如图2所示,目标场景中包括行人22、车辆23以及房子24三个对象,假设摄像装置21的光轴轴向与Z轴重合,上述三个对象与摄像装置21的距离分别为Z1、Z2和Z3,摄像装置21对目标场景进行图像采集得到场景图像25,同时可以通过测距装置获取目标场景的深度信息,比如通过激光雷达获取目标场景的三维点云或者通过深度相机获取的目标场景的深度图像,然后根据三维点云或者深度图像确定将目标场景中各对象在非Z轴方向上进行投影得到的展示各对象深度分布的深度分布图像。比如,可以将各对象在Y轴或X轴方向上投影,即可以得到可以展示各对象深度分布的深度分布图像。如图2中的深度分布图像26即为将目标场景中各对象沿Y轴方向投影得到,深度分布图像26的横轴表示各对象在X轴方向上的位置分布情况,深度分布图像26的纵轴表示各对象的与摄像装置21的深度距离。如图2中的深度分布图像27即为将目标场景中各对象沿X轴方向投影得到,深度分布图像27的横轴表示各对象与摄像装置21的距离,深度分布图像27的纵轴表示各对象在Y轴方向上的位置分布情况。
为了用户可以更直观地查看目标场景中各对象的深度分布情况,在某些实施例中,深度分布图像的横轴或者纵轴可以用于展示各对象对应的投影点的深度。比如,投影点位于图像横轴越右边(或左边)的位置,则说明该投影点的深度值越大,或者投影点位于图像纵轴越上方(或下方)的位置,则说明投影点的深度值越小。
在某些实施例中,为了方便用户知道目标场景中各对象与摄像装置的深度距离的具体数值,深度分布图像的横轴或纵轴可以携带刻度,每个刻度标识有对应的深度值,通过各个刻度标识的深度值,即可以确定投影点的深度值,从而确定各对象的深度值。当然,深度分布图像也可以不携带刻度,只要标识出横轴或者纵轴的哪个方向表示深度增大的方向即可。
在某些实施例中,深度分布图像的横轴或者纵轴携带的刻度可以是均匀的刻度。在某些实施例中,深度分布图像的横轴或者纵轴携带的刻度也可以是非均匀的刻度,比如,只在各对象所对应的深度位置标识刻度和深度值。
在某些实施例中,深度分布图像的纵轴可以用于表示投影点的深度值,深度分布图像的横轴可以表示投影点对应的对象在三维空间中的位置分布,比如,可以表示投影点对应的对象是在三维空间中非投影轴向且非深度轴向上偏左还是偏右的位置(或者是偏上还是偏下的位置)。深度分布图像中各投影点的属性可以用于表征投影到该投影点的各对象对应的空间三维点的数量,比如,三维空间的各对象可以看成由许多空间三维点构成,深度图像上的每个投影点可以由固定的X坐标、固定的深度值下,不同Y坐标对应的三维点投影得到,因而可以通过投影点的属性来表示投影到该投影点的空间三维点数量。
如图3所示,目标场景中有一个小长方体32和一个大长方体33,摄像装置31沿着Z轴的方向采集两个对象的图像,两个对象与摄像装置31的深度距离分别为Z1和Z2,其中,深度分布图像34通过将两个对象沿着Y轴方向投影得到,小长方体32在深度分布图像34上对应的投影点为341,大长方体33在深度分布图像34上对应的投影点为342,其中,可以用深度分布图像的纵轴表示两个对象在深度分布图像对应的投影点的深度值,而深度分布图像的横轴则可以表示两个对象在三维空间中X轴向上的位置分布情况,比如,位于三维空间X轴偏左边的物体,则在深度分布图像横轴方向偏左边的位置,位于三维空间X轴偏右边的物体,则在深度分布图像横轴方向偏右边的位置。
在某些实施例中,投影点的属性可以是投影点的灰度值、投影点的颜色或投影点的形状中的任一种。比如,投影点的灰度值越大表示投影到该投影点的对象的三维点的数量越多,或者投影点的颜色越深表示投影到该投影点的三维点的数量越多。
在某些实施例中,深度分布图像中各投影点的灰度值与投影到该投影点的对象的三维点的数量正相关。即投影点的灰度值越大,则表示投影到该投影点的三维点的数量越多。
如图3所示,小长方体32在Y轴方向上的高度较小,而大长方体33在Y轴方向上的高度较高,因而,针对X轴同一位置,大长方体33对应的空间三维点数量较多,小长方体22对应的空间三维点数量较少,因而可以将大长方体33对应的投影点的亮度值设置的大一些,表示每个投影点对应的三维点数量较多,将小长方体32对应的投影点的亮度值设置的小一些,表示其对应的三维点数量较少。
在某些实施例中,各对象对应的投影点在深度分布图像横轴方向上的分布范围与各对象的尺寸正相关,比如,各对象在深度分布图像横轴方向上的分布范围越宽,表示该对象在对应轴向上的尺寸越大。如图3所示,相比于小长方体32,大长方体33在X轴方向的长度更长,因而沿着Y轴投影得到的深度分布图像上,大长方体33对应的投影点在图像的横轴方向上分布范围也更宽。当然,如果沿X轴投影得到深度分布图像,采用深度分布图像的横轴表示深度值,纵轴表示投影点对应的对象在三维空间的位置分布情况,则小长方体32相比与大长方体33在Y轴方向的高度更高,因而小长方32体对应的投影点在深度分布图像的纵轴方向上分布范围更宽。
在某些实施例中,可以采用深度分布图像的纵轴表示深度值,各对象对应的投影点在深度分布图像纵轴方向上的分布位置的高度与各对象与摄像装置深度距离正相关,即位于深度分布图像纵轴方向上越下方的位置的投影点所对应的对象与摄像装置的距离越近。如图3所示,相比于小长方体32,大长方体33与摄像装置的距离较远,因而沿着Y轴投影得到的深度分布图像上,大长方体33对应的投影点在深度分布图像纵轴靠上方位置。
在某些实施例中,深度分布图像的纵轴的刻度可以通过对目标场景中各对象的深度值进行量化得到。比如,可以确定目标场景中各对象的深度分布范围,然后根据深度分布图像的高度,对目标场景中各对象的深度值进行量化。当然,在一些实施例中,将深度值按照深度分布图像的高度量化后,位于不同深度的对象,量化后的深度值也可能相同。
在某些实施例中,摄像装置的焦点在目标场景中对应的位置可以通过所述深度分布图像展示。其中,通过深度分布图像展示焦点的位置的方式可以有多种,比如,在某些实施例中,通可以通过指定标识在深度分布图像中标识摄像装置的焦点对应的深度。比如,可以在深度分布图像上标注焦点对应的深度值,如图4(a)所示,可以在深度分布图像中通过一条指向焦点对应的深度值的直线指示焦点的位置(如图中的黑色线条),或者在深度分布图像上将焦点所在平面的对象标识出来,如图4(b)所示,可以将焦点所在平面的对象对应的投影点标识成不同的颜色(如图中的黑色投影点),从而可以确定焦点的位置。当然,在某些实施例中,也可以通过场景图像展示焦点当前的位置,比如,可以在场景图像中标识焦点所在平面上的对象。如图4(c)所示,可以在场景图像中显示焦点对应的对象(如图中黑框标识的对象),通过将场景图像和深度分布图像对应,即可以确定焦点所在位置的深度。
通常而言,如图5所示,摄像装置在完成对焦后,不仅仅是焦点所在平面的物体在摄像装置中的成像是清晰的,焦点前后一定距离范围内的物体在摄像装置中的成像也是清晰的,这个距离范围即为摄像装置的景深。当摄像装置的焦点位置确定后,焦点前后一定距离范围内的对象在摄像装置中的成像都是清晰的,我们可以称景深范围对应的区域为对焦区域。为了让用户可以直观地知道当前目标场景中哪些对象在摄像装置的成像是清晰的,在某些实施例中,深度分布图像还可以展示摄像装置当前的对焦区域,对焦区域即为位于所述摄像装置景深范围内的区域,位于对焦区域内的对象在摄像装置中的成像是清晰的。通过在深度分布图像中显示对焦区域,方便用户调整焦点的位置,以便将感兴趣的一个或者多个对象调整至对焦区域内。
在深度分布图像展示对焦区域的方式也可以有多种,比如,在某些实施例中,可以在深度图像中标识对焦区域对应的深度范围,或者可以采用选框在深度分布图像中框选出对焦区域。如图6(a)所示,可以用选框在深度分布图像中框选出对焦区域,位于选框内的对象都可以清晰成像。某些实施例中,也可以在深度分布图像中标识出位于对焦区域的对象对应的投影点,以便用户结合深度分布图像中标识出的投影点以及场景图像便可以确定当前目标场景中的哪些对象可以清晰成像。
在深度分布图像中标识出位于对焦区域的对象对应的投影点的方式可以有多种,比如,在一些实施例中,可以将位于对焦区域的对象对应的投影点渲染成指定颜色,(比如图6(b)中的黑色投影点),在一些实施例中,也可以在位于对焦区域内的对象对应的投影点周边标注选框、字符或者其他标识,以便用户可以识别出这些投影点。
由于深度分布图像可以显示焦点位置和对焦区域,为了让用户可以直观地看到感兴趣的目标对象当前是否位于对焦区域,或者焦点是否调整到了感兴趣的目标对象所在的平面。在一些实施例中,还可以从摄像装置采集的场景图像中识别出用户感兴趣的一个或者多个目标对象,然后在深度分布图像中标识出这些目标对象对应的投影点。这样用户根据深度分布图像便可以清楚的知道自己感兴趣的对象当前是否可以清晰成像,如果无法清晰成像,应如何调整焦点的位置。
在一些实施例中,用户可以通过在交互界面输入选择指令选择自己感兴趣的目标对象,比如,用户可以在交互界面显示的场景图像中框选或者点击一个或者多个对象作为自己感兴趣的对象。在一些实施例中,也可以由执行该辅助对焦方法的设备自动识别出用户感兴趣的目标对象,比如,可以自动识别出指定类型的对象,比如、人脸、活体或者在画面中占比大于一定阈值的对象,作为用户感兴趣的对象,然后在深度分布图像中标识出这些对象对应的投影点。
在某些实施例中,在根据场景图像和深度分布图像生成辅助对焦图像时,可以将场景图像和深度分布图像并排拼接,得到辅助对焦图像(如图4(a)所示),其中,拼接形式可以是上下拼接,左右拼接,只要在一个图像中可以同时显示目标场景的场景图像和目标场景中各对象的深度分布以及摄像装置的焦点位置即可,本申请不作限制。
在某些实施例中,深度分布图像可以是具有一定透明度的图像,在根据场景图像和深度分布图像生成辅助对焦图像时,可以将深度分布图像叠加到场景图像上,以生成辅助对焦图像(如图7(a)和7(b))。比如,可以将深度分布图像叠加到场景图像中的对象较少的区域,这样便不会遮挡场景图像中的各对象。
在一些实施例中,深度分布图像的尺寸可以和场景图像的尺寸一致(如图7(a)),在一些实施例中,深度分布图像的尺寸也可以小于场景图像的尺寸(如图7(b)),比如在将深度分布图像叠加到场景图像的场景,深度分布图像可以小于场景图像的尺寸,这样便只重叠场景图像的小部分区域,避免遮挡场景图像中的内容。
在一些实施例中,深度分布图像可以只包括一个图层,在一个图层中显示目标场景中的所有对象对应的投影点。在一些实施例中,为了方便用户从深度分布图像中区分出不同的对象,深度分布图像也可以包括多个图层,每个图层可以显示一个对象对应的投影点(如图8所示)。这样不同对象的投影点可以位于不同图层,不会堆叠到一起,方便用户查看。当然,在一些实施例中,也可以每个图层显示多个深度距离比较接近的对象的投影点。
在一些实施例中,如果采用多个图层显示目标场景中各对象对应的投影点,多个图层可以错开排布,多个图层的排布顺序可以基于各图像对应的对象的被关注度确定。比如,可以将用户比较关注的对象对应的图层排在前后,用户不感兴趣的对象对应的图层排在后面。
当然,由于深度分布图像是通过投影点的方式展示各对象的深度分布,通过深度图像用户不太容易区分投影点对应的是哪个对象,因而可以结合场景图像来确定。在一些实施例中,为了方便用户将深度分布图像中的投影点与目标场景图像中的对象关联起来,在生成辅助对焦图像时,可以分别在场景图像和深度分布图像中确定对应于同一个对象的目标像素点以及目标投影点,在辅助对焦图像中关联显示对应于同一个对象的目标像素点和目标投影点,以便用户通过辅助对焦图像可以快速识别深度图像的投影点在场景图像中对应的对象
在一些实施例中,在关联显示对应于同一个对象的目标像素点和目标投影点时,可以采用相同颜色的选择框框选目标投影点和目标像素点。当然,由于场景图像是彩色图像,因而,也可以将目标投影点的颜色渲染成目标像素点(即对象)的颜色,这样根据颜色即可以将同一对象的像素点和投影点关联。当然,也可以在目标投影点和目标像素点的邻近位置标识相同的字符将两者关联,具体的实现方式很多,只要可以将同一个对象在场景图像的像素点以及在深度分布图像中的投影点对应即可,本申请不作限制。
在一些实施例中,场景图像对应的视角范围与深度分布图像对应的视角范围一致。比如,深度分布图像可以根据深度相机采集的深度图像生成,摄像装置和深度相机可以同时固定于同一个云台上,两个相机随着云台转动而转动,两者采集的图像的视角范围同时随着云台的转动而变化。这样随着云台转动,场景图像中的显示的内容和深度分布图像中的显示的内容都会发生变化。在一些实施中,场景图像对应的视角范围可以只是深度分布图像对应的视角范围的一部分,比如,深度相机的视角范围可以是固定的,其采集的是整个目标场景的深度图像,而摄像装置只是采集目标场景中一部分对象的图像,这样,摄像装置的视角移动时场景图像会变化,深度分布图像显示的内容固定不变,采用这种方式,当被拍摄对象为运动物体的场景,深度分布图像也可以很好的展示被拍摄对象在整个场景中的运动情况。
在一些实施例中,辅助对焦图像可以在用户开启辅助对焦模式后才显示,比如,在用户未开启辅助对焦模式时,交互界面仅仅展示摄像装置采集的场景图像,方便用户查看采集的图像,当接收到用户输入的开启辅助对焦模式的指令后,则在交互界面显示该辅助对焦图像,方便用户根据辅助对焦图像调整焦点的位置。为了进一步解释本申请实施例提供的辅助对焦方法,以下结合一个具体的实施例加以解释。
如图9所示,为本申请一个实施例的应用场景示意图,摄像装置为包括深度相机91和彩色相机92的一体式设备,两个相机的相对位置参数可以预先标定。摄像装置还包括交互界面,用于实时展示彩色相机采集的场景图像。在摄像装置启动后,彩色相机可以采集场景的场景图像,深度相机可以采集场景的深度图像。然后可以根据两个相机的相对位置参数,统一两种图像的坐标系,比如,都统一到彩色相机的坐标系下,或者都统一到深度相机的坐标系下。
统一两种图像的坐标系后,可以根据深度图像生成场景中各对象的深度分布图像。假设三维空间的中的Z轴方向为深度方向,X轴方向与深度图像的X轴方向一致,Y轴方向与深度图像的Y轴方向一致。深度分布图像可以看成是将场景中各对象沿Y轴方向投影得到的图像。其中,深度分布图像的X轴可以和深度图像的X轴对应,即表示对象在三维空间中X轴上的位置分布,对象在三维空间中X轴方向上的尺寸越大,则在深度分布图像X轴方向上成像越大。
深度分布图像的Y轴可以表示场景中各对象深度。深度分布图像的Y轴可以携带刻度,每个刻度可以标识对应的深度值,其中,刻度可以是均匀分布,也可非均匀分布。在根据深度图像生成深度分布图像时,可以遍历深度图像的每一列,根据该列每个像素的深度值,按照深度分布图像上Y轴的刻度,绘制在深度分布图像上,形成该列像素的深度分布。由于深度值与深度分布图像Y轴的坐标需要尺度转换,因而,将深度值按图像高度量化后,不同位置的像素,量化后的深度值可能相同。在绘制深度分布图像时,深度分布图像中每个像素的灰度值,表示该列、该深度下各对象的三维点出现的频率。深度分布图像上的像素的亮度越大,表示空间中,在该列该深度处的点越多、越密集。
在生成深度分布图像后,即可以根据深度分布图像和场景图像得到辅助对焦图像。其中。深度分布图像可以是具有一定透明度的图像,可以将深度分布图像叠加到场景图像上,得到辅助对焦图像,然后在摄像装置的交互界面展示辅助对焦图像。如图10所示,为根据彩色相机采集的场景图像和深度分布图像生成的辅助对焦图像。
为了让用户可以直观地知道当前焦点的位置,还可以在深度分布图像上标识焦点的位置,如图10中带箭头的线条指向的深度值即为焦点位置对应的深度值,当然,还可以在深度分布图像上标识对焦区域,比如在深度分布图像中框选出对焦区域,如图10中的白色选框框选的区域,或者也可以将对焦区域内的对象在深度分布图像对应的像素渲染成指定颜色。
用户通过辅助对焦图像,即可以知道当前焦点的位置,并且根据自己感兴趣的对象所在的位置调整焦点的位置,用户调整焦点的位置后,则会重新根据焦点的位置更新辅助对焦图像。
当然,可以在摄像装置的交互界面中设置一个控件,该控件用于开启或者关闭辅助对焦模式,开始辅助对焦模式时,交互界面显示的是辅助对焦图像,关闭辅助对焦模式时,交互界面则仅显示彩色相机采集的场景图像。
通过本申请实施例提供的辅助对焦方法,用户可以根据辅助对焦图像直观的知道场景中各个对象的深度分布、焦点所在位置以及对焦区域,从而可以调整焦点的位置,使感兴趣的对象位于对焦区域内,从而感兴趣对象可以清晰成像。通过这种方法,可以方便用户对焦,提升对焦效率。
相应的,本申请还提供一种辅助对焦装置,如图11所示,所述辅助对焦装置110包括处理器111、存储器112、存储在所述存储器112上可供所述处理器111执行的计算机程序,所述处理器111执行所述计算机程序时实现以下步骤:
在摄像装置对目标场景进行拍摄的情况下,根据目标场景中各对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于展示所述对象的深度分布以及所述摄像装置的焦点当前在所述目标场景中的位置;
将所述辅助对焦图像通过交互界面展示给用户;
接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像。
在一些实施例中,所述处理器用于根据目标场景中各对象的深度信息生成辅助对焦图像时,具体用于:
获取所述摄像装置采集的目标场景的场景图像;
根据目标场景中各对象的深度信息生成深度分布图像,所述深度分布图像用于展示所述对象的深度分布;
根据所述场景图像和所述深度分布图像生成所述辅助对焦图像。
在一些实施例中,所述对象的深度分布通过所述对象在所述深度分布图像中对应的投影点展示,所述投影点通过将所述对象沿指定轴向投影得到,所述指定轴向与所述摄像装置光轴轴向不重合。
在一些实施例中,所述深度分布图像的横轴或纵轴用于展示所述投影点的深度。
在一些实施例中,所述深度分布图像的横轴或纵轴携带有刻度,每个刻度标识有对应的深度值。
在一些实施例中,所述刻度为非均匀的刻度。
在一些实施例中,所述深度分布图像的纵轴表示所述投影点的深度值,所述深度分布图像的横轴表示所述投影点对应的对象在空间中的位置分布,所述投影点的属性用于表征投影到所述投影点的所述对象对应的空间三维点的数量。
在一些实施例中,投影点的属性包括以下任一种:所述投影点的灰度值、所述投影点的颜色或所述投影点的形状。
在一些实施例中,所述投影点的灰度值与投影到所述投影点的所述对象对应的空间三维点的数量正相关。
在一些实施例中,所述对象对应的投影点在所述深度分布图像横轴方向的分布范围与所述对象的尺寸大小正相关。
在一些实施例中,所述对象对应的投影点在所述深度分布图像纵轴方向上的分布位置的高度与所述对象与所述摄像装置的距离正相关。
在一些实施例中,所述深度分布图像的纵轴的刻度通过对所述对象的深度值进行量化得到。
在一些实施例中,所述摄像装置的焦点在所述场景中对应的位置通过所述深度分布图像展示。
在一些实施例中,所述处理器用于在所述深度分布图像中展示所述摄像装置的焦点在所述场景中的位置时,具体用于:
通过指定标识在所述深度图像中标识所述摄像装置的焦点的对应的深度。
在一些实施例中,所述深度分布图像还用于展示所述摄像装置的对焦区域,其中,位于所述对焦区域的对象在所述摄像装置中成像清晰。
在一些实施例中,所述处理器用于在所述深度分布图像展示所述摄像装置的对焦区域时,具体用于:
在所述深度分布图像中框选所述对焦区域;或
在所述深度分布图像中标识位于所述对焦区域内的对象对应的投影点。
在一些实施例中,所述处理器用于在所述深度分布图像中标识所述位于所述对焦区域内的对象对应的投影点时,具体用于:
将所述深度分布图像中所述对焦区域内的对象对应的投影点渲染成指定颜色。
在一些实施例中,所述处理器还用于:
从所述场景图像中确定用户感兴趣的目标对象;
在所述深度分布图像中标识所述目标对象对应的投影点。
在一些实施例中,所述处理器用于从所述场景图像中确定用户感兴趣的目标对象时,具体用于:
基于用户通过所述交互界面输入的选择指令从所述场景图像中确定用户感兴趣的目标对象;或
从所述场景图像中识别出指定类型的对象作为所述目标对象。
在一些实施例中,所述深度分布图像包括多个图层,每个所述图层用于显示一个所述对象对应的投影点的深度分布。
在一些实施例中,所述多个图层错开排布,所述多个图层的排布顺序基于所述图层对应的对象的被关注度确定。
在一些实施例中,所述处理器还用于:
确定对应于同一个对象的所述场景图像中的目标像素点以及所述深度分布图像中的目标投影点;
在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点。
在一些实施例中,所述处理器用于在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点时,具体用于:
采用相同颜色的选择框框选所述目标像素点以及所述目标投影点;或
将所述目标投影点的颜色渲染成所述目标像素点对应的颜色;或
在所述目标投影点和所述目标像素点的邻近位置标识相同的字符。
在一些实施例中,所述深度分布图像为具有一定透明度的图像,所述处理器用于根据所述场景图像和所述深度分布图像生成所述辅助对焦图像时,具体用于:
将所述深度分布图像叠加于所述场景图像之上,以生成所述辅助对焦图像。
在一些实施例中,所述深度分布图像的尺寸与所述场景图像的尺寸一致;或
所述深度分布图像的尺寸小于所述场景图像。
在一些实施例中,所述处理器用于根据所述场景图像和所述深度分布图像生成所述辅助对焦图像时,具体用于:
将所述深度分布图像与所述场景图像并排拼接,以生成所述辅助对焦图像。
在一些实施例中,所述场景图像与所述深度分布图像对应的视角范围一致;或
所述场景图像对应的视角范围为所述深度分布图像对应的视角范围的一部分。
在一些实施例中,所述处理器用于将所述辅助对焦图像展示给用户之前,还用于:
接收用户输入的指令,所述指令用于指示开启辅助对焦模式。
进一步的,本申请还提供一种辅助对焦系统,包括上述各实施例中提及的辅助对焦装置、摄像装置以及测距装置。
在一些实施例中,所述辅助对焦系统还包括云台,所述摄像装置以及所述测距装置固定于所述云台。
相应地,本说明书实施例还提供一种计算机存储介质,所述存储介质中存储有程序,所述程序被处理器执行时实现上述任一实施例中的辅助对焦方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (58)

1.一种辅助对焦方法,其特征在于,所述方法包括:
在摄像装置对目标场景进行拍摄的情况下,根据目标场景中目标对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于按照深度分布展示所述目标对象以及所述摄像装置的焦点,所述深度分布包括多个深度值,所述目标对象按照其对应的深度值显示于所述辅助对焦图像的对应位置;
将所述辅助对焦图像通过交互界面展示给用户,以使所述用户能够根据所述目标对象在所述辅助对焦图像中的位置调整所述焦点的位置;
接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像。
2.根据权利要求1所述的方法,其特征在于,根据目标场景中目标对象的深度信息生成辅助对焦图像,包括:
获取所述摄像装置采集的目标场景的场景图像;
根据目标场景中所述目标对象的深度信息生成深度分布图像,所述深度分布图像用于展示所述目标对象的深度分布;
根据所述场景图像和所述深度分布图像生成所述辅助对焦图像。
3.根据权利要求2所述的方法,其特征在于,所述目标对象的深度分布通过所述目标对象在所述深度分布图像中对应的投影点展示,所述投影点通过将所述目标对象沿指定轴向投影得到,所述指定轴向与所述摄像装置光轴轴向不重合。
4.根据权利要求3所述的方法,其特征在于,所述深度分布图像的横轴或纵轴用于展示所述投影点的深度。
5.根据权利要求4所述的方法,其特征在于,所述深度分布图像的横轴或纵轴携带有刻度,每个刻度标识有对应的深度值。
6.根据权利要求5所述的方法,其特征在于,所述刻度为非均匀的刻度。
7.根据权利要求4-6任一项所述的方法,其特征在于,所述深度分布图像的纵轴表示所述投影点的深度值,所述深度分布图像的横轴表示所述投影点对应的目标对象在空间中的位置分布,所述投影点的属性用于表征投影到所述投影点的所述目标对象对应的空间三维点的数量。
8.根据权利要求7所述的方法,其特征在于,投影点的属性包括以下任一种:所述投影点的灰度值、所述投影点的颜色或所述投影点的形状。
9.根据权利要求8所述的方法,其特征在于,所述投影点的灰度值与投影到所述投影点的所述目标对象对应的空间三维点的数量正相关。
10.根据权利要求7所述的方法,其特征在于,所述目标对象对应的投影点在所述深度分布图像横轴方向的分布范围与所述对象的尺寸大小正相关。
11.根据权利要求7所述的方法,其特征在于,所述目标对象对应的投影点在所述深度分布图像纵轴方向上的分布位置的高度与所述目标对象与所述摄像装置的距离正相关。
12.根据权利要求7所述的方法,其特征在于,所述深度分布图像的纵轴的刻度通过对所述目标对象的深度值进行量化得到。
13.根据权利要求2-6任一项所述的方法,其特征在于,所述摄像装置的焦点在所述场景中对应的位置通过所述深度分布图像展示。
14.根据权利要求13所述的方法,其特征在于,在所述深度分布图像中展示所述摄像装置的焦点在所述场景中的位置,包括:
通过指定标识在所述深度分布图像中标识所述摄像装置的焦点的对应的深度。
15.根据权利要求2-6任一项所述的方法,其特征在于,所述深度分布图像还用于展示所述摄像装置的对焦区域,其中,位于所述对焦区域的对象在所述摄像装置中成像清晰。
16.根据权利要求15所述的方法,其特征在于,在所述深度分布图像展示所述摄像装置的对焦区域,包括:
在所述深度分布图像中框选所述对焦区域;或
在所述深度分布图像中标识位于所述对焦区域内的目标对象对应的投影点。
17.根据权利要求16所述的方法,其特征在于,在所述深度分布图像中标识所述位于所述对焦区域内的目标对象对应的投影点,包括:
将所述深度分布图像中所述对焦区域内的目标对象对应的投影点渲染成指定颜色。
18.根据权利要求2-6任一项所述的方法,其特征在于,还包括:
从所述场景图像中确定用户感兴趣的特定目标对象;
在所述深度分布图像中标识所述特定目标对象对应的投影点。
19.根据权利要求18所述的方法,其特征在于,从所述场景图像中确定用户感兴趣的特定目标对象,包括:
基于用户通过所述交互界面输入的选择指令从所述场景图像中确定用户感兴趣的特定目标对象;或
从所述场景图像中识别出指定类型的目标对象作为所述特定目标对象。
20.根据权利要求2-6任一项所述的方法,其特征在于,所述深度分布图像包括多个图层,每个所述图层用于显示一个所述目标对象对应的投影点的深度分布。
21.根据权利要求20所述的方法,其特征在于,所述多个图层错开排布,所述多个图层的排布顺序基于所述图层对应的目标对象的被关注度确定。
22.根据权利要求2-6任一项所述的方法,其特征在于,还包括:
确定对应于同一个目标对象的所述场景图像中的目标像素点以及所述深度分布图像中的目标投影点;
在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点。
23.根据权利要求22所述的方法,其特征在于,在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点,包括:
采用相同颜色的选择框框选所述目标像素点以及所述目标投影点;或
将所述目标投影点的颜色渲染成所述目标像素点对应的颜色;或
在所述目标投影点和所述目标像素点的邻近位置标识相同的字符。
24.根据权利要求2-6任一项所述的方法,其特征在于,所述深度分布图像为具有一定透明度的图像,根据所述场景图像和所述深度分布图像生成所述辅助对焦图像,包括:
将所述深度分布图像叠加于所述场景图像之上,以生成所述辅助对焦图像。
25.根据权利要求24所述的方法,其特征在于,所述深度分布图像的尺寸与所述场景图像的尺寸一致;或
所述深度分布图像的尺寸小于所述场景图像。
26.根据权利要求2-6任一项所述的方法,其特征在于,根据所述场景图像和所述深度分布图像生成所述辅助对焦图像,包括:
将所述深度分布图像与所述场景图像并排拼接,以生成所述辅助对焦图像。
27.根据权利要求2-6任一项所述的方法,其特征在于,所述场景图像与所述深度分布图像对应的视角范围一致;或
所述场景图像对应的视角范围为所述深度分布图像对应的视角范围的一部分。
28.根据权利要求1-6任一项所述的方法,其特征在于,将所述辅助对焦图像展示给用户之前,还包括:
接收用户输入的指令,所述指令用于指示开启辅助对焦模式。
29.一种辅助对焦装置,其特征在于,所述辅助对焦装置包括处理器、存储器、存储在所述存储器上可供所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在摄像装置对目标场景进行拍摄的情况下,根据目标场景中目标对象的深度信息生成辅助对焦图像,所述辅助对焦图像用于按照深度分布展示所述目标对象以及所述摄像装置的焦点;所述深度分布包括多个深度值,所述目标对象按照其对应的深度值显示于所述辅助对焦图像的对应位置;
将所述辅助对焦图像通过交互界面展示给用户,以使所述用户能够根据所述目标对象在所述辅助对焦图像中的位置调整所述焦点的位置;
接收用户对所述焦点的位置的调整,根据调整后的焦点的位置更新所述辅助对焦图像。
30.根据权利要求29所述的装置,其特征在于,所述处理器用于根据目标场景中目标对象的深度信息生成辅助对焦图像时,具体用于:
获取所述摄像装置采集的目标场景的场景图像;
根据目标场景中所述目标对象的深度信息生成深度分布图像,所述深度分布图像用于展示所述目标对象的深度分布;
根据所述场景图像和所述深度分布图像生成所述辅助对焦图像。
31.根据权利要求30所述的装置,其特征在于,所述目标对象的深度分布通过所述目标对象在所述深度分布图像中对应的投影点展示,所述投影点通过将所述目标对象沿指定轴向投影得到,所述指定轴向与所述摄像装置光轴轴向不重合。
32.根据权利要求31所述的装置,其特征在于,所述深度分布图像的横轴或纵轴用于展示所述投影点的深度。
33.根据权利要求32所述的装置,其特征在于,所述深度分布图像的横轴或纵轴携带有刻度,每个刻度标识有对应的深度值。
34.根据权利要求33所述的装置,其特征在于,所述刻度为非均匀的刻度。
35.根据权利要求32-34任一项所述的装置,其特征在于,所述深度分布图像的纵轴表示所述投影点的深度值,所述深度分布图像的横轴表示所述投影点对应的目标对象在空间中的位置分布,所述投影点的属性用于表征投影到所述投影点的所述目标对象对应的空间三维点的数量。
36.根据权利要求35所述的装置,其特征在于,投影点的属性包括以下任一种:所述投影点的灰度值、所述投影点的颜色或所述投影点的形状。
37.根据权利要求36所述的装置,其特征在于,所述投影点的灰度值与投影到所述投影点的所述目标对象对应的空间三维点的数量正相关。
38.根据权利要求35所述的装置,其特征在于,所述目标对象对应的投影点在所述深度分布图像横轴方向的分布范围与所述目标对象的尺寸大小正相关。
39.根据权利要求35所述的装置,其特征在于,所述目标对象对应的投影点在所述深度分布图像纵轴方向上的分布位置的高度与所述目标对象与所述摄像装置的距离正相关。
40.根据权利要求35所述的装置,其特征在于,所述深度分布图像的纵轴的刻度通过对所述目标对象的深度值进行量化得到。
41.根据权利要求30-34任一项所述的装置,其特征在于,所述摄像装置的焦点在所述场景中对应的位置通过所述深度分布图像展示。
42.根据权利要求41所述的装置,其特征在于,所述处理器用于在所述深度分布图像中展示所述摄像装置的焦点在所述场景中的位置时,具体用于:
通过指定标识在所述深度分布图像中标识所述摄像装置的焦点的对应的深度。
43.根据权利要求30-34任一项所述的装置,其特征在于,所述深度分布图像还用于展示所述摄像装置的对焦区域,其中,位于所述对焦区域的对象在所述摄像装置中成像清晰。
44.根据权利要求43所述的装置,其特征在于,所述处理器用于在所述深度分布图像展示所述摄像装置的对焦区域时,具体用于:
在所述深度分布图像中框选所述对焦区域;或
在所述深度分布图像中标识位于所述对焦区域内的目标对象对应的投影点。
45.根据权利要求44所述的装置,其特征在于,所述处理器用于在所述深度分布图像中标识所述位于所述对焦区域内的对象对应的投影点时,具体用于:
将所述深度分布图像中所述对焦区域内的目标对象对应的投影点渲染成指定颜色。
46.根据权利要求30-34任一项所述的装置,其特征在于,所述处理器还用于:
从所述场景图像中确定用户感兴趣的特定目标对象;
在所述深度分布图像中标识所述特定目标对象对应的投影点。
47.根据权利要求46所述的装置,其特征在于,所述处理器用于从所述场景图像中确定用户感兴趣的特定目标对象时,具体用于:
基于用户通过所述交互界面输入的选择指令从所述场景图像中确定用户感兴趣的特定目标对象;或
从所述场景图像中识别出指定类型的目标对象作为所述特定目标对象。
48.根据权利要求30-34任一项所述的装置,其特征在于,所述深度分布图像包括多个图层,每个所述图层用于显示一个所述目标对象对应的投影点的深度分布。
49.根据权利要求48所述的装置,其特征在于,所述多个图层错开排布,所述多个图层的排布顺序基于所述图层对应的目标对象的被关注度确定。
50.根据权利要求30-34任一项所述的装置,其特征在于,所述处理器还用于:
确定对应于同一个目标对象的所述场景图像中的目标像素点以及所述深度分布图像中的目标投影点;
在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点。
51.根据权利要求50所述的装置,其特征在于,所述处理器用于在所述辅助对焦图像中关联显示所述目标像素点和所述目标投影点时,具体用于:
采用相同颜色的选择框框选所述目标像素点以及所述目标投影点;或
将所述目标投影点的颜色渲染成所述目标像素点对应的颜色;或
在所述目标投影点和所述目标像素点的邻近位置标识相同的字符。
52.根据权利要求30-34任一项所述的装置,其特征在于,所述深度分布图像为具有一定透明度的图像,所述处理器用于根据所述场景图像和所述深度分布图像生成所述辅助对焦图像时,具体用于:
将所述深度分布图像叠加于所述场景图像之上,以生成所述辅助对焦图像。
53.根据权利要求52所述的装置,其特征在于,所述深度分布图像的尺寸与所述场景图像的尺寸一致;或
所述深度分布图像的尺寸小于所述场景图像。
54.根据权利要求30-34任一项所述的装置,其特征在于,所述处理器用于根据所述场景图像和所述深度分布图像生成所述辅助对焦图像时,具体用于:
将所述深度分布图像与所述场景图像并排拼接,以生成所述辅助对焦图像。
55.根据权利要求30-34任一项所述的装置,其特征在于,所述场景图像与所述深度分布图像对应的视角范围一致;或
所述场景图像对应的视角范围为所述深度分布图像对应的视角范围的一部分。
56.根据权利要求29-34任一项所述的装置,其特征在于,所述处理器用于将所述辅助对焦图像展示给用户之前,还用于:
接收用户输入的指令,所述指令用于指示开启辅助对焦模式。
57.一种对焦辅助系统,其特征在于,包括如权利要求29-56任一项所述的辅助对焦装置、摄像装置以及测距装置。
58.根据权利要求57所述的对焦辅助系统,其特征在于,还包括云台,所述摄像装置以及所述测距装置固定于所述云台。
CN202080077437.9A 2020-12-16 2020-12-16 辅助对焦方法、装置及系统 Active CN114788254B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/136829 WO2022126430A1 (zh) 2020-12-16 2020-12-16 辅助对焦方法、装置及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410416935.1A Division CN118283418A (zh) 2020-12-16 辅助对焦方法、装置

Publications (2)

Publication Number Publication Date
CN114788254A CN114788254A (zh) 2022-07-22
CN114788254B true CN114788254B (zh) 2024-04-30

Family

ID=82059903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077437.9A Active CN114788254B (zh) 2020-12-16 2020-12-16 辅助对焦方法、装置及系统

Country Status (3)

Country Link
US (1) US20230328400A1 (zh)
CN (1) CN114788254B (zh)
WO (1) WO2022126430A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074624B (zh) * 2022-07-22 2023-11-10 荣耀终端有限公司 一种对焦方法和装置
CN115294508B (zh) * 2022-10-10 2023-01-06 成都唐米科技有限公司 一种基于静态空间三维重构的跟焦方法、系统及摄像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256826A (ja) * 2007-04-03 2008-10-23 Nikon Corp カメラ
CN102348058A (zh) * 2010-07-27 2012-02-08 三洋电机株式会社 电子设备
CN104052925A (zh) * 2013-03-15 2014-09-17 奥林巴斯映像株式会社 显示设备和显示设备的控制方法
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106226975A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 自动对焦方法、设备及成像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017072853A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
CN106060358B (zh) * 2016-07-20 2021-12-03 成都微晶景泰科技有限公司 场景连续分析方法、设备及成像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256826A (ja) * 2007-04-03 2008-10-23 Nikon Corp カメラ
CN102348058A (zh) * 2010-07-27 2012-02-08 三洋电机株式会社 电子设备
CN104052925A (zh) * 2013-03-15 2014-09-17 奥林巴斯映像株式会社 显示设备和显示设备的控制方法
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106226975A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 自动对焦方法、设备及成像装置

Also Published As

Publication number Publication date
WO2022126430A1 (zh) 2022-06-23
CN114788254A (zh) 2022-07-22
US20230328400A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US10116922B2 (en) Method and system for automatic 3-D image creation
CN105578019B (zh) 一种可获得深度信息的影像提取系统与对焦方法
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
US8208048B2 (en) Method for high dynamic range imaging
CN110572630B (zh) 三维图像拍摄系统、方法、装置、设备以及存储介质
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN109557669B (zh) 头戴显示设备的图像漂移量的确定方法及头戴显示设备
US20230328400A1 (en) Auxiliary focusing method, apparatus, and system
KR20170005009A (ko) 3d 라돈 이미지의 생성 및 사용
CN107133982B (zh) 深度图构建方法、装置及拍摄设备、终端设备
CN116017164A (zh) 捕获并生成全景三维图像的系统和方法
US20210120194A1 (en) Temperature measurement processing method and apparatus, and thermal imaging device
WO2017077906A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017535755A (ja) 動画カメラフォーカス用途における距離測定デバイス
US20140313362A1 (en) Method and device relating to image content
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN103716612A (zh) 基于显示器的朝向执行图像渲染的图像处理设备和方法
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
CN111126096A (zh) 二维码尺寸确定方法、二维码显示方法、装置及设备
US10818020B2 (en) Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
JP2020191624A (ja) 電子機器およびその制御方法
JPWO2017134880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109945840B (zh) 三维影像摄取方法及系统
CN118283418A (zh) 辅助对焦方法、装置
KR101219859B1 (ko) 3d촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant