CN110191279A - 深度相机、电子设备及图像获取方法 - Google Patents

深度相机、电子设备及图像获取方法 Download PDF

Info

Publication number
CN110191279A
CN110191279A CN201910438078.4A CN201910438078A CN110191279A CN 110191279 A CN110191279 A CN 110191279A CN 201910438078 A CN201910438078 A CN 201910438078A CN 110191279 A CN110191279 A CN 110191279A
Authority
CN
China
Prior art keywords
image
signal
laser
depth
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910438078.4A
Other languages
English (en)
Other versions
CN110191279B (zh
Inventor
徐乃江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910438078.4A priority Critical patent/CN110191279B/zh
Publication of CN110191279A publication Critical patent/CN110191279A/zh
Application granted granted Critical
Publication of CN110191279B publication Critical patent/CN110191279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种深度相机、电子设备及图像获取方法。深度相机包括时钟控制模块、激光投射器、图像传感器及模数转换模块。激光投射器用于在接收到时钟控制模块发送的投射时序控制信号时按照投射时序投射激光。图像传感器用于在接收到时钟控制模块发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，图像信号包括在激光投射器未投射激光时获取的第一图像信号及在激光投射器投射激光时获取的第二图像信号。模数转换模块用于根据第一图像信号和第二图像信号获取去干扰散斑图像，去干扰散斑图像用于计算深度图像。本申请的深度相机能获取到仅由激光投射器投射的红外激光形成的去干扰散斑图像，激光散斑匹配不受影响，深度图像的精确度较高。

Description

深度相机、电子设备及图像获取方法
技术领域
本申请涉及成像技术领域，特别涉及一种深度相机、电子设备及图像获取方法。
背景技术
深度相机通过向场景投射带有斑点的激光图案来获取场景的深度信息。具体地，深度相机向场景中投射出红外激光(例如940nm的红外激光)，红外激光形成散斑图案，深度相机采集被场景中物体反射形成的散斑图案以进行场景中物体的深度信息的获取。然而，如果在亮度较高的场景下使用深度相机，例如处于阳光强烈的户外场景下使用深度相机，此时的环境光线中包含有大量940nm的红外光，这部分红外光会进入到深度相机中成像，导致散斑图案成像与环境红外光成像的亮度比较接近，算法无法区分激光散斑点，导致激光散斑匹配失败，深度信息出现部分或全部缺失。
发明内容
本申请实施方式提供了一种深度相机、电子设备及图像获取方法。
本申请实施方式的深度相机包括时钟控制模块、激光投射器、图像传感器及模数转换模块。所述激光投射器用于在接收到所述时钟控制模块发送的投射时序控制信号时按照投射时序投射激光。所述图像传感器用于在接收到所述时钟控制模块发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，所述图像信号包括在所述激光投射器未投射所述激光时获取的第一图像信号及在所述激光投射器投射所述激光时获取的第二图像信号。所述模数转换模块用于根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，所述去干扰散斑图像用于计算深度图像。
本申请实施方式的电子设备包括壳体、上述的深度相机和处理器。所述深度相机与所述壳体结合。所述处理器用于根据所述去干扰散斑图像及参考图像计算深度图像。
本申请实施方式的图像获取方法用于深度相机。所述深度相机包括时钟控制模块和激光投射器，所述图像获取方法包括：在接收到所述时钟控制模块发送的投射时序控制信号时按照投射时序投射激光；在接收到所述时钟控制模块发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，所述图像信号包括在所述激光投射器未投射所述激光时获取的第一图像信号及在所述激光投射器投射所述激光时获取的第二图像信号；根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，所述去干扰散斑图像用于计算深度图像。
本申请实施方式的深度相机、电子设备及图像获取方法控制图像传感器获取激光投射器未投射激光时的第一图像信号以及激光投射器投射激光时的第二图像信号，模数转换模块可以根据第一图像信号和第二图像信号去除掉第二图像信号中由环境红外光形成的部分，得到去干扰散斑图像，去干扰散斑图像仅由激光投射器投射的红外激光形成，由此能够区分出激光散斑点。采用仅由激光投射器投射的红外激光形成的去干扰散斑图像来计算深度图像，激光散斑匹配不受影响，可以避免深度信息出现部分或全部缺失，从而提升深度图像的精确度。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1和图2是本申请某些实施方式的电子设备的结构示意图。
图3是本申请某些实施方式的电子设备的控制架构示意图。
图4是本申请某些实施方式的深度相机获取去干扰散斑图像的原理示意图。
图5至图10是本申请某些实施方式的图像获取方法的流程示意图。
图11是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请一并参阅图1至图3，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括深度相机10、处理器40及壳体50。
处理器40收容在壳体50中。处理器40与深度相机10电连接，深度相机10安装在壳体50上。在一个例子中，壳体50包括主体51和可动支架52。可动支架52在驱动装置的驱动下可以相对主体51运动，例如，可动支架52可以相对于主体51滑动，以滑入主体51或从主体51滑出。深度相机10可以安装在可动支架52上，可动支架52运动可带动深度相机10缩回主体51内或从主体51中伸出。壳体50上开设有一个或多个采集窗口，采集窗口可以开设在壳体50的正面或背面。深度相机10与采集窗口对准安装，以使深度相机10能够接收从采集窗口入射的光线。用户在需要使用深度相机10时，可以触发可动支架52从主体51中滑出以带动深度相机10从主体51中伸出；用户不需要使用深度相机10时，可以触发可动支架52滑入主体51以带动深度相机10缩回主体51中。在另一个例子中，壳体50上开设有一个或多个通孔，深度相机10安装在壳体50内并与通孔对准。通孔可以开设在壳体50的正面或背面，深度相机10可以接收经过通孔的光线。
深度相机10包括激光投射器11、图像采集器12、时钟控制模块51及模数转换模块52。时钟控制模块51可用于控制激光投射器11的工作状态以及图像传感器121的工作状态。激光投射器11用于在接收到时钟控制模块51发送的投射时序控制信号时按照投射时序投射激光。图像传感器121用于在接收到时钟控制模块51发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，该图像信号为模拟信号，该图像信号包括在激光投射器11未投射激光时获取的第一图像信号以及在激光投射器11投射激光时获取的第二图像信号。模数转换模块52用于根据第一图像信号和第二图像信号获取去干扰散斑图像，去干扰散斑图像为数字信号，去干扰散斑图像可用于计算深度图像。
其中，激光投射器11包括激光光源111及驱动器112，驱动器112接收到时钟控制模块51发送的投射时序控制信号后控制激光光源111按照投射时序控制信号指示的投射时序(预先设定好的)投射激光。激光可以是红外激光或其他不可见光，如紫外光等。图像采集器12包括透镜122和图像传感器121，图像传感器121接收到时钟控制模块51发送的曝光时序控制信号后按照曝光时序(预先设定好的)控制信号指示的曝光时序进行曝光，此时场景中的光线经过透镜122入射后会被图像传感器121接收。在本申请的具体实施例中，图像传感器121为电荷耦合器件图像传感器(Charge Coupled Device，CCD)，可以理解，与CMOS传感器相比，CCD传感器中每个像素的像素面积更大，相同曝光时间内可以接收到更多的激光。另外，本申请以激光是红外激光，图像采集器12是红外摄像头为例进行说明，但激光及图像采集器12的形式并不限于此，例如，激光还可以是紫外激光，图像采集器12是紫外摄像头等。
请结合图1、图3和图4，在一个例子中，时钟控制模块51和模数转换模块52均设置在图像传感器121外部，并与图像传感器121封装在一起。具体地，图像采集器12还包括电路板(图未示)，图像传感器121、时钟控制模块51及模数转换模块52均设置在电路板上。时钟控制模块51与处理器40连接，处理器40可以发送图像采集指令至时钟控制模块51。时钟控制模块51接收到图像采集指令后，向激光投射器11发送投射时序控制信号，同时向图像传感器121发送曝光时序控制信号。激光投射器11接收到投射时序控制信号后，按照投射时序控制信号指示的投射时序投射激光。图像传感器121接收到曝光时序控制信号后，按照曝光时序控制信号指示的曝光时序曝光。如图4所示，时钟控制模块51发送投射时序控制信号至激光投射器11，同时发送曝光时序控制信号至图像传感器121，激光投射器11接收到投射时序控制信号后开始投射激光，图像传感器121接收到曝光时序控制信号后开始曝光。其中，激光投射器11投射t1时间段的激光后立即关闭，图像传感器121在t(t＝t1+t2)时间段内执行一次曝光(既有背景+激光曝光，又有背景曝光)，其中，t1时间段内曝光(即背景曝光)生成的图像信号由模数转换模块52读取并进行存储，此时的图像信号为第二图像信号，第二图像信号是由环境中的红外光(下称环境红外光)以及激光投射器11投射的红外激光共同形成的；激光投射器11在t2时间段内不投射激光，图像传感器121完成t1时间段的曝光后继续曝光，即进行t2时间段的曝光(即背景曝光)，图像传感器121在t2时间段内曝光生成的图像信号也由模数转换模块52读取并进行存储，此时的图像信号是第一图像信号，第一图像信号仅由环境红外光形成。模数转换模块52再根据第一图像信号和第二图像信号计算去干扰散斑图像。最后，模数转换模块52通过图3中的快速数据传输接口(DOUT)将去干扰散斑图像输出至深度计算模块41中，以供深度计算模块41根据去干扰散斑图像及参考图像计算深度图像。参考图像预存在处理器40中，深度计算模块41设置在处理器40内部，深度计算模块41可以是专门用于计算深度的集成电路ASIC等。
需要说明的是，激光投射器11也可以在t1时间段内不投射激光，在t2时间段内再投射激光，此时图像传感器121在t1时间段内曝光生成的图像信号为第一图像信号，在t2时间段内曝光生成的图像信号为第二图像信号。第一图像信号先输出至模数转换模块52存储，第二图像信号再输出至模数转换模块52存储。t1与t2可以是相等也可以是不等的。在本申请的具体实施例中，t1与t2是相等的，t1与t2相等时，可以使得形成第一图像信号的环境红外光的量与形成第二图像信号的环境红外光的量更加接近，由第一图像信号及第二图像信号计算得到的去干扰散斑图像中环境红外光的残余量更少。模数转换模块52在接收到时钟控制模块51发送的采样时钟信号(Sampling clocks)时读取图像传感器121曝光后生成的图像信号(包括第一图像信号与第二图像信号)。
在一个例子中，模数转换模块52包括模拟信号减法电路以及模数转换电路，模数转换模块52根据第一图像信号和第二图像信号计算去干扰散斑图像可以是：模拟信号减法电路先对第一图像信号和第二图像信号执行减法处理以得到第三图像信号，模数转换电路再将第三图像信号转换为数字信号以得到去干扰散斑图像。其中，第三图像信号为模拟信号，去干扰散斑图像为数字信号。模拟信号减法电路对第一图像信号和第二图像信号执行减法处理时，具体是将第二图像信号中的每个像素点与第一图像中的与第二图像中的该像素点对应的像素点相减。
在另一个例子中，模数转换模块52包括模数转换电路以及数字信号减法电路，模数转换模块52根据第一图像信号和第二图像信号计算去干扰散斑图像可以是：模数转换电路先将第一图像信号转换为数字信号以得到背景图像，并将第二图像信号转换为数字信号以得到干扰散斑图像，其中，背景图像和干扰散斑图像均为数字信号，第一图像信号转换为数字信号以及第二图像信号转换为数字信号的转换顺序不作限定。随后，数字信号减法电路再对背景图像和干扰散斑图像执行减法处理以得到去干扰散斑图像。其中，去干扰散斑图像为数字信号。数字信号减法电路对背景图像和干扰散斑图像执行减法处理时，具体是将背景图像中的像素点P1i,j的像素值与干扰散斑图像中的像素点P2i,j的像素值相减，也即是说，去干扰散斑图像中的像素点P3i,j的像素值的计算方式为：P3i,j＝P2i,j-P1i,j，i∈N+，j∈N+。
可以理解，环境光包括与激光投射器11发射的红外激光波长相同的红外光(例如，包含850nm、940nm等的环境红外光)，图像采集器12获取采集图像时，这部分红外光也会被图像采集器12接收。在场景的亮度较高时，图像采集器12接收的光线中环境红外光的占比会增大，导致图像采集器12获取的图像中的激光散斑点不明显，从而影响深度图像的计算。
本申请的图像获取方法控制图像传感器121获取激光投射器11未投射激光时的第一图像信号以及激光投射器11投射激光时的第二图像信号，模数转换模块52可以根据第一图像信号和第二图像信号去除掉第二图像信号中由环境红外光形成的部分，得到去干扰散斑图像，去干扰散斑图像仅由激光投射器11投射的红外激光形成，由此能够区分出激光散斑点。采用仅由激光投射器11投射的红外激光形成的去干扰散斑图像来计算深度图像，激光散斑匹配不受影响，可以避免深度信息出现部分或全部缺失，从而提升深度图像的精确度。
请再参阅图3，在某些实施方式中，激光投射器11还用于在接收到投射时序控制信号后，向时钟控制模块51发送第一反馈信号。其中，激光投射器11向时钟控制模块51发送第一反馈信号的时间点可以是：(1)激光投射器11在接收到投射时序控制信号的时刻向时钟控制模块51发送第一反馈信号；(2)激光投射器11在接收到投射时序控制信号后开始投射激光，并在停止投射激光的时刻向时钟控制模块51发送第一反馈信号。若激光投射器11设定是需要在时间点(1)下向时钟控制模块51发送第一反馈信号，当激光投射器11在时间点(1)下确实向时钟控制模块51发送第一反馈信号，则时钟控制模块51接收到第一反馈信号并以此获知激光投射器11未出现异常，激光投射器11可以正常投射激光；当激光投射器11在时间点(1)下未向时钟控制模块51发送第一反馈信号，则时钟控制模块51无法接收到第一反馈信号，并以此获知激光投射器11出现异常，并将激光投射器11出现异常的信号反馈给处理器40，处理器40可以根据此表明异常的反馈信号来重置激光投射器11、重新发送图像采集指令至时钟控制模块51以使时钟控制模块51重新向激光投射器11发送投射时序控制信号、或控制激光投射器11的工作模式，例如降低激光投射器11的电流、脉宽、或帧率中的至少一种、或关闭激光投射器11。若激光投射器11设定是需要在时间点(2)下向时钟控制模块51发送第一反馈信号，当激光投射器11在时间点(2)下确实向时钟控制模块51发送第一反馈信号，则时钟控制模块51接收到第一反馈信号并以此获知激光投射器11可以正常投射激光，以及获知激光投射器11已停止投射激光，时钟控制模块51可以将激光投射器11停止投射激光的信号反馈给处理器40，用以作为控制其他设备，例如可见光相机30等的触发条件等；当激光投射器11在时间点(2)下未向时钟控制模块51发送第一反馈信号，则时钟控制模块51无法接收到第一反馈信号，并以此获知激光投射器11出现异常，并将激光投射器11出现异常的信号反馈给处理器40，处理器40可以根据此表明异常的反馈信号来重置激光投射器11、重新发送图像采集指令至时钟控制模块51以使时钟控制模块51重新向激光投射器11发送投射时序控制信号、或控制激光投射器11的工作模式，例如降低激光投射器11的电流、脉宽、或帧率中的至少一种、或关闭激光投射器11。
请再参阅图3，在某些实施方式中，图像传感器121还用于在接收到曝光时序控制信号后，向时钟控制模块51发送第二反馈信号。其中，图像传感器121向时钟控制模块51发送第二反馈信号的时间点可以是：(1)图像传感器121在接收到曝光时序控制信号的时刻向时钟控制模块51发送第二反馈信号；(2)图像传感器121在接收到曝光时序控制信号后开始曝光，并在停止曝光的时刻向时钟控制模块51发送第二反馈信号。若图像传感器121设定是需要在时间点(1)下向时钟控制模块51发送第二反馈信号，当图像传感器121在时间点(1)下确实向时钟控制模块51发送第二反馈信号，则时钟控制模块51接收到第二反馈信号并以此获知图像传感器121未出现异常，图像传感器121可以正常曝光；当图像传感器121在时间点(2)下未向时钟控制模块51发送第二反馈信号，则时钟控制模块51无法接收到第二反馈信号，并以此获知图像传感器121出现异常，并将图像传感器121出现异常的信号反馈给处理器40，处理器40可以根据此表明异常的反馈信号来重置图像传感器121、重新发送图像采集指令至时钟控制模块51以使时钟控制模块51重新向图像传感器121发送曝光时序控制信号、或控制图像传感器121的工作模式，例如关闭图像传感器121等。若图像传感器121设定是需要在时间点(2)下向时钟控制模块51发送第二反馈信号，当图像传感器121在时间点(2)下确实向时钟控制模块51发送第二反馈信号，则时钟控制模块51接收到第二反馈信号并以此获知图像传感器121未出现异常，图像传感器121可以正常曝光且图像传感器121已经曝光完毕，时钟控制模块51可以将图像传感器121停止曝光的信号反馈给处理器40，用以作为控制其他设备，例如深度计算模块41计算深度图像等的触发条件等；当图像传感器121在时间点(2)下未向时钟控制模块51发送第二反馈信号，则时钟控制模块51无法接收到第二反馈信号，并以此获知图像传感器121出现异常，并将图像传感器121出现异常的信号反馈给处理器40，处理器40可以根据此表明异常的反馈信号来重置图像传感器121、重新发送图像采集指令至时钟控制模块51以使时钟控制模块51重新向图像传感器121发送曝光时序控制信号、或控制图像传感器121的工作模式，例如关闭图像传感器121等。
在某些实施方式中，激光投射器11在接收到投射时序控制信号后向时钟控制模块51发送第一反馈信号的方案与图像传感器121在接收到曝光时序控制信号后向时钟控制模块51发送第二反馈信号的方案可以均执行，也可以仅执行其中一个方案，在此不做限制。在本申请的具体实施例中，在获取深度图像的过程中，激光投射器11在接收到投射时序控制信号后向时钟控制模块51发送第一反馈信号的方案与图像传感器121在接收到曝光时序控制信号后向时钟控制模块51发送第二反馈信号的方案是都会执行的，如此，时钟控制模块51可以掌握激光投射器11的实际工作状态以及图像传感器121的实际工作状态，在发现激光投射器11和图像传感器121中任意一者的实际工作状态不符合预期时，可以及时地对实际工作状态不符合预期的元器件进行修复，比如重置这一元器件、或重新发送与这一元器件对应的控制信号以对这一元器件的工作状态进行控制等等。
在某些实施方式中，时钟控制模块51还用于发送同步信号至深度计算模块41以触发深度计算模块41根据去干扰散斑图像和参考图像计算深度图像。具体地，在一个例子中，若激光投射器11向时钟控制模块51发送第一反馈信号，且图像传感器121在时间点(1)下向时钟控制模块51发送第二反馈信号，时钟控制模块51获知激光投射器11和图像传感器121均正常工作，此时，时钟控制模块51首先根据图像传感器121曝光的时间段t(t＝t1+t2)计算要发送同步信号至深度计算模块41需要等待的时间点T(0≤T-t≤ε，其中，ε为一个较小的值，T-t≤ε表示T略大于t)，时钟控制模块51在接收到第一反馈信号且接收到第二反馈信号后开始计时，并在计时的时间达到T时(此时图像传感器121已曝光完毕)向深度计算模块41发送同步信号以触发深度计算模块41执行深度图像的计算。在另一个例子中，若激光投射器11向时钟控制模块51发送第一反馈信号，且图像传感器121在时间点(2)下向时钟控制模块51发送第二反馈信号，时钟控制模块51获知激光投射器11和图像传感器121均正常工作(即必须时钟控制模块51要收到第一反馈信号与第二反馈信号)，此时，时钟控制模块51在接收到第二反馈信号的同时向深度计算模块41发送同步信号以触发深度计算模块41执行深度图像的计算，以能迅速的执行深度图像的计算工作，加快深度图像的运算速度。
在某些实施方式中，时钟控制模块51和模数转换模块52均设置在处理器40中。由于模数转换模块52的体积较大，将时钟控制模块51和模数转换模块52一起设置在处理器40中，可以减小图像传感器121的体积。时钟控制模块51和模数转换模块52均设置在处理器40中时，激光投射器11、图像传感器121、时钟控制模块51及模数转换模块52配合工作以获取去干扰散斑图像的工作过程与时钟控制模块51和模数转换模块52一起设置在图像采集器12中的工作过程相同，在此不再赘述。
请参阅图1，在某些实施方式中，电子设备100还包括可见光相机30。可见光相机30可用于采集可见光图像。在一些应用场景下，比如自拍等应用场景下，可见光相机30可单独使用以采集可见光图像，在另一些应用场景下，比如三维彩色建模等应用场景下，可见光相机30还可以与深度相机10配合以同时获取可见光图像和去干扰散斑图像。
在时钟控制模块51和模数转换模块52均设置在图像传感器121外部且与图像传感器121封装在一起时，可见光相机30与深度相机10配合使用过程中，深度相机10可以通过同步信号(sync信号)与可见光相机30实现硬件同步。具体地，处理器40发送图像采集指令至时钟控制模块51。时钟控制模块51发送曝光时序控制信号至图像传感器121以控制图像传感器121按照曝光时序控制信号指示的曝光时序进行曝光。图像传感器121在接收到曝光时序控制信号时，发送同步信号至可见光相机30，可见光相机30在接收到同步信号时开始曝光以采集可见光图像。如此，可见光相机30与深度相机10通过同步信号进行硬件同步，处理器40可以容易地获取帧同步的可见光图像和去干扰散斑图像，便于后续融合形成彩色三维图像。
在时钟控制模块51和模数转换模块52均设置在处理器40中时，可见光相机30与深度相机10配合使用过程中，深度相机10和可见光相机30可以采用软件同步的方式实现同步。具体地，处理器40发送获取深度图像的图像采集指令至时钟控制模块51，同时发送获取可见光图像的图像采集指令至可见光相机30。时钟控制模块51接收到获取深度图像的图像采集指令时，发送曝光时序控制信号至图像传感器121以控制图像传感器121按照曝光时序控制信号指示的曝光时序进行曝光，处理器40中的模数转换模块52从图像传感器121中读取曝光后获取的第一图像信号及第二图像信号，并根据第一图像信号及第二图像信号计算去干扰散斑图像。模数转换模块52还可以对去干扰散斑图像添加采集时间，去干扰散斑图像的采集时间可以是图像传感器121获取第二图像信号的开始时间、结束时间、介于开始时间与结束时间之间的任一时间等等，再将添加了采集时间的去干扰散斑图像发送至深度计算模块41进行深度图像的计算。可见光相机30在接收到获取可见光图像的图像采集指令时开始曝光以采集可见光图像，可见光相机30采集到可见光图像后将采集图像发送给处理器40，由处理器40对可见光图像添加采集时间，可见光图像的采集时间可以是可见光相机30采集可见光图像的开始时间、结束时间、介于开始时间与结束时间之间的任一时间等等。随后，处理器40可以根据每一帧可见光图像的采集时间和每一帧去干扰散斑图像的采集时间确定帧同步的可见光图像和去干扰散斑图像，进一步地可以确定出帧同步的可见光图像和深度图像。其中，帧同步指的是确定出的可见光图像的采集时间和去干扰散斑图像的采集时间的差值小于预设的时间差值，可见光图像的采集时间可以位于去干扰散斑图像的采集时间之前也可以位于去干扰散斑图像的采集时间之后。可见光图像和去干扰散斑图像可以用于场景或物体的三维彩色建模等等，而基于帧同步的可见光图像和第二图像进行三维彩色建模可以提升建模的物体或场景的准确性。
在某些实施方式中，处理器40可以先获取场景的亮度以及场景的类型，在亮度大于亮度阈值且类型为户外场景时，深度相机10才执行获取第一图像信号和第二图像信号的操作。其中，场景的亮度可以通过分析图像采集器12在激光投射器11未投射激光时获取的图像得到，或者，通过分析可见光相机30获取的可见光图像得到，或者，场景的亮度也可以由光线感应器来直接检测，处理器40从光线感应器读取检测到的信号以获取场景的亮度。场景的类型可以通过分析图像采集器12在激光投射器11未投射激光时获取的图像或可见光相机30获取的可见光图像得到，例如，分析图像采集器12在激光投射器11未投射激光时获取的图像或可见光相机30获取的可见光图像中的物体来判断场景的类型为户外场景还是户内场景；场景类型也可以直接根据地理位置来确定，具体地，处理器40可以获取全球卫星定位系统对场景的定位结果，再根据定位结果进一步判断场景的类型，例如，定位结果为某某办公楼，则说明场景为户内场景；定位场景为某某公园，则说明场景为户外场景；定位场景为某某街道，则说明场景为户外场景等等。
可以理解，在场景的亮度较高(例如亮度大于亮度阈值)时，采集图像中环境红外光的占比会较多，对斑点的识别会较大影响，此时需要去除环境红外光的干扰。但是在场景的亮度较低时，采集图像中环境红外光的占比会较少，对斑点的识别产生的影响较小，可以忽略不计，此时图像采集器12可以直接获取第二图像信号，模数转换模块52将第二图像信号转换为干扰散斑图像，处理器40中的深度计算模块41直接根据干扰散斑图像与参考图像计算深度图像。另外，场景的亮度较高时可能是户内的灯光光线较强引起的，由于灯光光线不包括红外光，不会对斑点的识别产生较大影响，此时图像采集器12可以直接获取第二图像信号，模数转换模块52将第二图像信号转换为干扰散斑图像，处理器40中的深度计算模块41直接根据干扰散斑图像与参考图像计算深度图像。
当然，在某些实施方式中，深度相机10也可以仅仅根据场景的亮度是否大于亮度阈值来决定是否执行获取第一图像信号和第二图像信号的操作。具体地，处理器40仅仅获取场景的亮度，判断场景的亮度是否大于亮度阈值，在亮度大于亮度阈值时，图像采集器12获取第一图像信号和第二图像信号。
请参阅图1、图3和图5，本申请还提供一种用于上述任意一项实施方式所述的深度相机10的图像获取方法。图像获取方法包括：
01：在接收到时钟控制模块51发送的投射时序控制信号时按照投射时序投射激光；
02：在接收到时钟控制模块51发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，图像信号包括在激光投射器11未投射激光时获取的第一图像信号及在激光投射器11投射激光时获取的第二图像信号；和
03：根据第一图像信号和第二图像信号获取去干扰散斑图像，去干扰散斑图像用于计算深度图像。
请参阅图3和图6，在某些实施方式中，图像获取方法还包括：
04：在接收到投射时序控制信号后，向时钟控制模块51发送第一反馈信号。
请参阅图3和图7，在某些实施方式中，图像获取方法还包括：
05：在接收到曝光时序控制信号后，向时钟控制模块51发送第二反馈信号。
请参阅图3和图8，在某些实施方式中，步骤03根据第一图像信号和第二图像信号获取去干扰散斑图像，包括：
031：对第一图像信号和第二图像信号执行减法处理以得到第三图像信号；和
032：将第三图像信号转换为数字信号以得到去干扰散斑图像。
请参阅图1、图3和图9，在某些实施方式中，步骤03根据第一图像信号和第二图像信号获取去干扰散斑图像，包括：
033：将第一图像信号及第二图像信号转换为数字信号以分别得到背景图像及干扰散斑图像；和
034：对背景图像及干扰散斑图像执行减法处理以得到去干扰散斑图像。
请参阅图1、图3和图10，在某些实施方式中，深度相机10与处理器40电连接，处理器40包括深度计算模块41。图像获取方法还包括：
05：发送同步信号至深度计算模块41以触发深度计算模块41计算深度图像。
在某些实施方式中，图像获取方法在步骤01前还包括：获取场景的亮度及类型；在亮度大于亮度阈值且类型为户外类型时执行步骤01。
请参阅图11，本申请还提供一种包含计算机可读指令的非易失性计算机可读存储介质200。计算机可读指令被处理器300执行时，使得处理器300执行上述任意一项实施方式所述的图像获取方法。
例如，请结合图3和图5，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：
01：在接收到时钟控制模块51发送的投射时序控制信号时按照投射时序投射激光；
02：在接收到时钟控制模块51发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，图像信号包括在激光投射器11未投射激光时获取的第一图像信号及在激光投射器11投射激光时获取的第二图像信号；和
03：根据第一图像信号和第二图像信号获取去干扰散斑图像，去干扰散斑图像用于计算深度图像。
再例如，请结合图1、图3和图6，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：
04：在接收到投射时序控制信号后，向时钟控制模块51发送第一反馈信号。
再例如，请结合图1、图3和图8，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：
031：对第一图像信号和第二图像信号执行减法处理以得到第三图像信号；和
032：将第三图像信号转换为数字信号以得到去干扰散斑图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种深度相机，其特征在于，所述深度相机包括：
时钟控制模块；
激光投射器，所述激光投射器用于在接收到所述时钟控制模块发送的投射时序控制信号时按照投射时序投射激光；
图像传感器，所述图像传感器用于在接收到所述时钟控制模块发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，所述图像信号包括在所述激光投射器未投射所述激光时获取的第一图像信号及在所述激光投射器投射所述激光时获取的第二图像信号；和
模数转换模块，所述模数转换模块用于根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，所述去干扰散斑图像用于计算深度图像。
2.根据权利要求1所述的深度相机，其特征在于，所述激光投射器还用于在接收到所述投射时序控制信号后，向所述时钟控制模块发送第一反馈信号。
3.根据权利要求1所述的深度相机，其特征在于，所述图像传感器还用于在接收到所述曝光时序控制信号后，向所述时钟控制模块发送第二反馈信号。
4.根据权利要求1所述的深度相机，其特征在于，所述模数转换模块包括模拟信号减法电路及模数转换电路，所述模拟信号减法电路用于对所述第一图像信号和所述第二图像信号执行减法处理以得到第三图像信号，所述模数转换电路用于将所述第三图像信号转换为数字信号以得到所述去干扰散斑图像。
5.根据权利要求1所述的深度相机，其特征在于，所述模数转换模块包括模数转换电路及数字信号减法电路，所述模数转换电路用于将所述第一图像信号及所述第二图像信号转换为数字信号以分别得到背景图像及干扰散斑图像，所述数字信号减法电路用于对所述背景图像及所述干扰散斑图像执行减法处理以得到所述去干扰散斑图像。
6.根据权利要求1所述的深度相机，其特征在于，所述深度相机与处理器电连接，所述处理器包括深度计算模块，所述时钟模块还用于发送同步信号至所述深度计算模块以触发所述深度计算模块计算所述深度图像。
7.一种电子设备，其特征在于，所述电子设备包括：
壳体；
权利要求1-6任意一项所述的深度相机，所述深度相机与所述壳体结合；和
处理器，所述处理器用于根据所述去干扰散斑图像及参考图像计算深度图像。
8.一种图像获取方法，用于深度相机，其特征在于，所述深度相机包括时钟控制模块和激光投射器，所述图像获取方法包括：
在接收到所述时钟控制模块发送的投射时序控制信号时按照投射时序投射激光；
在接收到所述时钟控制模块发送的曝光时序控制信号时按照曝光时序曝光以获取图像信号，所述图像信号包括在所述激光投射器未投射所述激光时获取的第一图像信号及在所述激光投射器投射所述激光时获取的第二图像信号；和
根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，所述去干扰散斑图像用于计算深度图像。
9.根据权利要求8所述的图像获取方法，其特征在于，所述图像获取方法还包括：
在接收到所述投射时序控制信号后，向所述时钟控制模块发送第一反馈信号。
10.根据权利要求8所述的图像获取方法，其特征在于，所述图像获取方法还包括：
在接收到所述曝光时序控制信号后，向所述时钟控制模块发送第二反馈信号。
11.根据权利要求8所述的图像获取方法，其特征在于，所述根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，包括：
对所述第一图像信号和所述第二图像信号执行减法处理以得到第三图像信号；和
将所述第三图像信号转换为数字信号以得到所述去干扰散斑图像。
12.根据权利要求8所述的图像获取方法，其特征在于，所述根据所述第一图像信号和所述第二图像信号获取去干扰散斑图像，还包括：
将所述第一图像信号及所述第二图像信号转换为数字信号以分别得到背景图像及干扰散斑图像；和
对所述背景图像及所述干扰散斑图像执行减法处理以得到所述去干扰散斑图像。
13.根据权利要求8所述的图像获取方法，其特征在于，所述深度相机与处理器电连接，所述处理器包括深度计算模块，所述图像获取方法还包括：
发送同步信号至所述深度计算模块以触发所述深度计算模块计算所述深度图像。
CN201910438078.4A 2019-05-24 2019-05-24 深度相机、电子设备及图像获取方法 Active CN110191279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910438078.4A CN110191279B (zh) 2019-05-24 2019-05-24 深度相机、电子设备及图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910438078.4A CN110191279B (zh) 2019-05-24 2019-05-24 深度相机、电子设备及图像获取方法

Publications (2)

Publication Number Publication Date
CN110191279A true CN110191279A (zh) 2019-08-30
CN110191279B CN110191279B (zh) 2021-08-31

Family

ID=67717611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438078.4A Active CN110191279B (zh) 2019-05-24 2019-05-24 深度相机、电子设备及图像获取方法

Country Status (1)

Country Link
CN (1) CN110191279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416178A (zh) * 2021-12-27 2023-07-11 广州镭晨智能装备科技有限公司 视觉检测设备、系统及产品表面缺陷的视觉检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646382A (zh) * 2012-04-27 2012-08-22 深圳市华星光电技术有限公司 液晶显示模组差分信号接收终端异常的检测方法及装置
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646382A (zh) * 2012-04-27 2012-08-22 深圳市华星光电技术有限公司 液晶显示模组差分信号接收终端异常的检测方法及装置
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王斌: "CCD的基本工作原理", 《传感器检测与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416178A (zh) * 2021-12-27 2023-07-11 广州镭晨智能装备科技有限公司 视觉检测设备、系统及产品表面缺陷的视觉检测方法

Also Published As

Publication number Publication date
CN110191279B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
TW591201B (en) Pointed position detection device and pointed position detection method
JP4983905B2 (ja) 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
CN106254682B (zh) 一种拍照方法及移动终端
CN104730827B (zh) 投影仪、投影系统以及投影仪的控制方法
US6714247B1 (en) Apparatus and method for inputting reflected light image of a target object
US20170347076A1 (en) Image projection system and image projection method
CN103475807B (zh) 成像装置、成像装置的控制方法以及计算机存储介质
CN104813227B (zh) 摄像装置和摄像方法
CN110062145A (zh) 深度相机、电子设备及图像获取方法
JP2022535520A (ja) 電子機器の制御方法及び電子機器
WO2014032386A1 (zh) 一种应用快速开关光源的高速摄像方法及应用装置
JP2002344800A (ja) 同期撮影方法および撮影システム
EP1146313A2 (en) Image pickup apparatus and method, and recording medium
CN112291459B (zh) 一种摄影装置和三维扫描设备
CN108603997A (zh) 控制装置、控制方法和控制程序
US20220114743A1 (en) Image processing method and apparatus, and computer-readable non-transitory storage medium
CN110169042A (zh) 用于使相机闪光与传感器消隐同步的方法和设备
CN108650472A (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
JP3414624B2 (ja) 実時間レンジファインダ
CN110191279A (zh) 深度相机、电子设备及图像获取方法
CN110012206A (zh) 图像获取方法、图像获取装置、电子设备和可读存储介质
CN109587303A (zh) 电子设备和移动平台
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN110622496B (zh) 图像融合方法、拍摄设备和可移动平台系统
CN109618085A (zh) 电子设备和移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant