CN107360354A - 拍照方法、装置、移动终端和计算机可读存储介质 - Google Patents

拍照方法、装置、移动终端和计算机可读存储介质 Download PDF

Info

Publication number
CN107360354A
CN107360354A CN201710642707.6A CN201710642707A CN107360354A CN 107360354 A CN107360354 A CN 107360354A CN 201710642707 A CN201710642707 A CN 201710642707A CN 107360354 A CN107360354 A CN 107360354A
Authority
CN
China
Prior art keywords
shooting
main body
camera
depth image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710642707.6A
Other languages
English (en)
Other versions
CN107360354B (zh
Inventor
唐城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710642707.6A priority Critical patent/CN107360354B/zh
Publication of CN107360354A publication Critical patent/CN107360354A/zh
Application granted granted Critical
Publication of CN107360354B publication Critical patent/CN107360354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种拍照方法、装置和移动终端。其中方法包括:在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,原始深度图像包含障碍物区域以及被障碍物区域遮挡的拍摄主体区域;获取N个叠加拍摄位置,并在N个叠加拍摄位置上,通过投射装置和摄像头获取N张深度图像,N张深度图像包含拍摄主体区域被障碍物区域遮挡的部分,其中,N为大于或等于2的整数;根据N张深度图像获取拍摄主体的深度信息;将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。该方法可以无需用户具备一定的图像处理专业知识也可获得滤除障碍物后的拍摄主体的深度图像,门槛相对比较低,易操作。

Description

拍照方法、装置、移动终端和计算机可读存储介质
技术领域
本发明涉及移动终端技术领域,尤其涉及一种拍照方法、装置、移动终端和计算机可读存储介质。
背景技术
随着电子设备的功能的飞速发展,现如今用户常使用电子设备(如移动终端)上的拍照功能进行拍照。
用户在拍照时,照片中经常出现一些障碍物,例如,用户出游遇到好景要拍摄时,常常因为好景被其他游客或者障碍物挡住而不能拍摄得到景色完好的照片。这些照片中的障碍物困扰着用户,相关技术中,用户可以通过绘图软件对照片进行后期处理,将照片中障碍物清除,但这种通过后期处理照片清除障碍物的方式过程繁琐,工作效率低,并且还需要用户具有一定的图像处理专业知识,门槛相对比较高。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种拍照方法。该方法可以达到移除障碍物的目的,可以得到包含完整的拍摄主体的深度图像,在该整个过程中,无需用户具备一定的图像处理专业知识,门槛相对比较低,易操作,提升了用户体验。
本发明的第二个目的在于提出一种拍照装置。
本发明的第三个目的在于提出一种移动终端。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出的拍照方法,包括:在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,所述原始深度图像包含障碍物区域以及被所述障碍物区域遮挡的拍摄主体区域;获取N个叠加拍摄位置,并在所述N个叠加拍摄位置上,通过所述投射装置和摄像头获取N张深度图像,所述N张深度图像包含所述拍摄主体区域被所述障碍物区域遮挡的部分,其中,N为大于或等于2的整数;根据所述N张深度图像获取所述拍摄主体的深度信息;将所述拍摄主体的深度信息合成至所述原始深度图像中,得到滤除所述障碍物区域后的深度图像。
根据本发明实施例的拍照方法,利用移动终端的投射装置和摄像头获得结构光深度图像,并利用该结构光具备3D成像功能,对于存在障碍物的拍摄主体,可以通过多种(如两种)不同的角度获取拍摄主体的深度信息,并且将该拍摄主体的深度信息合成到原始拍摄位置上的原始深度图像中,以达到移除障碍物的目的,从而可以得到包含完整的拍摄主体的深度图像,在该整个过程中,无需用户具备一定的图像处理专业知识,门槛相对比较低,易操作,提升了用户体验。
为达到上述目的,本发明第二方面实施例提出的拍照装置,包括:第一获取模块,用于在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,所述原始深度图像包含障碍物区域以及被所述障碍物区域遮挡的拍摄主体区域;第二获取模块,用于获取N个叠加拍摄位置;第三获取模块,用于在所述N个叠加拍摄位置上,通过所述投射装置和摄像头获取N张深度图像,所述N张深度图像包含所述拍摄主体区域被所述障碍物区域遮挡的部分,其中,N为大于或等于2的整数;第四获取模块,用于根据所述N张深度图像获取所述拍摄主体的深度信息;合成模块,用于将所述拍摄主体的深度信息合成至所述原始深度图像中,得到滤除所述障碍物区域后的深度图像。
根据本发明实施例的拍照装置,利用移动终端的投射装置和摄像头获得结构光深度图像,并利用该结构光具备3D成像功能,对于存在障碍物的拍摄主体,可以通过多种(如两种)不同的角度获取拍摄主体的深度信息,并且将该拍摄主体的深度信息合成到原始拍摄位置上的原始深度图像中,以达到移除障碍物的目的,从而可以得到包含完整的拍摄主体的深度图像,在该整个过程中,无需用户具备一定的图像处理专业知识,门槛相对比较低,易操作,提升了用户体验。
为达到上述目的,本发明第三方面实施例提出的移动终端,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行本发明第一方面实施例所述的拍照方法。
为达到上述目的,本发明第四方面实施例提出的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行本发明第一方面实施例所述的拍照方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例的拍照方法的流程图;
图2是根据本发明一个实施例的拍摄主体的深度图像的测量示例图;
图3是根据本发明一个实施例的获得拍摄主体的原始深度图像的原理示例图;
图4是本发明实施例提供的拍照方法步骤S130的具体实现流程图;
图5是根据本发明一个实施例的拍照装置的结构示意图;
图6是根据本发明一个具体实施例的拍照装置的结构示意图;
图7是根据本发明另一个具体实施例的拍照装置的结构示意图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
下面参考附图描述本发明实施例的拍照方法、装置以及移动终端。
图1是根据本发明一个实施例的拍照方法的流程图。需要说明的是,本发明实施例的拍照方法可应用于本发明实施例的拍照装置,该拍照装置被配置于移动终端。其中,该移动终端可以是手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备,该移动终端具有拍照功能。
如图1所示,该拍照方法可以包括:
S110,在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取拍摄主体的结构光图像,并对该结构光图像进行解调以获取该拍摄主体的原始深度图像,原始深度图像包含障碍物区域以及被障碍物区域遮挡的拍摄主体区域。
可选地,可在移动终端的相机应用程序的拍摄界面增设滤除障碍物功能的开关按钮,使得用户可通过该开关按钮选择当前拍摄的图像是否需要滤除障碍物。例如,当用户通过该开关按钮选择了当前拍摄的图像需要滤除障碍物时,可利用本发明实施例的拍照方法对拍摄主体进行拍照。
其中,在本发明的实施例中,原始拍摄位置可理解为移动终端接收用户拍照请求指令的位置,拍摄主体区域可理解为原始深度图像中拍照主体所在的区域,障碍物区域可理解为原始深度图像中障碍物所在的区域。可以理解,在原始深度图像中,拍照主体被障碍物遮挡了一部分,使得原始深度图像中的拍照主体不完整。
需要说明的是,上述原始深度图像可通过移动终端的投射装置(如结构光投射器)和摄像头获得,具体地,投射装置可向被测物体所处的空间投射一个预设的散斑图案,其中,该散斑图案中具有多个光斑点。摄像头可用以对已投射过散斑图案的被测物体进行采集,以得到带有散斑图案的被测物体的畸变图像。
在本步骤中,在原始拍摄位置上,可通过移动终端的投射装置向拍摄主体所处的空间投射预设的散斑图案,并通过移动终端的摄像头对拍摄主体进行采集,得到带有散斑图案的拍摄主体的二维畸变图像,并利用预设公式经对该二维畸变图像进行计算后得到拍摄主体的原始深度图像。
可以理解,如图2所示,光学投射装置将一个预设的散斑图案投射到被测物体(如拍摄主体)所处的空间内,在拍摄主体的表面上形成由拍摄主体表面形状所调制的光条的三维图像。该三维图像由处于移动终端的另一位置的摄像头探测,从而获得光条二维畸变图像。其中,光条的畸变程度取决于投射装置与摄像头之间的相对位置和拍摄主体表面轮廓,直观上,沿光条显示出的位移(或偏移)与拍摄主体表面高度成比例,扭曲表示了平面的变化,不连续显示了表面的物理间隙,当投射装置与摄像头之间的相对位置一定时,由畸变的二维图像的坐标即可重现拍摄主体表面的三维轮廓,即该三维轮廓即理解为当前拍摄的深度图像,即在原始拍摄位置上获得的原始深度图像。
也就是说,可通过移动终端的投射装置向拍摄主体所处的空间投射一个散斑图案,该散斑图案中具有多个光斑点,该散斑图案被投射到拍摄主体表面上时,该散斑图案中的好多光斑点的位置由于拍摄主体表面的原因而发生了偏移,这样,利用预设公式根据相对于光斑点的初始位置偏移的量计算出拍摄主体的深度信息,该深度信息即为上述原始深度图像。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为拍摄主体的原始深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向拍摄主体所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的拍摄主体的二维畸变图像的坐标。
为了更加清楚的说明上述预设公式的原理,下面以投射的散斑图案中的一个单点为例说明,如图3所示,通过上述预设公式即可获得投射点的深度信息。也就是说,通过从已知角度投影一个激光点到拍摄主体上,然后用摄像头获取该点的二维畸变图像,并确定投射装置与摄像头之间相距一个基线距离b,这样,将已知投影角度、投射装置与摄像头之间的基线间距、摄像头的焦距、该单点对应的二维畸变图像的坐标,代入上述预设公式(1)即可得到该单点对应的拍摄主体的原始深度图像的坐标。由此,实现了由畸变的二维图像坐标重现物体表面的三维轮廓的目的,进而得到了拍摄主体的原始深度图像。
S120,获取N个叠加拍摄位置,并在N个叠加拍摄位置上,通过投射装置和摄像头获取N张深度图像,N张深度图像包含拍摄主体区域被障碍物区域遮挡的部分,其中,N为大于或等于2的整数。
可选地,每个叠加拍摄位置与拍摄主体之间的距离与原始拍摄位置与拍摄主体之间的距离相等,以使得移动终端无需重新调整焦距就能在叠加拍摄位置获取清晰的深度图像,并可以使得原始深度图像与该N张深度图像平滑过渡,且N张深度图像包含原始深度图像中拍摄主体区域被障碍物区域遮挡的部分,以在后续的图像处理中,能够利用该N张深度图像获取拍摄主体的深度信息。
需要说明的是,在本发明的一个实施例中,可根据障碍物区域与拍摄主体区域的相对位置以及拍摄主体区域被障碍物区域遮挡的程度,获取N个叠加拍摄位置。
可以理解,可根据障碍物区域与拍摄主体区域的相对位置,判断移动终端往哪个方向移动容易将拍摄主体被障碍物遮挡的部分拍入深度图像中,并根据拍摄主体区域被障碍物区域遮挡的程度,判断需要在多少个叠加拍摄位置获得深度图像。作为一种示例,N=2。也就是说,对于存在障碍物的拍摄主体,可以通过两种不同的叠加拍摄位置获取两张深度图像。
可以理解,本步骤中通过投射装置和摄像头获取N张深度图像的实现过程,与上述通过移动终端的投射装置和摄像头获取原始深度图像的实现过程所使用的原理相同,该N张深度图像的获取方式可参见上述原始深度图像的获取方式,在此不再赘述。
需要说明的是,也可以先在N个叠加拍摄位置获取N张深度图像,再在原始拍摄位置获取原始深度图像。也就是说,在本发明的一个实施例中,也可先执行步骤S120再执行步骤S110。
S130,根据N张深度图像获取拍摄主体的深度信息。
由于每个叠加拍摄位置获取拍摄主体的深度图像的拍摄角度不同,为了使叠加拍摄位置上的深度图像与原始深度图像之间平滑衔接,需要对叠加拍摄位置上的深度图像按照不同的拍摄角度进行处理,以得到待叠加的深度图像,并将该叠加的深度图像进行叠加,最后,从该叠加后的深度图像中获取拍摄主体的深度信息。
S140,将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。
作为一种示例,可将拍摄主体的深度信息替换原始深度图像中的包含障碍物区域的拍摄主体的深度信息,得到滤除障碍物区域后的深度图像。也就是说,可用获得的拍摄主体的深度信息替换掉原始深度图像中的包含障碍物区域的拍摄主体的深度信息,这样使得替换后的原始深度图像中的拍摄主体区域不再存在障碍物区域,进而达到移除障碍物的目的。
图4示出了本发明实施例提供的拍照方法步骤S130的具体实现流程图。如图4所示,优选地,上述根据N张深度图像获取拍摄主体的深度信息的具体实现过程可包括以下步骤:
S410,对于N个叠加拍摄位置中的每个叠加拍摄位置,计算叠加拍摄位置与原始拍摄位置之间的拍照角度差。
S420,根据拍照角度差,计算叠加拍摄位置对应的投影面。
S430,将叠加拍摄位置对应的深度图像投影在叠加拍摄位置对应的投影面上,得到待叠加的深度图像。
S440,将待叠加的深度图像进行叠加,并从叠加后的深度图像中获取拍摄主体的深度信息。
在本发明的实施例中,拍照角度差指的是第一连线与第二连线的夹角。其中,该第一连线可理解为原始拍摄位置镜头的中心与拍摄主体中心的连线,第二连线可理解为叠加拍摄位置镜头的中心与拍摄主体中心的连线。拍摄主体中心是指镜头所拍摄的范围的中心。拍照角度差可由三轴陀螺仪获取。根据该拍照角度差,计算叠加拍摄位置对应的投影面,每个叠加拍摄位置对应的投影面都与原始深度图像所在平面像平行。将每张叠加拍摄位置上的深度图像投影在其叠加拍摄位置对应的投影面上,得到待叠加的深度图像,然后,将该待叠加的深度图像进行叠加,并从该叠加后的深度图像中获取拍摄主体的深度信息。
根据本发明实施例的拍照方法,在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,其中,原始深度图像包含障碍物区域以及被障碍物区域遮挡的拍摄主体区域,并获取N个叠加拍摄位置,并在N个叠加拍摄位置上,通过投射装置和摄像头获取N张深度图像,其中,该,N张深度图像包含拍摄主体区域被障碍物区域遮挡的部分,并根据N张深度图像获取拍摄主体的深度信息,以及将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。即利用移动终端的投射装置和摄像头获得结构光深度图像,并利用该结构光具备3D成像功能,对于存在障碍物的拍摄主体,可以通过多种(如两种)不同的角度获取拍摄主体的深度信息,并且将该拍摄主体的深度信息合成到原始拍摄位置上的原始深度图像中,以达到移除障碍物的目的,从而可以得到包含完整的拍摄主体的深度图像,在该整个过程中,无需用户具备一定的图像处理专业知识,门槛相对比较低,易操作,提升了用户体验。
可以理解,本发明实施例利用移动终端的投射装置和摄像头获得结构光深度图像,相较于传统的2D图像而言,更加能够重现实物的真实性,更加真实地还原实物轮廓,使得移除障碍物后的拍摄主体更加贴近于实物。
与上述几种实施例提供的拍照方法相对应,本发明的一种实施例还提供一种拍照装置,由于本发明实施例提供的拍照装置与上述几种实施例提供的拍照方法相对应,因此在前述拍照方法的实施方式也适用于本实施例提供的拍照装置,在本实施例中不再详细描述。图5是根据本发明一个实施例的拍照装置的结构示意图。如图5所示,该拍照装置可以包括:第一获取模块510、第二获取模块520、第三获取模块530、第四获取模块540和合成模块550。
具体地,第一获取模块510用于在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取拍摄主体的结构光图像,并对该结构光图像进行解调以获取该拍摄主体的原始深度图像,所述原始深度图像包含障碍物区域以及被所述障碍物区域遮挡的拍摄主体区域。作为一种示例,如图6所示,第一获取模块510可以包括:第一获取单元511和第二获取单元512。其中,第一获取单元511用于通过移动终端的投射装置向拍摄主体所处的空间投射预设的散斑图案,并通过移动终端的摄像头对拍摄主体进行采集,得到带有散斑图案的拍摄主体的二维畸变图像;第二获取单元512用于利用预设公式经对二维畸变图像进行计算后得到拍摄主体的原始深度图像。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为拍摄主体的原始深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向拍摄主体所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的拍摄主体的二维畸变图像的坐标。
第二获取模块520用于获取N个叠加拍摄位置。作为一种示例,第二获取模块520可根据障碍物区域与拍摄主体区域的相对位置以及拍摄主体区域被障碍物区域遮挡的程度,获取N个叠加拍摄位置。其中,在本发明的一个实施例中,该N=2。
第三获取模块530用于在所述N个叠加拍摄位置上,通过所述投射装置和摄像头获取N张深度图像,所述N张深度图像包含所述拍摄主体区域被所述障碍物区域遮挡的部分,其中,N为大于或等于2的整数。
第四获取模块540用于根据所述N张深度图像获取所述拍摄主体的深度信息。作为一种示例,如图7所示,第四获取模块540可包括:第一计算单元541、第二计算单元542、投影单元543和获取单元544。
其中,第一计算单元541用于对于N个叠加拍摄位置中的每个叠加拍摄位置,计算叠加拍摄位置与原始拍摄位置之间的拍照角度差;第二计算单元542用于根据拍照角度差,计算叠加拍摄位置对应的投影面;投影单元543用于将叠加拍摄位置对应的深度图像投影在叠加拍摄位置对应的投影面上,得到待叠加的深度图像;获取单元544用于将待叠加的深度图像进行叠加,并从叠加后的深度图像中获取拍摄主体的深度信息。
合成模块550用于将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。作为一种示例,合成模块550可将拍摄主体的深度信息替换原始深度图像中的包含障碍物区域的拍摄主体的深度信息,得到滤除障碍物区域后的深度图像。
根据本发明实施例的拍照装置,利用移动终端的投射装置和摄像头获得结构光深度图像,并利用该结构光具备3D成像功能,对于存在障碍物的拍摄主体,可以通过多种(如两种)不同的角度获取拍摄主体的深度信息,并且将该拍摄主体的深度信息合成到原始拍摄位置上的原始深度图像中,以达到移除障碍物的目的,从而可以得到包含完整的拍摄主体的深度图像,在该整个过程中,无需用户具备一定的图像处理专业知识,门槛相对比较低,易操作,提升了用户体验。
上述拍照装置中各个模块的划分仅用于举例说明,在其他实施例中,可将拍照装置按照需要划分为不同的模块,以完成上述拍照装置的全部或部分功能。
本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
S110’,在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,原始深度图像包含障碍物区域以及被障碍物区域遮挡的拍摄主体区域;
S120’,获取N个叠加拍摄位置,并在N个叠加拍摄位置上,通过投射装置和摄像头获取N张深度图像,N张深度图像包含拍摄主体区域被障碍物区域遮挡的部分,其中,N为大于或等于2的整数;
S130’,根据N张深度图像获取拍摄主体的深度信息;
S140’,将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。
本发明实施例还提供一种移动终端。上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括成像设备810、ISP处理器830和控制逻辑器840。成像设备810可包括具有一个或多个透镜812、图像传感器814的摄像头和结构光投射器816。结构光投射器816将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器814捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器830,由ISP处理器830对结构光图像进行解调获取被测物的深度信息。同时,图像传感器814也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器814分别捕捉被测物的结构光图像和色彩信息。
其中,以散斑结构光为例,ISP处理器830对结构光图像进行解调,具体包括,从该结构光图像中采集被测物的散斑图像,将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算,获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值,并根据该深度值得到被测物的深度信息。
当然,还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等,在此不做限定,只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器830接收到图像传感器814捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器830对图像数据进行分析以获取可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器830处理的一组原始图像数据。
ISP处理器830按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器830可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器830还可从图像存储器820接收像素数据。图像存储器820可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct MemoryAccess,直接直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器830可进行一个或多个图像处理操作。
在ISP处理器830获取到被测物的色彩信息和深度信息后,可对其进行融合,得到三维图像。其中,可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法,提取被测物的特征,在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合,也可以是将不同图像中相同的特征进行权重设定后组合,也可以有其他融合方式,最终根据融合后的特征,生成三维图像。
三维图像的图像数据可发送给图像存储器820,以便在被显示之前进行另外的处理。ISP处理器830从图像存储器820接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器860,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器830的输出还可发送给图像存储器820,且显示器860可从图像存储器820读取图像数据。在一个实施例中,图像存储器820可被配置为实现一个或多个帧缓冲器。此外,ISP处理器830的输出可发送给编码器/解码器850,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器860设备上之前解压缩。编码器/解码器850可由CPU或GPU或协处理器实现。
ISP处理器830确定的图像统计信息可发送给控制逻辑器840单元。控制逻辑器840可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备810的控制参数。
以下为运用图8中图像处理技术实现拍照方法的步骤:
S210’,在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,原始深度图像包含障碍物区域以及被障碍物区域遮挡的拍摄主体区域;
S220’,获取N个叠加拍摄位置,并在N个叠加拍摄位置上,通过投射装置和摄像头获取N张深度图像,N张深度图像包含拍摄主体区域被障碍物区域遮挡的部分,其中,N为大于或等于2的整数;
S230’,根据N张深度图像获取拍摄主体的深度信息;
S240’,将拍摄主体的深度信息合成至原始深度图像中,得到滤除障碍物区域后的深度图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种拍照方法,其特征在于,包括以下步骤:
在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,所述原始深度图像包含障碍物区域以及被所述障碍物区域遮挡的拍摄主体区域;
获取N个叠加拍摄位置,并在所述N个叠加拍摄位置上,通过所述投射装置和摄像头获取N张深度图像,所述N张深度图像包含所述拍摄主体区域被所述障碍物区域遮挡的部分,其中,N为大于或等于2的整数;
根据所述N张深度图像获取所述拍摄主体的深度信息;
将所述拍摄主体的深度信息合成至所述原始深度图像中,得到滤除所述障碍物区域后的深度图像。
2.如权利要求1所述的拍照方法,其特征在于,所述通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,包括:
通过移动终端的投射装置向拍摄主体所处的空间投射预设的散斑图案,并通过所述移动终端的摄像头对所述拍摄主体进行采集,得到带有所述散斑图案的拍摄主体的二维畸变图像;
利用预设公式经对所述二维畸变图像进行计算后得到所述拍摄主体的原始深度图像。
3.如权利要求2所述的拍照方法,其特征在于,所述预设公式为:
<mrow> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo>&amp;rsqb;</mo> <mo>=</mo> <mfrac> <mi>b</mi> <mrow> <mi>F</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>-</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>F</mi> <mo>&amp;rsqb;</mo> </mrow>
其中,(x,y,z)为所述拍摄主体的原始深度图像的坐标,b为所述投射装置与所述摄像头之间的基线间距,F为所述摄像头的焦距,θ为所述投射装置向所述拍摄主体所处的空间投射预设的散斑图案时的投影角度,(x',y')为所述带有所述散斑图案的拍摄主体的二维畸变图像的坐标。
4.如权利要求1所述的拍照方法,其特征在于,所述获取N个叠加拍摄位置包括:
根据所述障碍物区域与所述拍摄主体区域的相对位置以及所述拍摄主体区域被所述障碍物区域遮挡的程度,获取N个叠加拍摄位置。
5.如权利要求4所述的拍照方法,其特征在于,其中,N=2。
6.如权利要求1所述的拍照方法,其特征在于,所述根据N张深度图像获取所述拍摄主体的深度信息,包括:
对于所述N个叠加拍摄位置中的每个叠加拍摄位置,计算所述叠加拍摄位置与所述原始拍摄位置之间的拍照角度差;
根据所述拍照角度差,计算所述叠加拍摄位置对应的投影面;
将所述叠加拍摄位置对应的深度图像投影在所述叠加拍摄位置对应的投影面上,得到待叠加的深度图像;
将所述待叠加的深度图像进行叠加,并从叠加后的深度图像中获取所述拍摄主体的深度信息。
7.如权利要求1所述的拍照方法,其特征在于,所述将所述拍摄主体的深度信息合成至所述原始深度图像中,得到滤除所述障碍物区域后的深度图像,包括:
将所述拍摄主体的深度信息替换所述原始深度图像中的包含所述障碍物区域的拍摄主体的深度信息,得到滤除所述障碍物区域后的深度图像。
8.一种拍照装置,其特征在于,包括:
第一获取模块,用于在原始拍摄位置上,通过移动终端的投射装置和摄像头对拍摄主体进行拍摄以获取原始深度图像,所述原始深度图像包含障碍物区域以及被所述障碍物区域遮挡的拍摄主体区域;
第二获取模块,用于获取N个叠加拍摄位置;
第三获取模块,用于在所述N个叠加拍摄位置上,通过所述投射装置和摄像头获取N张深度图像,所述N张深度图像包含所述拍摄主体区域被所述障碍物区域遮挡的部分,其中,N为大于或等于2的整数;
第四获取模块,用于根据所述N张深度图像获取所述拍摄主体的深度信息;
合成模块,用于将所述拍摄主体的深度信息合成至所述原始深度图像中,得到滤除所述障碍物区域后的深度图像。
9.如权利要求8所述的拍照装置,其特征在于,所述第一获取模块包括:
第一获取单元,用于通过移动终端的投射装置向拍摄主体所处的空间投射预设的散斑图案,并通过所述移动终端的摄像头对所述拍摄主体进行采集,得到带有所述散斑图案的拍摄主体的二维畸变图像;
第二获取单元,用于利用预设公式经对所述二维畸变图像进行计算后得到所述拍摄主体的原始深度图像。
10.如权利要求9所述的拍照装置,其特征在于,所述预设公式为:
<mrow> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo>&amp;rsqb;</mo> <mo>=</mo> <mfrac> <mi>b</mi> <mrow> <mi>F</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>-</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>F</mi> <mo>&amp;rsqb;</mo> </mrow>
其中,(x,y,z)为所述拍摄主体的原始深度图像的坐标,b为所述投射装置与所述摄像头之间的基线间距,F为所述摄像头的焦距,θ为所述投射装置向所述拍摄主体所处的空间投射预设的散斑图案时的投影角度,(x',y')为所述带有所述散斑图案的拍摄主体的二维畸变图像的坐标。
11.如权利要求8所述的拍照装置,其特征在于,所述第二获取模块具体用于:
根据所述障碍物区域与所述拍摄主体区域的相对位置以及所述拍摄主体区域被所述障碍物区域遮挡的程度,获取N个叠加拍摄位置。
12.如权利要求11所述的拍照装置,其特征在于,其中,N=2。
13.如权利要求8所述的拍照装置,其特征在于,所述第四获取模块包括:
第一计算单元,用于对于所述N个叠加拍摄位置中的每个叠加拍摄位置,计算所述叠加拍摄位置与所述原始拍摄位置之间的拍照角度差;
第二计算单元,用于根据所述拍照角度差,计算所述叠加拍摄位置对应的投影面;
投影单元,用于将所述叠加拍摄位置对应的深度图像投影在所述叠加拍摄位置对应的投影面上,得到待叠加的深度图像;
获取单元,用于将所述待叠加的深度图像进行叠加,并从叠加后的深度图像中获取所述拍摄主体的深度信息。
14.如权利要求8所述的拍照装置,其特征在于,所述合成模块具体用于:
将所述拍摄主体的深度信息替换所述原始深度图像中的包含所述障碍物区域的拍摄主体的深度信息,得到滤除所述障碍物区域后的深度图像。
15.一种移动终端,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的拍照方法。
16.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的拍照方法。
CN201710642707.6A 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机可读存储介质 Active CN107360354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710642707.6A CN107360354B (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710642707.6A CN107360354B (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107360354A true CN107360354A (zh) 2017-11-17
CN107360354B CN107360354B (zh) 2020-06-26

Family

ID=60286176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710642707.6A Active CN107360354B (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107360354B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153196A1 (zh) * 2018-02-08 2019-08-15 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
CN110661978A (zh) * 2019-10-29 2020-01-07 维沃移动通信有限公司 一种拍照方法、电子设备
CN110798677A (zh) * 2018-08-01 2020-02-14 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN111766606A (zh) * 2020-06-19 2020-10-13 Oppo广东移动通信有限公司 Tof深度图像的图像处理方法、装置、设备及存储介质
CN115334245A (zh) * 2019-12-06 2022-11-11 达闼机器人股份有限公司 一种图像矫正方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法
EP2385705A1 (en) * 2008-12-30 2011-11-09 Huawei Device Co., Ltd. Method and device for generating stereoscopic panoramic video stream, and method and device of video conference
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置
CN104079811A (zh) * 2014-07-24 2014-10-01 广东欧珀移动通信有限公司 一种拍照时滤除障碍物的方法及装置
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2385705A1 (en) * 2008-12-30 2011-11-09 Huawei Device Co., Ltd. Method and device for generating stereoscopic panoramic video stream, and method and device of video conference
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN104079811A (zh) * 2014-07-24 2014-10-01 广东欧珀移动通信有限公司 一种拍照时滤除障碍物的方法及装置
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
席文明: "《微装配与微操作》", 31 January 2006 *
徐贵力: "《光电检测技术与系统设计》", 31 August 2013 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153196A1 (zh) * 2018-02-08 2019-08-15 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
CN110798677A (zh) * 2018-08-01 2020-02-14 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN110798677B (zh) * 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN110661978A (zh) * 2019-10-29 2020-01-07 维沃移动通信有限公司 一种拍照方法、电子设备
CN115334245A (zh) * 2019-12-06 2022-11-11 达闼机器人股份有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111766606A (zh) * 2020-06-19 2020-10-13 Oppo广东移动通信有限公司 Tof深度图像的图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107360354B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN107360354A (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN107465906B (zh) 场景的全景拍摄方法、装置及终端设备
US10789765B2 (en) Three-dimensional reconstruction method
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN107480613A (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
CN107483845B (zh) 拍照方法及其装置
US20090296984A1 (en) System and Method for Three-Dimensional Object Reconstruction from Two-Dimensional Images
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
CN107464280B (zh) 用户3d建模的匹配方法和装置
CN107452034B (zh) 图像处理方法及其装置
US20130272600A1 (en) Range image pixel matching method
CN107590828B (zh) 拍摄图像的虚化处理方法和装置
CN107659985A (zh) 降低移动终端功耗的方法、装置、存储介质和移动终端
CN107564050A (zh) 基于结构光的控制方法、装置和终端设备
CN107610171A (zh) 图像处理方法及其装置
CN107705278B (zh) 动态效果的添加方法和终端设备
CN107491744A (zh) 人体身份识别方法、装置、移动终端和存储介质
CN107493427A (zh) 移动终端的对焦方法、装置和移动终端
CN107623814A (zh) 拍摄图像的敏感信息屏蔽方法和装置
CN107820019A (zh) 虚化图像获取方法、装置及设备
CN107613239B (zh) 视频通信背景显示方法和装置
CN107592491B (zh) 视频通信背景显示方法和装置
JP6285686B2 (ja) 視差画像生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant