CN107437268A - 拍照方法、装置、移动终端和计算机存储介质 - Google Patents

拍照方法、装置、移动终端和计算机存储介质 Download PDF

Info

Publication number
CN107437268A
CN107437268A CN201710639038.7A CN201710639038A CN107437268A CN 107437268 A CN107437268 A CN 107437268A CN 201710639038 A CN201710639038 A CN 201710639038A CN 107437268 A CN107437268 A CN 107437268A
Authority
CN
China
Prior art keywords
current shooting
barrier
shooting picture
picture
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710639038.7A
Other languages
English (en)
Inventor
唐城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710639038.7A priority Critical patent/CN107437268A/zh
Publication of CN107437268A publication Critical patent/CN107437268A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种拍照方法、装置、移动终端和计算机存储介质,该方法包括:确定当前拍摄画面中的拍摄主体;获取当前拍摄画面的深度图像;根据深度图像生成当前拍摄画面的三维信息;根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物;将当前拍摄画面中障碍物对应的障碍物区域移除;对移除障碍物区域的当前拍摄画面进行修补。本发明实施例提供的拍照方法,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。

Description

拍照方法、装置、移动终端和计算机存储介质
技术领域
本发明涉及终端技术领域,尤其涉及一种拍照方法、装置、移动终端和计算机可读存储介质。
背景技术
随着终端技术的发展,手机、平板电脑等移动终端在人们的日常生活中越来越普及,其中,拍照功能已成为智能终端领域中的一项不可缺少的功能模块,智能终端中内置拍照功能使得用户可通过智能终端随时随地记录并分享自己的生活状态及身边美丽的景物。
在拍照过程中,照片中经常出现一些障碍物,比如,用户想对动物园笼子里的孔雀拍照,此时,笼子就是照片中的障碍物。这些照片中的障碍物困扰着用户,相关技术中,用户可以通过绘图软件对照片的进行后期处理,将照片中障碍物清除,但这种通过后期处理照片清除障碍物的方式过程繁琐,工作效率低。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种拍照方法,该方法在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
本发明的第二个目的在于提出一种拍照装置。
本发明的第三个目的在于提出一种计算机可读存储介质。
本发明的第四个目的在于提出一种移动终端。
本发明的第五个目的在于提出一种计算机程序。
为了实现上述目的,本发明第一方面实施例的拍照方法,包括:确定当前拍摄画面中的拍摄主体;获取所述当前拍摄画面的深度图像;根据所述深度图像生成所述当前拍摄画面的三维信息;根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物;将所述当前拍摄画面中所述障碍物对应的障碍物区域移除;对移除所述障碍物区域的所述当前拍摄画面进行修补。
根据本发明实施例的拍照方法,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
为了实现上述目的,本发明第二方面实施例的拍照装置,包括:第一确定模块,用于确定当前拍摄画面中的拍摄主体;获取模块,用于获取所述当前拍摄画面的深度图像;生成模块,用于根据所述深度图像生成所述当前拍摄画面的三维信息;第二确定模块,用于根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物;移除模块,用于将所述当前拍摄画面中所述障碍物对应的障碍物区域移除;修补模块,用于对移除所述障碍物区域的所述当前拍摄画面进行修补。
根据本发明实施例的拍照装置,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
本发明第三方面实施例提供了一种计算机可读存储介质,为了实现上述目的,本发明第三方面实施例提供了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行本发明第一方面实施例的拍照方法。
为了实现上述目的,本发明第四方面实施例的移动终端,所述移动终端包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行本发明第一方面实施例的拍照方法。
根据本发明实施例的移动终端,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
本发明第五方面实施例提供了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行一种拍照方法,所述方法包括:确定当前拍摄画面中的拍摄主体;获取所述当前拍摄画面的深度图像;根据所述深度图像生成所述当前拍摄画面的三维信息;根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物;将所述当前拍摄画面中所述障碍物对应的障碍物区域移除;对移除所述障碍物区域的所述当前拍摄画面进行修补。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本发明一个实施例的拍照方法的流程图;
图2是根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物的细化流程图;
图3是根据本发明另一个实施例的拍照方法的流程图;
图4是根据本发明一个实施例的拍照装置的结构示意图;
图5是根据本发明另一个实施例的拍照装置的结构示意图;
图6是根据本发明又一个实施例的拍照装置的结构示意图;
图7是根据本发明一个实施例的图像处理电路的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的拍照方法、装置、终端和计算机可读存储介质。
图1是根据本发明一个实施例的拍照方法的流程图。该实施例的拍照方法应用在移动终端中。其中,移动终端可以包括手机、个人电话、平板电脑、智能穿戴式设备等具有各种操作系统的硬件设备。
如图1所示,该拍照方法包括以下步骤:
S11,确定当前拍摄画面中的拍摄主体。
其中,确定当前拍摄画面中的拍摄主体的方式有很多,在实际应用中,可根据实际需要选择确定当前拍摄画面中的拍摄主体的方式,本实施例对此不作限制,为了更加清楚的说明确定当前拍摄画面中的拍摄主体的过程,举例说明如下:
作为一种示例,根据用户的指定操作将当前拍摄画面中的某个对象作为拍摄主体。
其中,拍摄主体可以为人物、动物、植物、建筑物等,该实施例对拍摄主体不作限定。
作为另一种示例,对当前拍摄画面进行人脸识别,并在当前拍摄画面存在人脸时,将人脸作为当前拍摄画面的拍摄主体。
作为另一种示例,确定当前拍摄画面的对焦点,并根据对焦点确定当前拍摄画面的拍摄主体。
作为另一示例,根据预先保存的拍摄主体与拍摄对象的对应关系,确定当前拍摄画面的拍摄主体。
具体而言,在获取当前拍摄画面后,对当前拍摄画面中的拍摄对象进行特征提取,以获取拍摄对象的特征信息,并判断拍摄对象的特征信息与预存拍摄主体的特征信息匹配,若匹配,则将该拍摄对象作为当前拍摄画面的拍摄主体。
S12,获取当前拍摄画面的深度图像。
其中,深度图像是一组有序的二维点集合,它蕴含了其对应的空间点之间的邻接关系。
S13,根据深度图像生成当前拍摄画面的三维信息。
其中,根据深度图像生成当前拍摄画面的三维信息的过程可通过现有技术实现,此处不再赘述。
S14,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物。
其中,当前拍摄画面的三维信息中包括拍摄主体和其他物体的三维坐标信息。
其中,需要说明的是,通过当前拍摄画面的三维信息还可以确定出拍摄主体以及其他物体的三维轮廓。
其中,需要理解的是,当前拍摄画面中其他物体的数量可以为一个或者两个。
在本发明的一个实施中,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,如图2所示,可以包括:
S21,根据拍摄主体的三维坐标信息确定出拍摄主体与摄像头之间的距离信息。
S22,根据其他物体的三维坐标信息确定出其他物体与摄像头之间的距离信息。
S23,根据拍摄主体与摄像头之间的距离信息,以及其他物体与摄像头之间的距离信息,从其他物体中确定出遮挡拍摄主体的障碍物。
也就是说,该实施例在获取拍摄主体与摄像头之间的距离信息,以及其他物体与摄像头之间的距离信息后,根据上述距离信息,可以确定出拍摄主体与其他物体之间的位置关系,通过该位置关系即可确定出位于拍摄主体前的物体,位于拍摄主体前的物体即为障碍物。
S15,将当前拍摄画面中障碍物对应的障碍物区域移除。
相关技术中,通常采用对当前拍摄画面的各个像素的灰度值的方式确定出当前画面中障碍物所在区域,然而,在拍摄主体与障碍物之间的颜色比较相近,通过像素的灰度值的方式不能准确确定出障碍物所在区域。因此,该实施例在获取障碍物与摄像头之间的距离信息后,根据障碍物的三维坐标信息,确定当前拍摄画面中障碍物的轮廓,并根据障碍物的轮廓所圈定的区域作为障碍物区域,并对障碍物区域对应的信息进行移除。
其中,需要说明的是,在通过深度图像生成拍摄主体的三维信息的过程中,可确定平面坐标与空间三维坐标之间的对应关系,即,平面坐标与空间三维坐标之间存在转换关系。
具体而言,在确定出障碍物后,通过当前拍摄画面的三维信息即可确定出障碍物的三维坐标信息,根据障碍物的三维坐标信息以及坐标转换关系,可确定出当前拍摄画面中障碍物的轮廓。
也就是说,该实施例在通过当前拍摄画面中的三维信息确定出遮挡拍摄主体的障碍物后,通过平面坐标与空间三维坐标之间存在转换关系,即可确定出障碍物在的当前拍摄画面中的轮廓,并将障碍物的轮廓所圈定的区域作为障碍物区域,并对障碍物区域对应的信息进行移除。
S16,对移除障碍物区域的当前拍摄画面进行修补。
作为一种示例性的实施方式,为了使得拍摄画面完整,提高用户的拍照体验,在将当前拍摄画面中障碍物对应的障碍物区域移除后,可获取与当前拍摄画面对应的修补图像,并根据修补图像对当前拍摄画面中障碍区域进行修补。
具体而言,获取用户拍摄当前拍摄画面时的地理位置信息,获取与地理位置信息对应的同类图像,并从同类图像中确定出修补图像,并根据修补图像对当前拍摄画面中障碍区域进行修补。
在获取同类图像后,计算同类图像中每个图像与当前拍摄画面的相似度,并将相似度最高的图像作为修补图像。
例如,在用户通过智能手机拍摄铁丝网内的孔雀时,可确定用户所在的地理位置信息,并根据该地理位置信息获取与当前拍摄获取中孔雀相似度最高的修补图像,然后,根据该修补图像对移除摄铁丝网的当前拍摄画面的孔雀进行修补。
根据本发明实施例的拍照方法,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
图3是根据本发明一个实施例的拍照方法的流程图。该实施例的拍照方法应用在移动终端中。其中,移动终端可以包括手机、个人电话、平板电脑、智能穿戴式设备等具有各种操作系统的硬件设备。
如图3所示,该拍照方法包括以下步骤:
S31,向当前拍摄画面对应的拍摄空间投射结构光。
其中,结构光是已知空间方向的投影的集合。
为了使得移动终端可投射结构光,该实施例在移动终端中预先配置了可以投射多种模式结构光的结构光投射器。
其中,结构光投射器可以是将光点、线、光栅、格网或斑纹等模式的结构光投影到被测物体上的结构光投影设备、仪器或者生成激光束的激光器。
其中,结构光的类型可以分为均匀结构光和非均匀结构光。
作为一种示例性的实施方式,为了避免用户的眼睛被光照射时,产生刺眼的感觉,改善了用户体验,可向当前拍摄画面对应的拍摄空间投射非均匀结构光。
其中,非均匀的结构光,可以通过多种方法形成。
比如,可以通过红外激光光源照射毛玻璃,从而在主体所在的区域产生干涉形成非均匀的结构光。
或者,可以通过衍射光学元件进行投射的方式,形成非均匀的结构光。具体的,可以由单个激光光源准直后通过单个或多个衍射光学元件,在主体所在的区域形成非均匀的结构光。
或者,还可以直接由不规则分布的激光阵列通过衍射光学元件,在主体所在的区域中形成与激光阵列一致的不规则分布的散斑,即非均匀的结构光。通过这种方式,还可以控制散斑的细节分布,此处不作限定。
其中,需要理解的是,在向当前拍摄画面对应的拍摄空间投射结构光后,移动终端中的摄像头可获取当前拍摄画面以及获取当前拍摄画面的深度图像。
在获取当前拍摄画面的深度图像后,为了方便后续需要时,可直接从移动终端中获取当前拍摄画面的深度图像,可在移动终端中保存当前拍摄画面的深度图像。
S32,确定当前拍摄画面中的拍摄主体。
S33,获取当前拍摄画面的深度图像。
其中,深度图像是一组有序的二维点集合,它蕴含了其对应的空间点之间的邻接关系。
具体地,在确定当前拍摄画面中的拍摄主体后,可从移动终端中直接获取当前拍摄画面的深度图像。
S34,根据深度图像生成当前拍摄画面的三维信息。
其中,根据深度图像生成当前拍摄画面的三维信息的过程可通过现有技术实现,此处不再赘述。
S35,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物。
S36,将当前拍摄画面中障碍物对应的障碍物区域移除。
S37,对移除障碍物区域的当前拍摄画面进行修补。
作为一种示例性的实施方式,为了使得拍摄画面完整,提高用户的拍照体验,在将当前拍摄画面中障碍物对应的障碍物区域移除后,可获取与当前拍摄画面对应的修补图像,并根据修补图像对当前拍摄画面中障碍区域进行修补。
具体而言,获取用户拍摄当前拍摄画面时的地理位置信息,获取与地理位置信息对应的同类图像,并从同类图像中确定出修补图像,并根据修补图像对当前拍摄画面中障碍区域进行修补。
在获取同类图像后,计算同类图像中每个图像与当前拍摄画面的相似度,并将相似度最高的图像作为修补图像。
例如,在用户通过智能手机拍摄铁丝网内的孔雀时,可确定用户所在的地理位置信息,并根据该地理位置信息获取与当前拍摄获取中孔雀相似度最高的修补图像,然后,根据该修补图像对移除摄铁丝网的当前拍摄画面的孔雀进行修补。
其中,需要说明的是,步骤S32-S37与步骤S11-S16相同,前述对步骤S11-S16的解释说明也适用于该实施例的步骤S32-S37,此处不再赘述。
根据本发明实施例的拍照方法,在拍照的过程中,向拍摄空间投射结构光,并确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
为了实现上述实施例,本发明还提出了一种本发明实施例的拍照装置。
图4是根据本发明一个实施例的本发明实施例的拍照装置的结构示意图。
如图4所示,该本发明实施例的拍照装置可以包括第一确定模块110、获取模块120、生成模块130、第二确定模块140、移除模块150和修补模块160,其中:
第一确定模块110于确定当前拍摄画面中的拍摄主体。
获取模块120用于获取当前拍摄画面的深度图像。
生成模块130用于根据深度图像生成当前拍摄画面的三维信息。
第二确定模块140用于根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物。
移除模块150用于将当前拍摄画面中障碍物对应的障碍物区域移除。
修补模块160用于对移除障碍物区域的当前拍摄画面进行修补。
在本发明的一个实施例中,在图4所示的基础上,如图5所示,该装置还可以包括:
投射模块170用于在确定当前拍摄画面中的拍摄主体之前,向当前拍摄画面对应的拍摄空间投射结构光。
其中,当前拍摄画面的三维信息包括当前拍摄画面中拍摄主体和其他物体的三维坐标信息。
在本发明的一个实施例中,在图5所示的基础上,如图6所示,第二确定模块140可以包括:
第一确定单元141用于根据拍摄主体的三维坐标信息确定出拍摄主体与摄像头之间的距离信息。
第二确定单元142用于根据其他物体的三维坐标信息确定出其他物体与摄像头之间的距离信息。
第三确定单元143用于根据拍摄主体与摄像头之间的距离信息,以及其他物体与摄像头之间的距离信息,从其他物体中确定出遮挡拍摄主体的障碍物。
在本发明的一个实施例中,移除模块150具体用于:根据障碍物的三维坐标信息,确定当前拍摄画面中障碍物的轮廓,并根据障碍物的轮廓所圈定的区域作为障碍物区域,并对障碍物区域对应的信息进行移除。
在本发明的一个实施例中,修补模块160具体用于:获取与当前拍摄画面对应的修补图像,并根据修补图像对当前拍摄画面中障碍区域进行修补。
需要说明的是,前述对拍照方法实施例的解释说明也适用于该实施例的拍照装置,其实现原理类似,此处不再赘述。
根据本发明实施例的拍照装置,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
为了实现上述实施例,本发明还提出一种移动终端。
一种移动终端,包括本发明第二方面实施例的拍照装置。
根据本发明实施例的移动终端,在拍照的过程中,确定当前拍摄画面中的拍摄主体,并获取当前拍摄画面的深度图像,以及根据深度图像生成当前拍摄画面的三维信息,然后,根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物,并将当前拍摄画面中障碍物对应的障碍物区域移除,以及对移除障碍物区域的当前拍摄画面进行修补。由此,在拍照的过程中,实现了对拍摄画面中的障碍物的移除,满足用户在拍照时移除障碍物的需求,提高了用户的拍照体验。
本发明实施例还提供了一种计算机可读存储介质,一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行前述的拍照方法。
为了实现上述实施例,本发明还提出一种移动终端。
上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图7是根据本发明一个实施例的图像处理电路的示意图。如图7所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图7所示,移动终端700的图像处理电路包括成像设备710、ISP处理器730和控制逻辑器740。成像设备710可包括具有一个或多个透镜712、图像传感器714的摄像头和结构光投射器716。结构光投射器716将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器714捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器730,由ISP处理器730对结构光图像进行解调获取被测物的深度信息。同时,图像传感器714也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器714分别捕捉被测物的结构光图像和色彩信息。
其中,以散斑结构光为例,ISP处理器730对结构光图像进行解调,具体包括,从该结构光图像中采集被测物的散斑图像,将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算,获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值,并根据该深度值得到被测物的深度信息。
当然,还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等,在此不做限定,只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器730接收到图像传感器714捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器730对图像数据进行分析以获取可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。图像传感器714可包括色彩滤镜阵列(如Bayer滤镜),图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器730处理的一组原始图像数据。
ISP处理器730按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器730可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器730还可从图像存储器720接收像素数据。图像存储器720可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct MemoryAccess,直接直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器730可进行一个或多个图像处理操作。
在ISP处理器730获取到被测物的色彩信息和深度信息后,可对其进行融合,得到三维图像。其中,可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法,提取被测物的特征,在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合,也可以是将不同图像中相同的特征进行权重设定后组合,也可以有其他融合方式,最终根据融合后的特征,生成三维图像。
三维图像的图像数据可发送给图像存储器720,以便在被显示之前进行另外的处理。ISP处理器730从图像存储器720接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器760,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器730的输出还可发送给图像存储器720,且显示器760可从图像存储器720读取图像数据。在一个实施例中,图像存储器720可被配置为实现一个或多个帧缓冲器。此外,ISP处理器730的输出可发送给编码器/解码器750,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器760设备上之前解压缩。编码器/解码器750可由CPU或GPU或协处理器实现。
ISP处理器730确定的图像统计信息可发送给控制逻辑器740单元。控制逻辑器740可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备710的控制参数。
以下为运用图7中图像处理技术实现移动终端的对焦方法的步骤:
S11',确定当前拍摄画面中的拍摄主体;
S12',获取当前拍摄画面的深度图像;
S13',根据深度图像生成当前拍摄画面的三维信息;
S14',根据当前拍摄画面的三维信息确定遮挡拍摄主体的障碍物;
S15',将当前拍摄画面中障碍物对应的障碍物区域移除;
S16',对移除障碍物区域的当前拍摄画面进行修补。
其中,需要说明的是,前述对拍照方法实施例的解释说明也使用该实施例的移动终端,其实现原理类似,此处不再赘述。
其中,需要说明的是,上述运用图7中图像处理技术还可以执行图3的拍照方法。
一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行前述的拍照方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种拍照方法,其特征在于,包括以下步骤:
确定当前拍摄画面中的拍摄主体;
获取所述当前拍摄画面的深度图像;
根据所述深度图像生成所述当前拍摄画面的三维信息;
根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物;
将所述当前拍摄画面中所述障碍物对应的障碍物区域移除;
对移除所述障碍物区域的所述当前拍摄画面进行修补。
2.如权利要求1所述的方法,其特征在于,在所述确定当前拍摄画面中的拍摄主体之前,所述方法还包括:
向所述当前拍摄画面对应的拍摄空间投射结构光。
3.如权利要求1或2所述的方法,其特征在于,所述当前拍摄画面的三维信息包括所述当前拍摄画面中所述拍摄主体和其他物体的三维坐标信息,所述根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物,包括:
根据所述拍摄主体的三维坐标信息确定出所述拍摄主体与所述摄像头之间的距离信息;
根据所述其他物体的三维坐标信息确定出所述其他物体与所述摄像头之间的距离信息;
根据所述拍摄主体与所述摄像头之间的距离信息,以及所述其他物体与所述摄像头之间的距离信息,从所述其他物体中确定出遮挡所述拍摄主体的障碍物。
4.如权利要求3所述的方法,其特征在于,所述将所述当前拍摄画面中所述障碍物对应的障碍物区域移除,包括:
根据所述障碍物的三维坐标信息,确定所述当前拍摄画面中所述障碍物的轮廓;
根据所述障碍物的轮廓所圈定的区域作为所述障碍物区域,并对所述障碍物区域对应的信息进行移除。
5.如权利要求1所述的方法,其特征在于,所述对移除所述障碍物区域的所述当前拍摄画面进行修补,包括:
获取与所述当前拍摄画面对应的修补图像;
根据所述修补图像对所述当前拍摄画面中所述障碍区域进行修补。
6.一种拍照装置,其特征在于,包括:
第一确定模块,用于确定当前拍摄画面中的拍摄主体;
获取模块,用于获取所述当前拍摄画面的深度图像;
生成模块,用于根据所述深度图像生成所述当前拍摄画面的三维信息;
第二确定模块,用于根据所述当前拍摄画面的三维信息确定遮挡所述拍摄主体的障碍物;
移除模块,用于将所述当前拍摄画面中所述障碍物对应的障碍物区域移除;
修补模块,用于对移除所述障碍物区域的所述当前拍摄画面进行修补。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
投射模块,用于在所述确定当前拍摄画面中的拍摄主体之前,向所述当前拍摄画面对应的拍摄空间投射结构光。
8.如权利要求6或7所述的装置,其特征在于,所述当前拍摄画面的三维信息包括所述当前拍摄画面中所述拍摄主体和其他物体的三维坐标信息,所述第二确定模块,包括:
第一确定单元,用于根据所述拍摄主体的三维坐标信息确定出所述拍摄主体与所述摄像头之间的距离信息;
第二确定单元,用于根据所述其他物体的三维坐标信息确定出所述其他物体与所述摄像头之间的距离信息;
第三确定单元,用于根据所述拍摄主体与所述摄像头之间的距离信息,以及所述其他物体与所述摄像头之间的距离信息,从所述其他物体中确定出遮挡所述拍摄主体的障碍物。
9.如权利要求8所述的装置,其特征在于,所述移除模块,具体用于:
根据所述障碍物的三维坐标信息,确定所述当前拍摄画面中所述障碍物的轮廓;
根据所述障碍物的轮廓所圈定的区域作为所述障碍物区域,并对所述障碍物区域对应的信息进行移除。
10.如权利要求6所述的装置,其特征在于,所述修补模块,具体用于:
获取与所述当前拍摄画面对应的修补图像;
根据所述修补图像对所述当前拍摄画面中所述障碍区域进行修补。
11.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的拍照方法。
12.一种移动终端,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的拍照方法。
CN201710639038.7A 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机存储介质 Pending CN107437268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710639038.7A CN107437268A (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710639038.7A CN107437268A (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机存储介质

Publications (1)

Publication Number Publication Date
CN107437268A true CN107437268A (zh) 2017-12-05

Family

ID=60460820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710639038.7A Pending CN107437268A (zh) 2017-07-31 2017-07-31 拍照方法、装置、移动终端和计算机存储介质

Country Status (1)

Country Link
CN (1) CN107437268A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108924405A (zh) * 2018-06-11 2018-11-30 北京航空航天大学 基于距离的拍照聚焦修正和图像处理方法、设备
WO2019218878A1 (zh) * 2018-05-16 2019-11-21 Oppo广东移动通信有限公司 拍照修复方法以及装置、存储介质及终端设备
CN113167569A (zh) * 2018-11-21 2021-07-23 日本电气通信系统株式会社 体积测量装置、系统、方法和程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN105516578A (zh) * 2014-09-25 2016-04-20 联想(北京)有限公司 图像处理方法、装置及电子设备
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN105516578A (zh) * 2014-09-25 2016-04-20 联想(北京)有限公司 图像处理方法、装置及电子设备
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108566516B (zh) * 2018-05-14 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
WO2019218878A1 (zh) * 2018-05-16 2019-11-21 Oppo广东移动通信有限公司 拍照修复方法以及装置、存储介质及终端设备
CN108924405A (zh) * 2018-06-11 2018-11-30 北京航空航天大学 基于距离的拍照聚焦修正和图像处理方法、设备
CN108924405B (zh) * 2018-06-11 2020-01-21 北京航空航天大学 基于距离的拍照聚焦修正和图像处理方法、设备
CN113167569A (zh) * 2018-11-21 2021-07-23 日本电气通信系统株式会社 体积测量装置、系统、方法和程序
CN113167569B (zh) * 2018-11-21 2022-10-11 日本电气通信系统株式会社 体积测量装置、系统、方法和程序
US12018969B2 (en) 2018-11-21 2024-06-25 Nec Communication Systems, Ltd. Volume measurement apparatus, system, method, and program

Similar Documents

Publication Publication Date Title
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US8432435B2 (en) Ray image modeling for fast catadioptric light field rendering
CN107465906B (zh) 场景的全景拍摄方法、装置及终端设备
CN107480613A (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
CN107483845B (zh) 拍照方法及其装置
CN107481304A (zh) 在游戏场景中构建虚拟形象的方法及其装置
CN107395974B (zh) 图像处理系统及方法
CN107493427A (zh) 移动终端的对焦方法、装置和移动终端
CN107370950B (zh) 对焦处理方法、装置和移动终端
CN107481317A (zh) 人脸3d模型的面部调整方法及其装置
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
CN107452034B (zh) 图像处理方法及其装置
CN107437268A (zh) 拍照方法、装置、移动终端和计算机存储介质
CN107592449B (zh) 三维模型建立方法、装置和移动终端
CN107491744A (zh) 人体身份识别方法、装置、移动终端和存储介质
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
CN107493411B (zh) 图像处理系统及方法
CN107507269A (zh) 个性化三维模型生成方法、装置和终端设备
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
CN107392874A (zh) 美颜处理方法、装置及移动设备
CN107480615A (zh) 美颜处理方法、装置及移动设备
CN107610171A (zh) 图像处理方法及其装置
CN107438161A (zh) 拍摄画面处理方法、装置和终端
CN107469355A (zh) 游戏人物形象创建方法及装置、终端设备
CN109191393A (zh) 基于三维模型的美颜方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication