CN109151442B - 一种图像拍摄方法及终端 - Google Patents
一种图像拍摄方法及终端 Download PDFInfo
- Publication number
- CN109151442B CN109151442B CN201811157808.5A CN201811157808A CN109151442B CN 109151442 B CN109151442 B CN 109151442B CN 201811157808 A CN201811157808 A CN 201811157808A CN 109151442 B CN109151442 B CN 109151442B
- Authority
- CN
- China
- Prior art keywords
- image
- shot
- camera module
- display screen
- folding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012790 confirmation Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 34
- 230000015572 biosynthetic process Effects 0.000 abstract description 11
- 238000003786 synthesis reaction Methods 0.000 abstract description 11
- 230000003068 static effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明提供一种图像拍摄方法及终端,其中终端包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组,该方法包括:在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像;根据全景图像生成待拍摄对象的立体图像。本发明实施例可以通过一次性静态拍摄实现图像合成以及立体建模,简化了图像合成构造立体模型的拍摄过程,提供了立体拍摄的新模式。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像拍摄方法及终端。
背景技术
现有技术中通过图像合成来构造3D模型时,需要利用摄像头围绕被拍摄物体进行360度全方位拍摄,然后对拍摄得到的多张图像进行合成,然后构造出被拍摄物体的3D模型。且上述的多次拍摄过程必须限定在同一时间段、同一环境、同一光线条件下。因此现有的通过合成多张图像构造被拍摄对象3D模型的方法对拍摄环境有比较苛刻的要求。且当前终端拍照仅限于拍摄普通的2D照片,暂时不支持3D拍照效果。
由此可见,现有技术中在构造3D模型时,存在拍摄环境要求苛刻且需要接入第三方专业软件进行图像合成的问题,同时现有终端存在无法支持多角度图像合成和3D建模的弊端。
发明内容
本发明实施例提供一种图像拍摄方法及终端,以解决现有技术中在构造3D模型时,存在拍摄环境要求苛刻且需要接入第三方专业软件进行图像合成,以及现有终端无法支持多角度图像合成和3D建模的问题。
为了解决上述问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供一种图像拍摄方法,应用于终端,终端包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组,该方法包括:
在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像;
根据全景图像生成待拍摄对象的立体图像。
第二方面,本发明实施例提供一种终端,终端包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组,终端还包括:
获取模块,用于在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像;
生成模块,用于根据全景图像生成待拍摄对象的立体图像。
第三方面,本发明实施例还提供一种终端,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现上述的图像拍摄方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现上述的图像拍摄方法的步骤。
本发明技术方案,通过在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组进行静态拍摄,获取待拍摄对象的全景图像,根据所获取的全景图像生成立体图像,可以通过一次性静态拍摄实现图像合成以及立体建模,简化了图像合成构造立体模型的拍摄过程,提供了立体拍摄的新模式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例图像拍摄方法示意图;
图2表示本发明实施例终端的折叠显示屏示意图;
图3表示本发明实施例在折叠显示屏处于预设折叠角度时通过两个摄像头模组进行拍摄的示意图;
图4表示本发明实施例二维图像空间示意图;
图5表示本发明实施例关键点周围区域图像梯度与关键点描述子对应示意图;
图6表示本发明实施例128维向量的描述子示意图;
图7表示本发明实施例一种终端示意图;
图8表示本发明实施例一种终端硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像拍摄方法,应用于终端,终端包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组,如图1所示,该方法包括:
步骤101、在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像。
在利用第一摄像头模组和第二摄像模组拍摄之前,需要确定折叠显示屏的折叠角度是否满足预设条件,仅在折叠显示屏的折叠角度满足预设条件的前提下,可以执行全景拍摄流程。
需要说明的是,在折叠显示屏处于折叠状态时,第一区域与第二区域之间形成折叠角度,第一摄像头模组可以设置于第一区域所在的端面,第二摄像头模组可以设置于第二区域所在的端面,即如图2所示的形式。在折叠显示屏1的第一区域11所在的端面设置第一摄像头模组111,在折叠显示屏1的第二区域12所在的端面设置第二摄像头模组121。上述仅仅为一种设置情况,也可以将第一摄像头模组设置于第一区域所在端面的背面,将第二摄像头模组设置于第二区域所在端面的背面。其中,第一区域和第二区域均为显示区域,第一区域和第二区域的背面可形成非显示区域。
其中,在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像的步骤,包括:
在终端处于拍摄模式时,检测第一区域和第二区域之间的折叠角度;根据折叠角度,确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围,并输出表征可拍摄的待拍摄对象的角度范围的提示信息;检测是否接收到用户响应于提示信息的确认信息;根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像。
在进行全景拍摄之前,需要开启第一摄像头模组和第二摄像头模组,使得终端处于拍摄模式。在终端处于拍摄模式时,检测折叠显示屏的第一区域和第二区域之间的折叠角度,在确定折叠显示屏的折叠角度之后,根据折叠角度确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围。其中折叠显示屏的折叠角度在0度到360度之间。其中,第一摄像头模组设置于第一区域所在端面和第二摄像头模组设置于第二区域所在端面的情况,与第一摄像头模组设置于第一区域所在端面的背面和第二摄像头模组设置于第二区域所在端面的背面的情况,其对应的满足预设条件的折叠角度有所区别。
根据折叠显示屏的折叠角度确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围的具体过程为:根据当前折叠显示屏的折叠角度、第一摄像头模组和第二摄像头模组的位置信息、两个摄像头模组与待拍摄对象的距离以及待拍摄对象的尺寸信息,确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围。
在终端确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围后,可以通过折叠显示屏输出表征可拍摄的待拍摄对象的角度范围的提示信息,使得用户获知当前折叠显示屏的折叠角度所对应的拍摄角度范围。
在通过折叠显示屏输出表征可拍摄的待拍摄对象的角度范围的提示信息之后,终端可以检测是否接收到用户响应于提示信息的确认信息,根据确认信息的接收情况来确定折叠显示屏的折叠角度是否满足预设条件,若接收到用户的确认信息,则表明折叠显示屏的折叠角度满足预设条件,此时可以通过第一摄像头模组和第二摄像头模组执行全景拍摄流程。若未接收到用户的确认信息,则表明折叠显示屏的折叠角度不满足预设条件,此时不能执行全景拍摄流程。
通过检测折叠显示屏的折叠角度确定可拍摄的待拍摄对象的角度范围,根据用户的确认情况确定折叠显示屏的折叠角度是否满足预设条件,可以保证获取满足用户需求的全景图像,避免出现拍摄的全景图像不满足要求,影响拍摄体验的问题。
其中用户的确认信息可以为对折叠显示屏的触控操作。例如在输出表征可拍摄的待拍摄对象的角度范围的提示信息的同时,可以输出一虚拟确认按键,若在输出提示信息后,用户立即对虚拟确认按键进行了触控操作,则可以确定接收到了确认信息。在未接收到用户的确认信息时,表明折叠显示屏的折叠角度不满足预设条件,此时可以在折叠显示屏上输出提示用户对折叠显示屏的折叠角度进行调整的信息。
其中接收用户的确认信息时还可以为其他形式。在本发明实施例中,根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像的步骤,包括:
若在预设时长内未接收到用户对折叠显示屏的旋转输入,则确定接收到确认信息,并确定折叠显示屏的折叠角度满足预设条件;通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
若在折叠显示屏显示提示信息之后,在预设时长内没有接收到用户对折叠显示屏的旋转输入,则此时可以确定终端接收到了用户的确认信息,并可以确定折叠显示屏的当前折叠角度满足预设条件。在确定折叠显示屏的折叠角度满足预设条件时,可以执行全景拍摄流程。在执行全景拍摄流程时,通过当前状态下的第一摄像头模组和第二摄像头模组同时进行拍摄。如图3所示,在折叠显示屏1的折叠角度满足预设条件时,通过第一摄像头模组111和第二摄像头模组121对待拍摄对象进行拍摄。其中图3所示为第一摄像头模组111和第二摄像头模组121分别设置于第一区域和第二区域所在端面的情况。在拍摄完成后,可以获得第一摄像头模组拍摄到的第一拍摄图像以及第二摄像头模组拍摄到的第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接,生成待拍摄对象的预设区域内的全景图像。
通过在预设时长内检测用户对折叠显示屏的旋转操作,可以准确判断出是否接收到用户的确认信息,进而能够保证折叠显示屏的折叠角度是否满足预设条件的判断准确性,保证拍摄过程的顺利进行,避免出现折叠角度不满足预设条件时执行拍摄的情况。
在本发明实施例中,根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像的步骤还包括:
若在预设时长内接收到用户对折叠显示屏的旋转输入,则确定未接收到确认信息,并确定折叠显示屏的折叠角度不满足预设条件;响应于用户的旋转输入,输出旋转输入所对应的可拍摄的待拍摄对象的角度范围信息;在检测到旋转输入停止时,通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
若在折叠显示屏显示提示信息之后,在预设时长内接收到了用户对折叠显示屏的旋转输入,则确定未接收到用户的确认信息。此时折叠显示屏的折叠角度不满足预设条件,需要根据用户的旋转输入,确定对应的可拍摄的待拍摄对象的角度范围信息。在旋转输入停止时,确定当前折叠显示屏的折叠角度满足预设条件,可以执行通过第一摄像头模组和第二摄像头模组获取全景图像的过程,获取待拍摄对象的预设区域内的全景图像。
通过在预设时长内检测是否接收到用户对折叠显示屏的旋转操作,可以准确判断出是否接收到用户的确认信息,在接收到旋转操作时,确定未接收到确认信息,此时需要根据用户的旋转输入继续确定可拍摄的待拍摄对象的角度范围信息,在旋转输入停止时,执行拍摄过程获取全景图像,可以保证生成满足需求的全景图像,避免出现折叠角度不满足预设条件时执行拍摄的情况。
其中在输出旋转输入所对应的可拍摄的待拍摄对象的角度范围信息时,还可以在当前状态的折叠角度下,确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围,并输出显示。
在本发明实施例中,在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像的步骤,包括:
在终端处于拍摄模式时,根据第一区域和第二区域之间的折叠角度确定可拍摄的待拍摄对象的角度范围;检测根据确定的可拍摄的待拍摄对象的角度范围是否可获得满足需求的待拍摄对象的立体图像;若是,则确定折叠显示屏的折叠角度满足预设条件,通过第一摄像头模组和第二摄像头模组进行全景拍摄;若否,则输出提示用户调节折叠显示屏的折叠角度的信息,在折叠显示屏的当前折叠角度满足预设条件时,输出停止指令,并通过第一摄像头模组和第二摄像头模组进行全景拍摄。
在终端处于拍摄模式时,检测折叠显示屏的第一区域和第二区域之间的折叠角度,在确定折叠显示屏第一区域和第二区域之间的折叠角度之后,根据折叠显示屏的折叠角度确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围。
在确定可拍摄的待拍摄对象的角度范围之后,检测根据确定的可拍摄的待拍摄对象的角度范围是否可获得满足需求的待拍摄对象的立体图像,若可以,则表明当前折叠显示屏的折叠角度满足预设条件,此时可以直接通过第一和第二摄像头模组进行拍摄,并将拍摄的图像进行拼接,获取待拍摄对象的预设区域内的全景图像。
若根据确定的可拍摄的待拍摄对象的角度范围不可以获得满足需求的待拍摄对象的立体图像,此时终端需要输出提示用户调节折叠显示屏的折叠角度的信息,在用户调节折叠显示屏的折叠角度时,根据折叠显示屏的折叠角度变化确定可拍摄的待拍摄对象的角度范围,在根据可拍摄的待拍摄对象的角度范围可获得满足需求的待拍摄对象的立体图像时,确定当前折叠显示屏的折叠角度满足预设条件,终端输出停止指令,使得用户停止调节,此时终端可以通过第一摄像头模组和第二摄像头模组进行拍摄,获取待拍摄对象的预设区域内的全景图像。
通过终端自身判断折叠显示屏的折叠角度是否满足预设条件,可以实现判断的智能化,节省了用户判断的流程,在保证了拍摄效率的同时,提高了用户的拍摄体验。
步骤102、根据全景图像生成待拍摄对象的立体图像。
在通过第一摄像头模组和第二摄像头模组获取待拍摄对象的预设区域内的全景图像之后,可以根据获取的全景图像生成待拍摄对象所对应的立体图像。
其中,根据全景图像生成待拍摄对象的立体图像的步骤,包括:
将全景图像按照预设原则进行划分,获取待拍摄对象在不同拍摄角度下所对应的N张图像;针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序,并根据匹配结果利用射影定理计算得到每张图像的场景信息;按照拼接顺序,将场景信息与对应的图像进行结合,生成每张图像对应的三维点云;根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像。
首先按照预设原则将获取的全景图像进行划分,得到不同拍摄角度下对应的N张图像。然后基于划分得到的N张图像,进行两两边界特征点的匹配,根据匹配结果确定N张图像的拼接顺序。同时根据匹配结果基于射影定理进行计算,得到每张图像所对应的场景信息。然后按照确定的拼接顺序,将每张图像与对应的场景信息进行结合,得到每张图像对应的三维点云,并根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像。
其中在进行特征点匹配时需要能够精确识别物体的局部特征,并且进行快速准确的匹配,由于在实际拍摄中可能存在物体的旋转、缩放或者亮度变化,所以匹配的过程不易,通常可采用SIFT(Scale-invariant feature transform,尺度不变特征转换)算法来实现匹配并保证匹配效果。
针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序的步骤,包括:在N张图像中选择第一图像,通过边界特征点匹配确定与第一图像可拼接的第二图像;若未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像,直至确定N张图像的拼接顺序。
即需要在划分得到的N张图像中确定出第一图像,然后根据边界特征点匹配确定与第一图像匹配的第二图像,其中第二图像的数量可以为一张或者两张。若此时未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像。若仍未完成N张图像的匹配,则继续执行匹配过程,直至确定N张图像的拼接顺序。
其中在通过边界特征点匹配确定与第一图像可拼接的第二图像时,可以针对每张图像分别生成高斯差分金字塔,构建尺度空间;在构建的尺度空间内进行空间极值点检测,获取第一数目的关键点;对第一数目的关键点进行筛选获取第二数目的关键点,并对第二数目的关键点分配方向信息;在第二数目的关键点中确定边界关键点,并在边界关键点中确定出边界特征点;若第一图像的边界特征点与一参考图像的边界特征点的欧式距离小于预设值,确定参考图像为第二图像。
即SIFT算法特征提取和匹配的流程为:
1、生成高斯差分金字塔(DOG金字塔),构建尺度空间。
对每张图像进行尺度变换,获得图像多尺度下的尺度空间表示序列,对这些序列进行尺度空间主轮廓的提取,并以该主轮廓作为一种特征向量,实现边缘检测、角点检测、不同分辨率上的关键点提取等。各尺度下图像的模糊度逐渐变大,能够模拟人在距离目标由近到远时目标物体在视网膜上的形成过程。
2、空间极值点检测
为了寻找DOG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度空间域的相邻点大或者小。如图4所示,在二维图像空间,中心点(图中形成叉号的区域)与它3*3邻域内的8个点做比较,在同一组内的尺度空间上,中心点和上下相邻的两层图像的2*9个点作比较,如此可以保证检测到的关键点在尺度空间和二维图像空间上都是局部极值点。通过此操作可获取第一数目的关键点。
3、稳定关键点的精确定位
DOG值对噪声和边缘比较敏感,所以针对获取的第一数目的关键点还要经过进一步的筛选,去除不稳定和错误检测出的极值点,另一点就是在构建高斯金字塔过程中采用了下采样的图像,在下采样图像中提取的极值点对应在原始图像中的确切位置,也是要在本步骤中解决的。通过上述操作可以获得第二数目的关键点。
4、稳定关键点方向信息分配
稳定的极值点(关键点)是在不同尺度空间下提取的,这保证了关键点的尺度不变性。为关键点分配方向信息所要解决的问题是使得关键点对图像角度和旋转具有不变性。方向的分配是通过求每个极值点的梯度来实现的。
5、关键点描述
对关键点的描述是后续实现匹配的关键步骤,描述其实就是一种以数学方式定义关键的过程。描述子不但包含关键点,也包括关键点周围对其有贡献的邻域点。描述的思路是:对关键点周围像素区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量是该区域图像信息的一种抽象表述。如图5,对于2*2块,每块的所有像素点的灰度做高斯加权,每块最终取8个方向,即可以生成2*2*8维度的向量,以这2*2*8维向量作为中心关键点的数学描述。
实验结果表明:对每个关键点,采用图6所示的4*4*8共128维向量的描述子进项关键点表征,综合效果最佳。
6、特征点匹配
特征点的匹配是通过计算两组特征点的128维的关键点的欧式距离实现的。欧式距离越小,则相似度越高,当欧式距离小于设定的阈值时,可以判定为匹配成功。即在第二数目的关键点中确定出边界关键点,并在边界关键点中确定出边界特征点后;若第一图像的边界特征点与一参考图像的边界特征点的欧式距离小于预设值,确定参考图像为与第一图像匹配的第二图像。
在根据匹配过程获取匹配结果之后,可以根据匹配结果,利用射影定理计算得到每张图像的场景信息,这步又称为运动恢复结构,对于结果的衡量标准主要是准确性,通常使用的是基于Levenberg-Marquardt(莱文贝格-马夸特)算法的Bundler(集束)。也可把这一步称为稀疏重建。
在获取每张图像的场景信息之后,可以按照拼接顺序,将场景信息与对应的图像进行结合,得到每张图像的三维点云。有了场景信息,我们能进行多视立体重建。由于处理的图像精度通常都比较高,所以这一步的计算量很大,执行效率也因此成为判断算法优劣的标准之一。除了效率之外,还需要考量重建的精度以及完整性,因为这些因素决定了点云的质量。基于面片的多视角三维立体视觉算法(PMVS算法)是目前表现最好的多视立体重建算法。另外,为了表示和稀疏重建的区别,这一步也成为密集重建。
PMVS算法的目的就是保证在每个图像块上至少有一个面片的投影。主要分为以下三步:(1)初始化特征匹配,即为每张图像与场景信息的特征匹配,目的就是生成一系列稀疏的面片。(2)面片生成,即为将每张图像与对应的场景信息拼接缝合,面片生成的目的就是保证每张图像至少对应一个面片;(3)面片筛选,在面片的重建过程中,可能会生成一些误差较大的面片,因此需要过滤来确保面片的准确性。面片的生成和筛选都要执行多次使得面片足够稠密,同时去除不好的面片。
通过上述操作已经得到了物体表面的一系列三维点云,但是还需要把这些点连成面,才能在一般的三维建模软件中使用。现在比较常用的是泊松表面重建算法,重建过程即为根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像的过程:对每张图像对应的三维点云进行品质分析;对经过品质分析后的三维点云进行计算,得到新扫描视点;根据新扫描视点进行扫描得到新三维点云,并根据新三维点云更新经过品质分析后的三维点云;根据更新后的三维点云依序进行模型重建,生成待拍摄对象的立体图像。至此已获得待拍摄对象的立体图像,然后在屏幕上显示立体图像。
本发明实施例,通过在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组进行静态拍摄,获取待拍摄对象的全景图像,根据所获取的全景图像生成立体图像,可以通过一次性静态拍摄实现图像合成以及立体建模,简化了图像合成构造立体模型的拍摄过程,提供了立体拍摄的新模式。
本发明实施例提供一种终端,终端包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组,如图7所示,终端还包括:
获取模块10,用于在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像;
生成模块20,用于根据全景图像生成待拍摄对象的立体图像。
其中,获取模块包括:
第一检测子模块,用于在终端处于拍摄模式时,检测第一区域和第二区域之间的折叠角度;
第一处理子模块,用于根据折叠角度,确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围,并输出表征可拍摄的待拍摄对象的角度范围的提示信息;
第二检测子模块,用于检测是否接收到用户响应于提示信息的确认信息;
第二处理子模块,用于根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像。
其中,第二处理子模块包括:
第一确定单元,用于若在预设时长内未接收到用户对折叠显示屏的旋转输入,则确定接收到确认信息,并确定折叠显示屏的折叠角度满足预设条件;
第一处理单元,用于通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
其中,第二处理子模块包括:
第二确定单元,用于若在预设时长内接收到用户对折叠显示屏的旋转输入,则确定未接收到确认信息,并确定折叠显示屏的折叠角度不满足预设条件;
输出单元,用于响应于用户的旋转输入,输出旋转输入所对应的可拍摄的待拍摄对象的角度范围信息;
第二处理单元,用于在检测到旋转输入停止时,通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
其中,获取模块包括:
第一确定子模块,用于在终端处于拍摄模式时,根据第一区域和第二区域之间的折叠角度确定可拍摄的待拍摄对象的角度范围;
第三检测子模块,用于检测根据确定的可拍摄的待拍摄对象的角度范围是否可获得满足需求的待拍摄对象的立体图像;
第三处理子模块,用于若是,则确定折叠显示屏的折叠角度满足预设条件,通过第一摄像头模组和第二摄像头模组进行全景拍摄;
第四处理子模块,用于若否,则输出提示用户调节折叠显示屏的折叠角度的信息,在折叠显示屏的当前折叠角度满足预设条件时,输出停止指令,并通过第一摄像头模组和第二摄像头模组进行全景拍摄。
其中,生成模块包括:
获取子模块,用于将全景图像按照预设原则进行划分,获取待拍摄对象在不同拍摄角度下所对应的N张图像;
第二确定子模块,用于针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序,并根据匹配结果利用射影定理计算得到每张图像的场景信息;
第一生成子模块,用于按照拼接顺序,将场景信息与对应的图像进行结合,生成每张图像对应的三维点云;
第二生成子模块,用于根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像。
其中,第二确定子模块包括:
第三确定单元,用于在N张图像中选择第一图像,通过边界特征点匹配确定与第一图像可拼接的第二图像;
第四确定单元,用于若未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像,直至确定N张图像的拼接顺序。
其中,第二生成子模块包括:
分析单元,用于对每张图像对应的三维点云进行品质分析;
计算单元,用于对经过品质分析后的三维点云进行计算,得到新扫描视点;
更新单元,用于根据新扫描视点进行扫描得到新三维点云,并根据新三维点云更新经过品质分析后的三维点云;
生成单元,用于根据更新后的三维点云依序进行模型重建,生成待拍摄对象的立体图像。
本发明实施例的终端,通过在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组进行静态拍摄,获取待拍摄对象的全景图像,根据所获取的全景图像生成立体图像,可以通过一次性静态拍摄实现图像合成以及立体建模,简化了图像合成构造立体模型的拍摄过程,提供了立体拍摄的新模式。
图8为实现本发明各个实施例的一种终端的硬件结构示意图,该终端800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。终端800还包括折叠显示屏,折叠显示屏的第一区域所在的端面或背面设置有第一摄像头模组,折叠显示屏的第二区域所在的端面或背面设置有第二摄像头模组。
本领域技术人员可以理解,图8中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器810用于:在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像;根据全景图像生成待拍摄对象的立体图像。
其中,在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像时,处理器810还用于执行以下步骤:在终端处于拍摄模式时,检测第一区域和第二区域之间的折叠角度;根据折叠角度,确定通过第一摄像头模组和第二摄像头模组可拍摄的待拍摄对象的角度范围,并输出表征可拍摄的待拍摄对象的角度范围的提示信息;检测是否接收到用户响应于提示信息的确认信息;根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像。
其中,根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像时,处理器810还用于执行以下步骤:若在预设时长内未接收到用户对折叠显示屏的旋转输入,则确定接收到确认信息,并确定折叠显示屏的折叠角度满足预设条件;通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
其中,根据确认信息的接收情况确定折叠角度是否满足预设条件,并根据检测结果获取待拍摄对象的预设区域内的全景图像时,处理器810还用于执行以下步骤:若在预设时长内接收到用户对折叠显示屏的旋转输入,则确定未接收到确认信息,并确定折叠显示屏的折叠角度不满足预设条件;响应于用户的旋转输入,输出旋转输入所对应的可拍摄的待拍摄对象的角度范围信息;在检测到旋转输入停止时,通过第一摄像头模组和第二摄像头模组分别获取第一拍摄图像和第二拍摄图像,根据第一拍摄图像和第二拍摄图像进行拼接处理,生成全景图像。
其中,在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件,通过第一摄像头模组和第二摄像头模组获取待拍摄对象的全景图像时,处理器810还用于执行以下步骤:在终端处于拍摄模式时,根据第一区域和第二区域之间的折叠角度确定可拍摄的待拍摄对象的角度范围;检测根据确定的可拍摄的待拍摄对象的角度范围是否可获得满足需求的待拍摄对象的立体图像;若是,则确定折叠显示屏的折叠角度满足预设条件,通过第一摄像头模组和第二摄像头模组进行全景拍摄;若否,则输出提示用户调节折叠显示屏的折叠角度的信息,在折叠显示屏的当前折叠角度满足预设条件时,输出停止指令,并通过第一摄像头模组和第二摄像头模组进行全景拍摄。
其中,根据全景图像生成待拍摄对象的立体图像时,处理器810还用于执行以下步骤:将全景图像按照预设原则进行划分,获取待拍摄对象在不同拍摄角度下所对应的N张图像;针对所获取的N张图像进行边界特征点匹配,根据匹配结果利用射影定理计算得到每张图像的场景信息;按照拼接顺序,将场景信息与对应的图像进行结合,生成每张图像对应的三维点云;根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像。
其中,针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序时,处理器810还用于执行以下步骤:在N张图像中选择第一图像,通过边界特征点匹配确定与第一图像可拼接的第二图像;若未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像,直至确定N张图像的拼接顺序。
其中,根据依序生成的每张图像对应的三维点云构建立体模型,生成待拍摄对象的立体图像时,处理器810还用于执行以下步骤:对每张图像对应的三维点云进行品质分析;对经过品质分析后的三维点云进行计算,得到新扫描视点;根据新扫描视点进行扫描得到新三维点云,并根据新三维点云更新经过品质分析后的三维点云;根据更新后的三维点云依序进行模型重建,生成待拍摄对象的立体图像。
这样,通过在折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过第一摄像头模组和第二摄像头模组进行静态拍摄,获取待拍摄对象的全景图像,根据所获取的全景图像生成立体图像,可以通过一次性静态拍摄实现图像合成以及立体建模,简化了图像合成构造立体模型的拍摄过程,提供了立体拍摄的新模式。
应理解的是,本发明实施例中,射频单元801可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器810处理;另外,将上行的数据发送给基站。通常,射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元801还可以通过无线通信系统与网络和其他设备通信。
终端通过网络模块802为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元803还可以提供与终端800执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
终端800还包括至少一种传感器805,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度,接近传感器可在终端800移动到耳边时,关闭显示面板8061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。
用户输入单元807可用于接收输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器810,接收处理器810发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071,用户输入单元807还可以包括其他输入设备8072。具体地,其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板8071可覆盖在显示面板8061上,当触控面板8071检测到在其上或附近的触摸操作后,传送给处理器810以确定触摸事件的类型,随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中,触控面板8071与显示面板8061是作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将触控面板8071与显示面板8061集成而实现终端的输入和输出功能,具体此处不做限定。
接口单元808为外部装置与终端800连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到终端800内的一个或多个元件或者可以用于在终端800和外部装置之间传输数据。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器809可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器810是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器809内的软件程序和/或模块,以及调用存储在存储器809内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。处理器810可包括一个或多个处理单元;优选的,处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
终端800还可以包括给各个部件供电的电源811(比如电池),优选的,电源811可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,终端800包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种终端,包括处理器810,存储器809,存储在存储器809上并可在所述处理器810上运行的计算机程序,该计算机程序被处理器810执行时实现上述图像拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (14)
1.一种图像拍摄方法,应用于终端,其特征在于,所述终端包括折叠显示屏,所述折叠显示屏的第一区域所在的正面或背面设置有第一摄像头模组,所述折叠显示屏的第二区域所在的正面或背面设置有第二摄像头模组,所述方法包括:
在所述折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过所述第一摄像头模组和所述第二摄像头模组获取待拍摄对象的全景图像;
根据所述全景图像生成所述待拍摄对象的立体图像;
所述在所述折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过所述第一摄像头模组和所述第二摄像头模组获取待拍摄对象的全景图像的步骤,包括:
在所述终端处于拍摄模式时,根据所述第一区域和所述第二区域之间的折叠角度确定可拍摄的所述待拍摄对象的角度范围;
检测根据确定的可拍摄的所述待拍摄对象的角度范围是否可获得满足需求的所述待拍摄对象的立体图像;
若是,则确定所述折叠显示屏的折叠角度满足预设条件,通过所述第一摄像头模组和所述第二摄像头模组进行全景拍摄;
若否,则输出提示用户调节所述折叠显示屏的折叠角度的信息,在所述折叠显示屏的调节后的折叠角度满足预设条件时,输出停止调节指令,并通过所述第一摄像头模组和所述第二摄像头模组以所述调节后的折叠角度进行全景拍摄;
或者,
所述在所述折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过所述第一摄像头模组和所述第二摄像头模组获取待拍摄对象的全景图像的步骤,包括:
在所述终端处于拍摄模式时,检测所述第一区域和所述第二区域之间的折叠角度;
根据所述折叠角度,确定通过所述第一摄像头模组和所述第二摄像头模组可拍摄的所述待拍摄对象的角度范围,并输出表征可拍摄的所述待拍摄对象的角度范围的提示信息;
检测是否接收到用户响应于所述提示信息的确认信息;
根据所述确认信息的接收情况确定所述折叠角度是否满足预设条件,并在所述折叠角度满足预设条件的情况下获取所述待拍摄对象的预设区域内的全景图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述确认信息的接收情况确定所述折叠角度是否满足预设条件,并在所述折叠角度满足预设条件的情况下获取所述待拍摄对象的预设区域内的全景图像的步骤,包括:
若在预设时长内未接收到用户对所述折叠显示屏的旋转输入,则确定接收到所述确认信息,并确定所述折叠显示屏的折叠角度满足预设条件;
通过所述第一摄像头模组获取第一拍摄图像,并通过所述第二摄像头模组获取第二拍摄图像,根据所述第一拍摄图像和所述第二拍摄图像进行拼接处理,生成所述全景图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述确认信息的接收情况确定所述折叠角度是否满足预设条件,并在所述折叠角度满足预设条件的情况下获取所述待拍摄对象的预设区域内的全景图像的步骤,包括:
若在预设时长内接收到用户对所述折叠显示屏的旋转输入,则确定未接收到所述确认信息,并确定所述折叠显示屏的折叠角度不满足预设条件;
响应于用户的旋转输入,输出所述旋转输入所对应的可拍摄的所述待拍摄对象的角度范围信息;
在检测到所述旋转输入停止时,通过所述第一摄像头模组获取第一拍摄图像,并通过所述第二摄像头模组获取第二拍摄图像,根据所述第一拍摄图像和所述第二拍摄图像进行拼接处理,生成所述全景图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述全景图像生成所述待拍摄对象的立体图像的步骤,包括:
将所述全景图像按照预设原则进行划分,获取所述待拍摄对象在不同拍摄角度下所对应的N张图像;
针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序,并根据匹配结果利用射影定理计算得到每张图像的场景信息;
按照拼接顺序,将所述场景信息与对应的图像进行结合,生成每张图像对应的三维点云;
根据依序生成的每张图像对应的三维点云构建立体模型,生成所述待拍摄对象的立体图像。
5.根据权利要求4所述的方法,其特征在于,所述针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序的步骤,包括:
在N张图像中选择第一图像,通过边界特征点匹配确定与第一图像可拼接的第二图像;
若未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像,直至确定N张图像的拼接顺序。
6.根据权利要求4所述的方法,其特征在于,所述根据依序生成的每张图像对应的三维点云构建立体模型,生成所述待拍摄对象的立体图像的步骤,包括:
对每张图像对应的三维点云进行品质分析;
对经过品质分析后的三维点云进行计算,得到新扫描视点;
根据新扫描视点进行扫描得到新三维点云,并根据新三维点云更新经过品质分析后的三维点云;
根据更新后的三维点云依序进行模型重建,生成所述待拍摄对象的立体图像。
7.一种终端,其特征在于,所述终端包括折叠显示屏,所述折叠显示屏的第一区域所在的正面或背面设置有第一摄像头模组,所述折叠显示屏的第二区域所在的正面或背面设置有第二摄像头模组,所述终端还包括:
获取模块,用于在所述折叠显示屏的第一区域和第二区域之间的折叠角度满足预设条件时,通过所述第一摄像头模组和所述第二摄像头模组获取待拍摄对象的全景图像;
生成模块,用于根据所述全景图像生成所述待拍摄对象的立体图像;
所述获取模块包括:
第一确定子模块,用于在所述终端处于拍摄模式时,根据所述第一区域和所述第二区域之间的折叠角度确定可拍摄的所述待拍摄对象的角度范围;
第三检测子模块,用于检测根据确定的可拍摄的所述待拍摄对象的角度范围是否可获得满足需求的所述待拍摄对象的立体图像;
第三处理子模块,用于若所述第三检测子模块的检测结果为是,则确定所述折叠显示屏的折叠角度满足预设条件,通过所述第一摄像头模组和所述第二摄像头模组进行全景拍摄;
第四处理子模块,用于若所述第三检测子模块的检测结果为否,则输出提示用户调节所述折叠显示屏的折叠角度的信息,在所述折叠显示屏的调节后的折叠角度满足预设条件时,输出停止调节指令,并通过所述第一摄像头模组和所述第二摄像头模组以所述调节后的折叠角度进行全景拍摄;
或者,
所述获取模块包括:
第一检测子模块,用于在所述终端处于拍摄模式时,检测所述第一区域和所述第二区域之间的折叠角度;
第一处理子模块,用于根据所述折叠角度,确定通过所述第一摄像头模组和所述第二摄像头模组可拍摄的所述待拍摄对象的角度范围,并输出表征可拍摄的所述待拍摄对象的角度范围的提示信息;
第二检测子模块,用于检测是否接收到用户响应于所述提示信息的确认信息;
第二处理子模块,用于根据所述确认信息的接收情况确定所述折叠角度是否满足预设条件,并在所述折叠角度满足预设条件的情况下获取所述待拍摄对象的预设区域内的全景图像。
8.根据权利要求7所述的终端,其特征在于,所述第二处理子模块包括:
第一确定单元,用于若在预设时长内未接收到用户对所述折叠显示屏的旋转输入,则确定接收到所述确认信息,并确定所述折叠显示屏的折叠角度满足预设条件;
第一处理单元,用于通过所述第一摄像头模组获取第一拍摄图像,并通过所述第二摄像头模组获取第二拍摄图像,根据所述第一拍摄图像和所述第二拍摄图像进行拼接处理,生成所述全景图像。
9.根据权利要求7所述的终端,其特征在于,所述第二处理子模块包括:
第二确定单元,用于若在预设时长内接收到用户对所述折叠显示屏的旋转输入,则确定未接收到所述确认信息,并确定所述折叠显示屏的折叠角度不满足预设条件;
输出单元,用于响应于用户的旋转输入,输出所述旋转输入所对应的可拍摄的所述待拍摄对象的角度范围信息;
第二处理单元,用于在检测到所述旋转输入停止时,通过所述第一摄像头模组获取第一拍摄图像,并通过所述第二摄像头模组获取第二拍摄图像,根据所述第一拍摄图像和所述第二拍摄图像进行拼接处理,生成所述全景图像。
10.根据权利要求7所述的终端,其特征在于,所述生成模块包括:
获取子模块,用于将所述全景图像按照预设原则进行划分,获取所述待拍摄对象在不同拍摄角度下所对应的N张图像;
第二确定子模块,用于针对所获取的N张图像进行边界特征点匹配,根据匹配结果确定图像的拼接顺序,并根据匹配结果利用射影定理计算得到每张图像的场景信息;
第一生成子模块,用于按照拼接顺序,将所述场景信息与对应的图像进行结合,生成每张图像对应的三维点云;
第二生成子模块,用于根据依序生成的每张图像对应的三维点云构建立体模型,生成所述待拍摄对象的立体图像。
11.根据权利要求10所述的终端,其特征在于,所述第二确定子模块包括:
第三确定单元,用于在N张图像中选择第一图像,通过边界特征点匹配确定与第一图像可拼接的第二图像;
第四确定单元,用于若未完成N张图像的匹配,则根据第二图像继续进行边界特征点匹配,确定与第二图像拼接的第三图像,直至确定N张图像的拼接顺序。
12.根据权利要求10所述的终端,其特征在于,所述第二生成子模块包括:
分析单元,用于对每张图像对应的三维点云进行品质分析;
计算单元,用于对经过品质分析后的三维点云进行计算,得到新扫描视点;
更新单元,用于根据新扫描视点进行扫描得到新三维点云,并根据新三维点云更新经过品质分析后的三维点云;
生成单元,用于根据更新后的三维点云依序进行模型重建,生成所述待拍摄对象的立体图像。
13.一种终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像拍摄方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像拍摄方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811157808.5A CN109151442B (zh) | 2018-09-30 | 2018-09-30 | 一种图像拍摄方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811157808.5A CN109151442B (zh) | 2018-09-30 | 2018-09-30 | 一种图像拍摄方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109151442A CN109151442A (zh) | 2019-01-04 |
CN109151442B true CN109151442B (zh) | 2021-01-08 |
Family
ID=64814090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811157808.5A Active CN109151442B (zh) | 2018-09-30 | 2018-09-30 | 一种图像拍摄方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109151442B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109743486A (zh) * | 2019-01-25 | 2019-05-10 | 维沃移动通信(杭州)有限公司 | 一种移动终端及控制方法 |
CN110245246B (zh) * | 2019-04-30 | 2021-11-16 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
CN110207643B (zh) * | 2019-05-31 | 2021-02-19 | 闻泰通讯股份有限公司 | 折叠角度检测方法、装置、终端及存储介质 |
CN112135010A (zh) * | 2019-06-24 | 2020-12-25 | 中兴通讯股份有限公司 | 一种移动终端及其控制方法 |
CN110365904B (zh) * | 2019-07-25 | 2020-11-27 | 珠海格力电器股份有限公司 | 可折叠屏全景图片拍摄方法、装置、系统以及存储介质 |
CN110784575B (zh) * | 2019-11-29 | 2021-04-20 | 维沃移动通信(杭州)有限公司 | 一种电子设备和拍摄方法 |
CN111107269B (zh) * | 2019-12-31 | 2021-10-26 | 维沃移动通信有限公司 | 拍摄方法、电子设备及存储介质 |
CN113539073A (zh) * | 2020-04-17 | 2021-10-22 | 和鑫光电股份有限公司 | 智能便携式装置 |
CN111757003A (zh) * | 2020-07-01 | 2020-10-09 | Oppo广东移动通信有限公司 | 拍摄处理方法、装置、移动终端以及存储介质 |
CN118694908A (zh) * | 2023-03-21 | 2024-09-24 | Oppo广东移动通信有限公司 | 可折叠的电子设备的拍摄方法及可折叠的电子设备 |
CN118331676B (zh) * | 2024-06-12 | 2024-09-20 | 华域视觉科技(上海)有限公司 | 群体对象建模方法、车载显示方法、电子设备、存储介质及车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102131099A (zh) * | 2010-01-18 | 2011-07-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN104935829A (zh) * | 2015-06-02 | 2015-09-23 | 无锡天脉聚源传媒科技有限公司 | 一种图像处理方法及装置 |
CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
CN106572307A (zh) * | 2016-11-01 | 2017-04-19 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
CN107770513A (zh) * | 2017-11-07 | 2018-03-06 | 广东欧珀移动通信有限公司 | 图像采集方法及装置、终端 |
CN107948472A (zh) * | 2017-11-29 | 2018-04-20 | 北京星云环影科技有限责任公司 | 智能监控摄像头及安防系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201351959A (zh) * | 2012-06-13 | 2013-12-16 | Wistron Corp | 立體全景影像合成方法及其相關之立體攝影機 |
CN107682635A (zh) * | 2017-10-19 | 2018-02-09 | 广东欧珀移动通信有限公司 | 图像拍摄方法、装置、终端及存储介质 |
-
2018
- 2018-09-30 CN CN201811157808.5A patent/CN109151442B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102131099A (zh) * | 2010-01-18 | 2011-07-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN104935829A (zh) * | 2015-06-02 | 2015-09-23 | 无锡天脉聚源传媒科技有限公司 | 一种图像处理方法及装置 |
CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
CN106572307A (zh) * | 2016-11-01 | 2017-04-19 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
CN107770513A (zh) * | 2017-11-07 | 2018-03-06 | 广东欧珀移动通信有限公司 | 图像采集方法及装置、终端 |
CN107948472A (zh) * | 2017-11-29 | 2018-04-20 | 北京星云环影科技有限责任公司 | 智能监控摄像头及安防系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109151442A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151442B (zh) | 一种图像拍摄方法及终端 | |
EP3579192B1 (en) | Method, apparatus and device for determining camera posture information, and storage medium | |
CN110555883B (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
CN110059685B (zh) | 文字区域检测方法、装置及存储介质 | |
CN108989678B (zh) | 一种图像处理方法、移动终端 | |
US11398044B2 (en) | Method for face modeling and related products | |
CN107592466B (zh) | 一种拍照方法及移动终端 | |
CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
CN111325699B (zh) | 图像修复方法和图像修复模型的训练方法 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN107566749B (zh) | 拍摄方法及移动终端 | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
EP3748533A1 (en) | Method, apparatus, and storage medium for obtaining object information | |
CN107730460B (zh) | 一种图像处理方法及移动终端 | |
CN109241832B (zh) | 一种人脸活体检测的方法及终端设备 | |
CN111031234B (zh) | 一种图像处理方法及电子设备 | |
CN109544445B (zh) | 一种图像处理方法、装置及移动终端 | |
CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
CN110908517B (zh) | 图像编辑方法、装置、电子设备及介质 | |
CN110555815B (zh) | 一种图像处理方法和电子设备 | |
CN108305262A (zh) | 文件扫描方法、装置及设备 | |
CN107798662B (zh) | 一种图像处理方法及移动终端 | |
CN111586279A (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN111127541A (zh) | 车辆尺寸的确定方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |