CN113873177A - 多视角拍摄方法、装置、电子设备及存储介质 - Google Patents
多视角拍摄方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113873177A CN113873177A CN202010613639.2A CN202010613639A CN113873177A CN 113873177 A CN113873177 A CN 113873177A CN 202010613639 A CN202010613639 A CN 202010613639A CN 113873177 A CN113873177 A CN 113873177A
- Authority
- CN
- China
- Prior art keywords
- view
- camera
- picture
- constituent elements
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000000470 constituent Substances 0.000 claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种多视角拍摄方法、装置、电子设备及存储介质，该方法包括获取至少两个摄像头采集的视角画面；根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像。由于AI模型已经预先对海量图像的特征和优点进行了学习训练，也就是说该AI模型具备审美能力，能够对画面的组成元素进行实时分析，因而基于其组合各视角画面所得到的目标图像，富有美感和故事性，提高了摄影质量，同时避免了用户选择摄像头的繁琐，简化流程。
Description
技术领域
本申请一般涉及电子技术领域，具体涉及一种多视角拍摄方法、装置、电子设备及存储介质。
背景技术
随着终端技术的飞速发展，具备多摄像头的电子设备越来越多。实际使用的过程中，这些摄像头可以分别具有超广角、广角、长焦和微距等不同用途，多样的镜头为拍摄不同题材的照片提供了硬件条件。
然而，相关技术至少存在如下问题：将多个摄像头的画面生硬组合，缺乏美感和故事性；并且，由用户进行摄像头的选择，需要专业的背景知识，可操作性弱。
发明内容
鉴于相关技术中的上述缺陷或不足，期望提供一种多视角拍摄方法、装置、电子设备及存储介质，能够调用多个摄像头进行拍照，并自动组合视角画面，得到富有美感和故事性的图像，提高摄影质量，同时无需用户选择摄像头。
第一方面，本申请提供一种多视角拍摄方法，所述方法包括：
获取至少两个摄像头采集的视角画面；
根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像。
第二方面，本申请提供一种多视角拍摄装置，所述装置包括：
获取模块，配置用于获取至少两个摄像头采集的视角画面；
生成模块，配置用于根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像。
第三方面，本申请提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如第一方面所述的多视角拍摄方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如第一方面所述的多视角拍摄方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种多视角拍摄方法、装置、电子设备及存储介质，由于AI模型已经预先对海量图像的特征和优点进行了学习训练，也就是说该AI模型具备审美能力，能够对画面的组成元素进行实时分析，因而基于其组合各视角画面所得到的目标图像，富有美感和故事性，提高了摄影质量，同时避免了用户选择摄像头的繁琐，简化流程。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种多视角拍摄方法的基本流程示意图；
图2为本申请实施例提供的一种版式划分的示意图；
图3为本申请实施例提供的一种目标版式的场景示例；
图4为本申请实施例提供的另一种目标版式的场景示例；
图5为本申请实施例提供的一种多视角拍摄方法的示例；
图6为本申请实施例提供的一种近景版式的示意图；
图7为本申请实施例提供的一种远景版式的示意图；
图8为本申请实施例提供的另一种远景版式的示意图；
图9为本申请实施例提供的一种多视角拍摄装置的结构示意图；
图10为本申请实施例提供的另一种多视角拍摄装置的结构示意图；
图11为本申请实施例提供的又一种多视角拍摄装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
为了便于理解和说明，下面通过图1至图12详细的阐述本申请实施例提供的多视角拍摄方法、装置、电子设备及存储介质。
请参考图1，其为本申请实施例提供的一种多视角拍摄方法的基本流程示意图。该方法包括以下步骤：
S101，获取至少两个摄像头采集的视角画面。
比如，当至少两个摄像头包括第一摄像头和第二摄像头时，本申请实施例获取第一摄像头采集的第一视角画面和第二摄像头采集的第二视角画面，该第二视角画面对应的拍摄模式与第一视角画面对应的拍摄模式不同。
需要说明的是，摄像头可以包括但不限于主摄像头和副摄像头。其中，主摄像头和副摄像头的视角不同，比如主摄像头为广角摄像头，其对应的拍摄模式为广角模式，即广角摄像头的视角画面中包含的组成元素多样，例如近处的人物和远处的山峰等；再如副摄像头为微距摄像头，其对应的拍摄模式为微距模式，即相对于广角摄像头的视角画面而言，微距摄像头的视角画面中所包含的组成元素较少，例如只有近处的人物等。另外，至少两个摄像头采集的视角画面可以为相同视角，比如两个摄像头都为广角摄像头，也可以为不同视角，比如一个摄像头为广角摄像头，另一个摄像头为微距摄像头，本申请实施例对此不进行限定。
实际使用时，主摄像头负责主要成像，而各副摄像头用于辅助成像。比如，超广角副摄像头在拍摄时能带来更广的视野，配合简单的构图就能在拍摄风景和人像时达到非常好的效果；长焦副摄像头通过更大的固定焦段，来实现拍摄更远物体的目的；微距副摄像头通过更小的预设焦距来达到拍摄细小物体的功能。本申请实施例通过调用多个摄像头采集不同视角画面，获得拍摄对象的细节更多，成像更加清晰和细腻。
在一些可选的实施例中，获取至少两个摄像头采集的视角画面之前，本申请实施例响应用户的操作指令，以第一摄像头在成像显示区域中显示的拍摄对象为基准，自动调节除第一摄像头之外的至少一个第二摄像头对该拍摄对象对焦拍摄，可选地，可以自动调节至少一个第二摄像头的光轴汇聚于该拍摄对象的一点，以使至少一个第二摄像头的焦点对准该拍摄对象；其中，第一摄像头为用户指定的摄像头。其中，用户的操作指令可以包括但不限于手动操作或者语音操作中的至少一种。比如，用户通过点击界面上的AI多视按钮进行手动操作；或者，用户对着电子设备上的麦克风说出“请开启AI多视”进行语音操作。这样设置的好处在于，本申请实施例不仅能够得到用户自主拍摄的视角画面，即通过第一摄像头所采集的画面，还能够同时得到AI多视拍摄的视角画面，即除第一摄像头之外的至少一个第二摄像头所采集的画面，由此充分发挥各个摄像头的功能，使得图像更加富有美感和故事性。
需要说明的是，AI多视拍摄是指AI模型根据预先对海量图像的特征和优点进行学习的结果，能够自动调用除第一摄像头之外的至少一个第二摄像头进行视角画面的采集，并自主分析各视角画面的组成元素，以将具有艺术审美价值的视角画面进行合成，这个过程对于用户而言是隐形的，即无需用户选择摄像头。另外，用户可以自主选择保留该AI多视拍摄的视角画面，也可以将其删除，从而满足了多样化的拍摄需求，提升体验感。
S102，根据预先训练的AI模型，分析各视角画面的组成元素，并基于各视角画面的组成元素生成目标图像。
需要说明的是，视角画面的组成元素比如为人物、马路、汽车、花草或者山水等。目标图像可以包括但不限于静态图像和动态图像。其中，静态图像是指不随时间而发生状态变化的图像，比如表现为图像中物体都是静止的；而动态图像是指随时间而发生状态变化的图像，比如表现为图像中存在运动的物体。
具体的，本申请实施例中AI(Artificial Intelligence，人工智能)模型的训练过程为：首先，获取样本图像集合，该样本图像集合包括至少两张样本图像及与样本图像关联的标签，其中标签包括样本图像的构图方式和光影色彩搭配方式中的至少一种；进而，分别提取各样本图像的组成元素，并建立该样本图像的组成元素与标签的映射关系。由于AI模型已经预先对海量图像的特征和优点进行了学习训练，也就是说该AI模型具备审美能力，能够对画面的组成元素进行实时分析，从而生成富有美感和故事性的图像。在实际使用AI模型的过程中，根据学习到的构图方式和/或光影色彩搭配方式，对各视角画面的组成元素进行筛选。因而，后续合成各视角画面所得到的目标图像，富有美感和故事性，提高了摄影质量。
可选地，本申请实施例中AI模型可以包括但不限于神经网络模型，该神经网络模型可以包括但不限于卷积神经网络模型(Convolutional Neural Networks，CNN)或者循环神经网络模型(Recurrent Neural Network，RNN)中的任意一种。
可选地，本申请实施例根据AI模型中构图方式和/或光影色彩搭配方式，对经过组成元素筛选的各视角画面进行合成处理，得到目标图像。其中，合成处理的操作可以包括但不限于变焦、裁剪、背景虚化、调整画面参数或者添加素材中的任意一种或多种，这样得到的目标图像更加具有艺术性、趣味性和故事性。
需要说明的是，画面参数可以包括但不限于颜色、亮度、对比度和分辨率，本申请实施例通过调整该画面参数能够提高目标图像的画质，使得成像更加清晰和细腻。而素材可以包括但不限于标识符、文本框和图案，比如标识符为箭头、椭圆或者矩形框，图案为表情包，本申请实施例通过添加素材，可以满足用户多样化的使用需求，同时增强目标图像的趣味性。
在本申请一些可选的实施例中，至少两个摄像头的拍摄模式组合中各个摄像头与版式的显示区域之间有映射关系。示例性地，版式包括第一显示区域201和第二显示区域202，该第二显示区域202叠置于第一显示区域201的上方，且第二显示区域202的面积小于第一显示区域201的面积。其中，该第一显示区域201和第二显示区域202可以根据摄像头的数量进一步地划分。例如，假设摄像头的数量为5个，那么各个摄像头对应的编号分别为①、②、③、④和⑤。比如图2所示，可以将第一显示区域201划分为两个子显示区域，分别填充①号摄像头采集的视角画面和②号摄像头采集的视角画面，而将第二显示区域划分为三个子显示区域，分别填充③号摄像头采集的视角画面、④号摄像头采集的视角画面和⑤号摄像头采集的视角画面。需要说明的是，各个子显示区域中填充的视角画面可以根据需要进行设置，本申请实施例对此不进行限定。比如，第一显示区域201的两个子显示区域也可以分别填充①号摄像头采集的视角画面和③号摄像头采集的视角画面，而第二显示区域202的三个子显示区域分别填充②号摄像头采集的视角画面、④号摄像头采集的视角画面和⑤号摄像头采集的视角画面。由此避免了设置过多的版式，节省电子设备的内存，同时方便调用。
示例性地，当至少两个摄像头采集的视角画面包括第一摄像头采集的第一视角画面和第二摄像头采集的第二视角画面，该第二视角画面对应的拍摄模式与第一视角画面对应的拍摄模式不同时，本申请实施例根据AI模型，检测该第一视角画面的组成元素和第二视角画面的组成元素是否匹配；若第一视角画面的组成元素和第二视角画面的组成元素匹配，则保留第二视角画面。需要说明的是，匹配是指第一视角画面的组成元素和第二视角画面的组成元素之间有关联，将这两个组成元素进行搭配能够增强后续所生成目标图像的美感和故事性。例如，第一视角画面的组成元素和第二视角画面的组成元素在外形上具有关联，比如第一视角画面的组成元素包括摩天大楼，第二视角画面的组成元素包括路灯，这两个组成元素的外形都是竖直的，因而二者可以通过垂直构图的方式进行搭配。再例如，第一视角画面的组成元素和第二视角画面的组成元素在明暗变化上具有关联，比如第一视角画面的组成元素包括夕阳，第二视角画面的组成元素包括带有影子的树木，因而这两个组成元素可以通过光影色彩变化的方式进行搭配。可选地，在一些实施例中，可以根据AI模型中预设的构图方式和/或光影色彩搭配方式，对该第一视角画面的组成元素和第二视角画面的组成元素进行匹配检测。
进一步地，本申请实施例根据第一摄像头和第二摄像头的拍摄模式组合，调用与拍摄模式组合匹配的目标版式，并在该目标版式的第一目标显示区域填充第一视角画面，在目标版式的第二目标显示区域填充第二视角画面，生成目标图像。
可选地，在一些实施例中，当第二视角画面的放大率大于第一视角画面的放大率时，该目标版式的第二目标显示区域叠置于第一目标显示区域的上方，且第二目标显示区域的面积小于第一目标显示区域的面积。比如图3所示，第一视角画面包括公园小路，第二视角画面包括落叶。此时，将放大率较大的第二视角画面置于上层的小显示框，即第二目标显示区域，而将放大率较小的第一视角画面置于底层的大显示框，即第一目标显示区域，由此生成的目标图像更有意境美。
可选地，在一些实施例中，当第二视角画面的放大率大于第一视角画面的放大率时，该目标版式的第二目标显示区域设置于第一目标显示区域的下方，且第二目标显示区域的面积大于第一目标显示区域的面积。比如图4所示，第一视角画面包括自行车，第二视角画面包括自行车铃铛。此时，将放大率较大的第二视角画面置于底层的大显示框，即第二目标显示区域，而将放大率较小的第一视角画面置于上层的小显示框，即第一目标显示区域，由此生成的目标图像富有趣味性。
为便于更好地理解本申请实施例的多视角拍摄方法，下面结合实际的应用场景进行详细说明。在一些可选的实施例中，假设至少两个摄像头包括第一摄像头和第二摄像头。示例性地，该第一摄像头可以为主摄像头，第二摄像头可以为除第一摄像头之外的其它摄像头，比如第二摄像头为副摄像头。可以理解地是，在具体示例中，该第二摄像头可以是一个副摄像头，也可以是多个副摄像头。
实际使用时，如图5所示，其为本申请实施例提供的一种多视角拍摄方法的示例，此时是在拍照模式界面上设置AI多视按钮。当用户按下快门，电子设备能够自动调用除主摄像头之外的其它副摄像头进行同步拍摄，并将多个摄像头的视角画面呈现在一张图像中，即为目标图像。例如，当第一摄像头的拍摄模式为广角模式，第二摄像头的拍摄模式为微距模式，即第一摄像头是广角主摄像头、第二摄像头是微距副摄像头时，该拍摄模式组合匹配的版式为近景版式。示例性地，如图6所示，近景版式包括两个显示区域，即第一显示区域201和第二显示区域202，其未对显示区域进行子显示区域的划分。该第二显示区域202叠置于第一显示区域201的上方，且第二显示区域202的面积小于第一显示区域201的面积。由于微距副摄像头采集的第二视角画面的放大率大于广角主摄像头采集的第一视角画面的放大率，因而将第一视角画面填充于近景版式的第一显示区域201，第二视角画面填充于近景版式的第二显示区域202，更加富有美感和故事性。可以理解地是，广角主摄像头采集的第一视角画面也可以填充于近景版式的第二显示区域202，而微距副摄像头采集的第二视角画面也可以填充于近景版式的第一显示区域201，本申请实施例对此不进行限定。
再如，与广角主摄像头、超广角副摄像头和长焦副摄像头的拍摄模式组合匹配的版式对应远景版式。示例性地，如图7所示，远景版式包括三个显示区域，即第一显示区域201、第二子显示区域2021和第三子显示区域2022，其中第二子显示区域2021和第三子显示区域2022是对第二显示区域202进行划分得到的。该第二子显示区域2021、第三子显示区域2022分别叠置于第一显示区域201的上方，且第二子显示区域2021的面积、第三子显示区域2022的面积均小于第一显示区域201的面积。可以理解地是，该第二子显示区域2021和第三子显示区域2022可以图7所示方式横向设置，也可以图8所示方式纵向设置。比如，远景版式的第一显示区域201填充广角主摄像头采集的视角画面，该远景版式的第二子显示区域2021填充超广角副摄像头采集的视角画面，以及该远景版式的第三子显示区域2022填充长焦副摄像头采集的视角画面。
需要说明的是，本申请实施例图6～图8所示的版式中，第二显示区域202、第二子显示区域2021和第三子显示区域2022的边框形状可以包括但不限于矩形、圆形或者多边形等。示例性地，圆形可以包括但不限于正圆形或者椭圆等，多边形可以包括但不限于五角星或者正六边形等。比如，第二子显示区域2021和第三子显示区域2022的边框形状均为矩形；或者，第二子显示区域2021的边框形状为矩形，而第三子显示区域2022的边框形状为圆形。这样设置的好处在于，能够适用各式各样的拍摄场景，使用更加灵活多变，由此所得图像的美感和故事性进一步提升。
本申请实施例提供了一种多视角拍摄方法，通过获取至少两个摄像头采集的视角画面，进而根据预先训练的AI模型，分析各视角画面的组成元素，并基于各视角画面的组成元素生成目标图像。由于AI模型已经预先对海量图像的特征和优点进行了学习训练，也就是说该AI模型具备审美能力，能够对画面的组成元素进行实时分析，因而基于其组合各视角画面所得到的目标图像，富有美感和故事性，提高了摄影质量，同时避免了用户选择摄像头的繁琐，简化流程。
基于前述实施例，请参考图9，其为本申请实施例提供的一种多视角拍摄装置的结构示意图，该装置可以应用于图1～8对应的实施例提供的多视角拍摄方法中。如图9所示，该多视角拍摄装置900包括：
获取模块901，配置用于获取至少两个摄像头采集的视角画面；
生成模块902，配置用于根据预先训练的AI模型，分析各视角画面的组成元素，并基于各视角画面的组成元素生成目标图像。
可选地，AI模型通过如下步骤训练而成：
获取样本图像集合，样本图像集合包括至少两张样本图像及与样本图像关联的标签，标签包括样本图像的构图方式和光影色彩搭配方式中的至少一种；
分别提取各样本图像的组成元素，并建立样本图像的组成元素与标签的映射关系。
可选地，AI模型包括神经网络模型，该神经网络模型包括卷积神经网络模型或者循环神经网络模型中的任意一种。
可选地，如图10所示，该多视角拍摄装置900中生成模块902包括：
筛选单元9021，配置用于根据AI模型中构图方式和/或光影色彩搭配方式，筛选各视角画面的组成元素；
合成单元9022，配置用于对经过组成元素筛选的视角画面进行合成处理，得到目标图像。
可选地，合成处理的操作包括变焦、裁剪、背景虚化、调整画面参数或者添加素材中的任意一种或多种。
可选地，当至少两个摄像头包括第一摄像头和第二摄像头时，如图11所示，该多视角拍摄装置900还包括调节模块903，其配置用于响应用户的操作指令，以第一摄像头在成像显示区域中显示的拍摄对象为基准，自动调节除第一摄像头之外的至少一个第二摄像头对该拍摄对象对焦拍摄，其中第一摄像头为用户指定的摄像头。
可选地，该多视角拍摄装置900中生成模块902还配置用于当至少两个摄像头采集的视角画面包括第一摄像头采集的第一视角画面和第二摄像头采集的第二视角画面，该第二视角画面对应的拍摄模式与第一视角画面对应的拍摄模式不同时，根据AI模型，检测该第一视角画面的组成元素和第二视角画面的组成元素是否匹配；
若第一视角画面的组成元素和第二视角画面的组成元素匹配，则保留第二视角画面。
可选地，该多视角拍摄装置900中生成模块902还配置用于根据第一摄像头和第二摄像头的拍摄模式组合，调用与拍摄模式组合匹配的目标版式；
在目标版式的第一目标显示区域填充第一视角画面，在目标版式的第二目标显示区域填充第二视角画面，生成目标图像。
可选地，当第二视角画面的放大率大于第一视角画面的放大率时，目标版式的第二目标显示区域叠置于第一目标显示区域的上方，且第二目标显示区域的面积小于第一目标显示区域的面积；
或者，目标版式的第二目标显示区域设置于第一目标显示区域的下方，且第二目标显示区域的面积大于第一目标显示区域的面积。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供了一种多视角拍摄装置，获取模块配置用于获取至少两个摄像头采集的视角画面，进而，生成模块配置用于根据预先训练的AI模型，分析各视角画面的组成元素，并基于各视角画面的组成元素生成目标图像。由于AI模型已经预先对海量图像的特征和优点进行了学习训练，也就是说该AI型具备审美能力，能够对画面的组成元素进行实时分析，因而基于其组合各视角画面所得到的目标图像，富有美感和故事性，提高了摄影质量，同时避免了用户选择摄像头的繁琐，简化流程。
基于前述实施例，请参考图12，其为本申请实施例提供的一种电子设备的结构框图。该电子设备100包括处理器1001和存储器1002，其中处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用数字信号处理(DigitalSignal Processing，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。
处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称为中央处理器(Central Processing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
另外，处理器1001可以集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于对显示屏所需要显示的内容进行渲染和绘制。在一些实施例中，处理器1001还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个程序，该至少一个程序用于被处理器1001所执行，以实现本申请方法实施例中提供的多视角拍摄方法。
在一些实施例中，电子设备100还可以包括外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。
具体地，外围设备包括但不限于射频电路1004、触摸显示屏1005和电源1006。外围设备接口1003可以被用于将输入/输出(Input/Output，I/O)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不进行限定。
射频电路1004用于接收和发射射频(Radio Frequency，RF)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等。射频电路1004可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(Wireless Fidelity，WiFi)网络。在一些实施例中，射频电路1004还可以包括近距离无线通信(Near Field Communication，NFC)有关的电路。
显示屏1005用于显示用户界面(User Interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置在电子设备100的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在电子设备100的不同表面或呈折叠设计；在又一些实施例中，显示屏1005可以是柔性显示屏，设置在电子设备100的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等材质制备。
本领域技术人员可以理解，图12中示出的结构并不构成对电子设备100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
需要说明的是，本申请实施例中所涉及的电子设备100可以包括但不限于个人数字助理(Personal Digital Assistant，PDA)、平板电脑(Tablet Computer)、无线手持设备和手机等。
作为另一方面，本申请实施例提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例多视角拍摄方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。而集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例多视角拍摄方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种多视角拍摄方法，其特征在于，所述方法包括：
获取至少两个摄像头采集的视角画面；
根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像。
2.根据权利要求1所述的多视角拍摄方法，其特征在于，所述AI模型通过如下步骤训练而成：
获取样本图像集合，所述样本图像集合包括至少两张样本图像及与所述样本图像关联的标签，所述标签包括所述样本图像的构图方式和光影色彩搭配方式中的至少一种；
分别提取各所述样本图像的组成元素，并建立所述样本图像的组成元素与所述标签的映射关系。
3.根据权利要求1至2中任意一项所述的多视角拍摄方法，其特征在于，所述AI模型包括神经网络模型，所述神经网络模型包括卷积神经网络模型或者循环神经网络模型中的任意一种。
4.根据权利要求1所述的多视角拍摄方法，其特征在于，所述根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像，包括：
根据所述AI模型中构图方式和/或光影色彩搭配方式，筛选各所述视角画面的组成元素；
对经过组成元素筛选的各所述视角画面进行合成处理，得到所述目标图像。
5.根据权利要求4所述的多视角拍摄方法，其特征在于，所述合成处理的操作包括变焦、裁剪、背景虚化、调整画面参数或者添加素材中的任意一种或多种。
6.根据权利要求1所述的多视角拍摄方法，其特征在于，所述至少两个摄像头包括第一摄像头和第二摄像头，所述获取至少两个摄像头采集的视角画面之前，所述方法还包括：
响应用户的操作指令，以第一摄像头在成像显示区域中显示的拍摄对象为基准，自动调节除所述第一摄像头之外的至少一个所述第二摄像头对所述拍摄对象对焦拍摄，其中所述第一摄像头为用户指定的摄像头。
7.根据权利要求6所述的多视角拍摄方法，其特征在于，当所述至少两个摄像头采集的视角画面包括所述第一摄像头采集的第一视角画面和所述第二摄像头采集的第二视角画面，所述第二视角画面对应的拍摄模式与所述第一视角画面对应的拍摄模式不同时，所述根据预先训练的AI模型，分析各所述视角画面的组成元素，包括：
根据所述AI模型，检测所述第一视角画面的组成元素和所述第二视角画面的组成元素是否匹配；
若所述第一视角画面的组成元素和所述第二视角画面的组成元素匹配，则保留所述第二视角画面。
8.根据权利要求7所述的多视角拍摄方法，其特征在于，所述基于各所述视角画面的组成元素生成目标图像，包括：
根据所述第一摄像头和所述第二摄像头的拍摄模式组合，调用与所述拍摄模式组合匹配的目标版式；
在所述目标版式的第一目标显示区域填充所述第一视角画面，在所述目标版式的第二目标显示区域填充所述第二视角画面，生成所述目标图像。
9.根据权利要求8所述的多视角拍摄方法，其特征在于，当所述第二视角画面的放大率大于所述第一视角画面的放大率时，所述目标版式的第二目标显示区域叠置于所述第一目标显示区域的上方，且所述第二目标显示区域的面积小于所述第一目标显示区域的面积；
或者，当所述第二视角画面的放大率大于所述第一视角画面的放大率时，所述目标版式的第二目标显示区域设置于所述第一目标显示区域的下方，且所述第二目标显示区域的面积大于所述第一目标显示区域的面积。
10.一种多视角拍摄装置，其特征在于，所述装置包括：
获取模块，配置用于获取至少两个摄像头采集的视角画面；
生成模块，配置用于根据预先训练的AI模型，分析各所述视角画面的组成元素，并基于各所述视角画面的组成元素生成目标图像。
11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至9中任意一项所述的多视角拍摄方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至9中任意一项所述的多视角拍摄方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010613639.2A CN113873177A (zh) | 2020-06-30 | 2020-06-30 | 多视角拍摄方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010613639.2A CN113873177A (zh) | 2020-06-30 | 2020-06-30 | 多视角拍摄方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113873177A true CN113873177A (zh) | 2021-12-31 |
Family
ID=78981298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010613639.2A Pending CN113873177A (zh) | 2020-06-30 | 2020-06-30 | 多视角拍摄方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113873177A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359312A (zh) * | 2022-03-17 | 2022-04-15 | 荣耀终端有限公司 | 图像处理方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004215124A (ja) * | 2003-01-08 | 2004-07-29 | Hitachi Ltd | カメラ一体型レコーダ |
| WO2010131724A1 (ja) * | 2009-05-12 | 2010-11-18 | オリンパス株式会社 | デジタルカメラ |
| CN104038672A (zh) * | 2013-03-07 | 2014-09-10 | 联想(北京)有限公司 | 图像形成方法和电子设备 |
| CN106576143A (zh) * | 2014-07-25 | 2017-04-19 | 三星电子株式会社 | 图像拍摄装置和图像拍摄方法 |
| CN107566529A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法、移动终端及云端服务器 |
| CN108737739A (zh) * | 2018-06-15 | 2018-11-02 | Oppo广东移动通信有限公司 | 一种预览画面采集方法、预览画面采集装置及电子设备 |
| US20190122378A1 (en) * | 2017-04-17 | 2019-04-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications |
| CN109729266A (zh) * | 2018-12-25 | 2019-05-07 | 努比亚技术有限公司 | 一种图像拍摄方法、终端及计算机可读存储介质 |
| US20190228263A1 (en) * | 2018-01-19 | 2019-07-25 | Seiko Epson Corporation | Training assistance using synthetic images |
| CN110072070A (zh) * | 2019-03-18 | 2019-07-30 | 华为技术有限公司 | 一种多路录像方法及设备 |
| CN110476405A (zh) * | 2017-12-01 | 2019-11-19 | 三星电子株式会社 | 用于提供与拍摄有关的推荐信息的方法和系统 |
| JP2019207601A (ja) * | 2018-05-30 | 2019-12-05 | 沖電気工業株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN110913120A (zh) * | 2018-09-17 | 2020-03-24 | 北京小米移动软件有限公司 | 图像拍摄方法及装置、电子设备、存储介质 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
-
2020
- 2020-06-30 CN CN202010613639.2A patent/CN113873177A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004215124A (ja) * | 2003-01-08 | 2004-07-29 | Hitachi Ltd | カメラ一体型レコーダ |
| WO2010131724A1 (ja) * | 2009-05-12 | 2010-11-18 | オリンパス株式会社 | デジタルカメラ |
| CN104038672A (zh) * | 2013-03-07 | 2014-09-10 | 联想(北京)有限公司 | 图像形成方法和电子设备 |
| CN106576143A (zh) * | 2014-07-25 | 2017-04-19 | 三星电子株式会社 | 图像拍摄装置和图像拍摄方法 |
| US20190122378A1 (en) * | 2017-04-17 | 2019-04-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications |
| CN107566529A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法、移动终端及云端服务器 |
| CN110476405A (zh) * | 2017-12-01 | 2019-11-19 | 三星电子株式会社 | 用于提供与拍摄有关的推荐信息的方法和系统 |
| US20190228263A1 (en) * | 2018-01-19 | 2019-07-25 | Seiko Epson Corporation | Training assistance using synthetic images |
| JP2019207601A (ja) * | 2018-05-30 | 2019-12-05 | 沖電気工業株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN108737739A (zh) * | 2018-06-15 | 2018-11-02 | Oppo广东移动通信有限公司 | 一种预览画面采集方法、预览画面采集装置及电子设备 |
| CN110913120A (zh) * | 2018-09-17 | 2020-03-24 | 北京小米移动软件有限公司 | 图像拍摄方法及装置、电子设备、存储介质 |
| CN109729266A (zh) * | 2018-12-25 | 2019-05-07 | 努比亚技术有限公司 | 一种图像拍摄方法、终端及计算机可读存储介质 |
| CN110072070A (zh) * | 2019-03-18 | 2019-07-30 | 华为技术有限公司 | 一种多路录像方法及设备 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 江芸;周冰;: "智能手机摄像技法简谈(进阶篇)", 中国科技教育, no. 08, 15 August 2016 (2016-08-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359312A (zh) * | 2022-03-17 | 2022-04-15 | 荣耀终端有限公司 | 图像处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113556461B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| CN110139033B (zh) | 拍照控制方法及相关产品 | |
| CN112492212B (zh) | 拍照方法、装置、电子设备及存储介质 | |
| CN113747048B (zh) | 一种图像内容的去除方法及相关装置 | |
| CN113194242B (zh) | 一种长焦场景下的拍摄方法及移动终端 | |
| US11030733B2 (en) | Method, electronic device and storage medium for processing image | |
| CN106233329A (zh) | 3d拉东图像的产生和使用 | |
| CN112262563A (zh) | 图像处理方法及电子设备 | |
| CN110324532A (zh) | 一种图像虚化方法、装置、存储介质及电子设备 | |
| CN112532881B (zh) | 图像处理方法、装置和电子设备 | |
| CN113630545A (zh) | 一种拍摄方法及设备 | |
| WO2021180046A1 (zh) | 图像留色方法及设备 | |
| CN110288534A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN113850726A (zh) | 图像变换方法和装置 | |
| JP2022103020A (ja) | 写真撮影の方法及び装置、端末、記憶媒体 | |
| CN112333386A (zh) | 拍摄方法、装置和电子设备 | |
| CN110266955B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN113194256B (zh) | 拍摄方法、装置、电子设备和存储介质 | |
| CN114415907A (zh) | 媒体资源显示方法、装置、设备及存储介质 | |
| CN113873177A (zh) | 多视角拍摄方法、装置、电子设备及存储介质 | |
| CN115268735A (zh) | 显示方法及其设备 | |
| CN113497880A (zh) | 一种拍摄图像的方法及电子设备 | |
| CN114089931B (zh) | 图片打印方法、电子设备及计算机可读存储介质 | |
| CN114697530A (zh) | 一种智能取景推荐的拍照方法及装置 | |
| CN117177052B (zh) | 图像获取方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |