CN112529778B - 多摄像头设备的图像拼接方法及装置、存储介质、终端 - Google Patents
多摄像头设备的图像拼接方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN112529778B CN112529778B CN202011334071.7A CN202011334071A CN112529778B CN 112529778 B CN112529778 B CN 112529778B CN 202011334071 A CN202011334071 A CN 202011334071A CN 112529778 B CN112529778 B CN 112529778B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- point
- clipping
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种多摄像头设备的图像拼接方法及装置、存储介质、终端，所述多摄像头设备的图像拼接方法包括：至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；获取所述多摄像头设备的图像显示区域的区域分割信息；根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像；将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。上述方案，能够实现同时显示不同视场角图像，提高用户体验。
Description
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种多摄像头设备的图像拼接方法及装置、存储介质、终端。
背景技术
随着电子技术的不断发展，智能手机已成为人们生活中不可获缺的电子产品之一。毋庸置疑，相机在手机平台中占据着举足轻重的位置，是用户选购手机的重要考量标准之一。
现有技术中，当用户需要查看同一场景的不同视角时，通常需要来回切换两个镜头，造成用户的体验较差。
发明内容
本发明实施例的目的是在同一个画面中能够同时看到不同视场角图像。
为解决上述技术问题，本发明实施例提供一种多摄像头设备的图像拼接方法，包括：至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；获取所述多摄像头设备的图像显示区域的区域分割信息；根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像；将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
可选的，所述获取所述多摄像头设备的图像显示区域的区域分割信息，包括：获取所述图像显示区域的分割线的位置信息，所述区域分割信息包括所述分割线的位置信息。
可选的，所述多摄像头设备的图像拼接方法还包括：响应于用户的拖动操作，所述分割线的位置随所述用户的拖动操作在所述图像显示区域内移动。可选的，所述分割线的位置信息指示所述分割线的位置介于[0，W]或者[0，H]，其中，所述多摄像头设备的屏幕分辨率为W*H，W为所述多摄像头设备的屏幕分辨率宽，H为所述多摄像头设备的屏幕分辨率高，且W和H均为正整数。
可选的，所述多摄像头设备的图像拼接方法还包括：当所述分割线的位置信息对应的取值为奇数时，则执行取偶操作；根据取偶结果确定所述分割线的位置信息。
可选的，根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像，包括：根据所述区域分割信息、所述目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息；根据所述区域分割信息、所述目标拼接图像的尺度以及所述第二图像的尺度，确定所述第二图像的第二裁剪量及所述第二图像的第二有效区域的尺度信息；根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像；根据所述第二裁剪量及所述第二有效区域的尺度信息，对所述第二图像进行裁剪，得到所述裁剪后的第二图像。
可选的，所述根据所述区域分割信息、所述目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息，包括：当分割线在所述图像显示区域的宽度方向上对所述图像显示区域画面分割时，根据所述区域分割信息，确定所述第一图像的有效宽度，根据所述第一图像的实际宽度以及所述第一图像的有效宽度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度及有效高度，所述第一图像的有效高度与所述第一图像的实际高度相同；或者，当所述分割线在所述图像显示区域的高度方向上对所述图像显示区域进行画面分割时，根据所述区域分割信息，确定所述第一图像的有效高度，根据所述第一图像的实际高度以及所述第一图像的有效高度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度和所述有效高度，所述第一图像的有效宽度与所述第一图像的实际宽度相同。
可选的，所述根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像，包括：获取所述第一图像的图像格式类型；根据所述第一裁剪量确定裁剪起始点，根据所述第一裁剪量及所述第一有效区域的尺度信息确定裁剪终止点；根据所述裁剪起始点、所述裁剪终止点以及所述第一图像的图像格式类型，从所述第一图像的YUV图像数据中获取对应的亮度数据以及色度数据，基于所获取的亮度数据以及色度数据得到所述裁剪后的第一图像。
可选的，所述第一摄像头为长焦镜头，所述第二摄像头为广角镜头或超广角镜头。
可选的，所述图像显示区域包括第一显示区域及第二显示区域，其中，所述第一显示区域显示的图像对应于所述裁剪后的第一图像，所述第二显示区域显示的图像对应于所述裁剪后的第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，包括：所述第一图像由所述多摄像头设备的第一摄像头根据裁剪区域信息上报，其中，所述裁剪区域信息采用如下方式得到：当检测到对所述第一显示区域执行放大操作时，获取目标放大点的坐标，以及放大后对应的裁剪区域的裁剪宽度和裁剪高度；将所述目标放大点作为所述裁剪区域的中心点，根据所述目标放大点的坐标、所述裁剪宽度和裁剪高度，得到所述裁剪区域信息。
可选的，所述将所述目标放大点作为所述裁剪区域的中心点，包括：将所述第一摄像头的最小显示倍率对应的输出平面作为画布；根据所述裁剪宽度确定在所述画布的画布宽度方向上的第一宽度阈值及第二宽度阈值，其中，所述第一宽度阈值小于所述第二宽度阈值；根据所述裁剪高度确定在所述画布的画布高度方向上的第一高度阈值以及第二高度阈值，其中，所述第一高度阈值小于所述第二高度阈值；当所述目标放大点的坐标超出所述画布的设定区域时，则对所述目标放大点的坐标进行修正，并将坐标修正后的目标放大点作为所述裁剪区域的中心点，所述画布的设定区域由所述第一宽度阈值、所述第二宽度阈值、所述第一高度阈值以及所述第二高度阈值围成。
可选的，所述目标放大点的坐标包括宽度方向坐标和高度方向坐标，所述当所述目标放大点的坐标超出所述画布的设定范围时，对所述目标放大点的坐标进行修正，包括以下至少一种：当所述宽度方向坐标小于所述第一宽度阈值时，将所述宽度方向坐标修正为所述第一宽度阈值；当所述宽度方向坐标大于所述第二宽度阈值时，将所述宽度方向坐标修正为所述第二宽度阈值；当所述高度方向坐标小于所述第一高度阈值时，将所述高度方向坐标修正为所述第一高度阈值；当所述高度方向坐标大于所述第二高度阈值时，将所述高度方向坐标修正为所述第二高度阈值。
可选的，所述当检测到对所述第一显示区域执行放大操作时，获取目标放大点的坐标，包括：当检测到对所述第一显示区域执行放大操作时，获取所述目标放大点在所述图像显示区域上的位置；根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，将所述目标放大点在所述图像显示区域上的位置，转换成在所述画布上的位置，并将所述目标放大点在画布上的位置对应的坐标作为所述目标放大点的坐标。
可选的，所述根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，将所述目标放大点在所述图像显示区域上的位置，转换成在所述画布上的位置，包括：根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，计算从所述图像显示区域对应的坐标系转换成所述画布对应的坐标系时，所述目标放大点的坐标在宽度方向的宽度转换倍率以及在高度方向的高度转换倍率；根据所述宽度转换倍率、所述高度转换倍率以及所述裁剪区域信息，计算所述目标放大点在所述画布上的位置。
可选的，所述将所述目标放大点作为所述裁剪区域的中心点，根据所述目标放大点的坐标以及所述裁剪宽度和裁剪高度，得到所述裁剪区域信息，包括：当检测到对所述第一显示区域执行放大操作时，以所述画布的中心点为中心，得到初始裁剪区域信息；计算所述目标放大点与所述画布的中心点之间的偏移量；根据所述偏移量对所述初始裁剪区域信息进行校正，得到所述裁剪区域信息。
可选的，所述多摄像头设备的图像拼接方法还包括：以所述多摄像头设备的默认摄像头的中心点为基准，对所述其他摄像头进行中心距偏移校正，其中，所述其他摄像头指所述多摄像头设备中除所述默认摄像头之外的摄像头。
本发明实施例还提供一种多摄像头设备的图像拼接装置包括：第一获取单元，用于至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；第二获取单元，用于获取所述多摄像头设备的图像显示区域的区域分割信息；裁剪单元，用于根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像；拼接单元，用于将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
本发明实施例还提供一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种多摄像头设备的图像拼接方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种多摄像头设备的图像拼接方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
根据多摄像头设备的图像显示区域的区域分割信息对第一图像及第二图像分别进行裁剪，将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像，由于第一图像及第二图像由多摄像头设备上的不同摄像头采集得到，且上报第一图像的第一摄像头的视场角小于上报第二图像的第二摄像头的视场角，从而可以实现同时显示不同视场角图像，提高用户体验。
进一步，分割线的位置可以随用户的拖动操作在图像显示区域内移动，以调整分割线对图像显示区域的画面分割，从而可以突破固定的1:1比例分割，提高对图像显示区域的画面分割的灵活性。
进一步，分割线的位置信息对应的取值为奇数时，执行取偶操作，以确保第一图像及第二图像的裁剪的顺利进行。
进一步，当检测到对第一显示区域执行放大操作时，可以将获取的目标放大点的坐标作为裁剪区域的中心点，并根据目标放大点的坐标、裁剪宽度以及裁剪高度得到裁剪区域信息，第一摄像头以目标放大点为中心得到的裁剪区域信息进行第一图像的上报，从而实现可以根据目标放大点为中心，进行定点放大，提高图像放大区域的灵活性。
进一步，对以多摄像头设备的默认摄像头的中心点为基准，对其他摄像头进行中心距偏移校正，从而可以提高图像显示区域显示拼接后的图像的画面一致感，提高拼接效果的友好度。
进一步，第一摄像头采用长焦摄像头，在倍率变化时，可以避免画面跳变。
附图说明
图1是本发明实施例中的一种多摄像头设备的图像拼接方法的流程图；
图2是本发明实施例中的一种NV21采样示意图；
图3是本发明实施例中的另一种多摄像头设备的图像拼接方法的流程图；
图4是本发明实施例中的一种图像裁剪原理示意图；
图5是本发明实施例中的一种图像拼接的示意图；
图6是本发明实施例中的一种目标放大点坐标修正的原理图；
图7是本发明实施例中的一种多摄像头设备的图像拼接装置的结构示意图。
具体实施方式
如上所述，在现有技术中，当用户需要查看同一场景的不同视角时，通常需要来回切换两个镜头，造成用户的体验较差。
为了解决上述问题，在本发明实施例中，根据多摄像头设备的图像显示区域的区域分割信息对第一图像及第二图像分别进行裁剪，将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像，由于第一图像及第二图像由多摄像头设备上的不同摄像头采集得到，且上报第一图像的第一摄像头的视场角小于上报第二图像的第二摄像头的视场角，从而可以实现同时在同一图像显示区域显示不同视场角图像，提高用户体验。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参见图1，给出了本发明实施例中的一种多摄像头设备的图像拼接方法的流程图，具体可以包括如下步骤：
步骤S11，至少获取第一图像及第二图像。
在具体实施中，多摄像头设备指具有多个摄像头的手机、平板等设备。多摄像头上的多个摄像头可以分别具有不同的视场角(Field Of View，FOV，也可称为视场或视角)，也即多个摄像头的分别对应的焦段不同，从而多个摄像头分别具有不同的变焦倍率范围，其中，变焦倍率也可以称为显示倍率。例如，多摄像头设备包括：超广角摄像头、广角摄像头以及长焦摄像头。超广角摄像头、广角摄像头以及长焦摄像头的视场角逐渐减小。超广角摄像头的变焦倍率可以为0.6至1.0，广角摄像头的变焦倍率可以为1.0至2.0，长焦摄像头的变焦倍率可以为2.0至10.0。
在具体实施中，所获取的第一图像可以由多摄像头设备的第一摄像头上报，所获取的第二图像可以由多摄像头设备的第二摄像头上报。第一摄像头的视场角小于第二摄像头的视场角，第一图像可以作为特写景(也可称为特景)图像，第二图像可以作为全景图像。
在本发明实施例中，当多摄像头设备包括超广角摄像头、广角摄像头以及长焦摄像头时，第一摄像头可以为长焦摄像头，第二摄像头为广角摄像头。或者，第一摄像头为长焦摄像头，第二摄像头为超广角摄像头。或者，第一摄像头为广角摄像头，第二摄像头为超广角摄像头。
在具体实施中，在多景录像模式中，可以取第二摄像头支持的变焦倍率中的任一取值作为第二摄像头的默认变焦倍率，默认变焦倍率可以配置可调整，也可以配置为不可调整。
例如，当超广角摄像头作为第二摄像头时，可以根据需求取0.6至1.0之间的任一取值作为超广角摄像头的默认变焦倍率。又如，当广角摄像头作为第二摄像头时，可以根据需求取1.0至2.0之间的任一取值作为广角摄像头的默认变焦倍率。
在具体实施中，在多摄像头设备上可以安装有具有照相及视频录制功能应用软件(APP)。
在检测到用户触发录制视频的操作时可以生成录像开启请求，并进入多景录像模式。例如，进入双景录像模式，可以根据录像开启请求控制第一摄像头上报第一图像，控制第二摄像头上报第二图像。
在检测到用户触发照相的操作时，可以生成照相请求，并进入多景照相模式。例如，进入双景照相模式，根据照相请求控制第一摄像头上报第一图像，控制第二摄像头上报第二图像。其中用户可以通过多种方式触发录制视频的操作或者触发照相操作。
用户通过触发多摄像头设备上的具有视频录制功能应用软件对应的图标或按键触发录制视频的操作。或者，用户通过触发多摄像头设备上的具有照相功能的应用软件对应的图标或按键触发照相的操作。可以理解的是，根据具有照相及视频录制功能应用软件的类型不同或者多摄像头设备的类型不同，触发开始录制视频及触发照相的方式不同，不管采用何种方式触发开始录制视频或者照相，只需得到对应的录像开启请求或照相请求即可。
步骤S12，获取所述多摄像头设备的图像显示区域的区域分割信息。
在具体实施中，区域分割信息用于指示图像显示区域的画面分割比例。区域分割信息可以包括分割线的位置信息。
在本发明实施例中，可以采用分割线对图像显示区域进行分割。通过分割线可以至少将图像显示区域分割成第一显示区域及第二显示区域。
分割线可以在图像显示区域的宽度方向上对图像显示区域进行画面分割，也可以在图像显示区域的高度方向上对图像显示区域进行画面分割。
在具体实施中，多摄像头设备的屏幕分辨率为W*H，W为所述多摄像头设备的屏幕分辨率宽，H为所述多摄像头设备的屏幕分辨率高，且W和H均为正整数，其中，屏幕分辨率宽对应于多摄像头设备的长边，屏幕分辨率对应于多摄像头设备的短边，也即屏幕分辨率宽大于或等于屏幕分辨率高。
当分割线对图像显示区域在宽度方向上进行画面分割时，分割线的位置范围为[0，W]。当分割线对图像显示区域在高度方向上进行画面分割时，分割线的位置范围为[0，H]。
在具体实施中，当分割线的位置介于(0，W)或者(0，H)时，分割线将图像显示区域的画面分割成两个显示区域，分别为第一显示区域及第二显示区域。当分割线的位置为0或者W或者H时，此时图像显示区域为一个显示区域，可以仅显示第一图像或者第二图像，如分割线的位置对应于0时，仅显示第二图像，分割线的位置对应于W或者H时，仅显示第一图像。
在本发明一实施例中，当分割线对图像显示区域在宽度方向上进行画面分割时，分割线的位置范围为
在本发明另一实施例中，当分割线对图像显示区域在高度方向上进行画面分割时，分割线的位置范围
例如，多摄像头显示屏幕分辨率为1920*1080时，分割线对图像显示区域在宽度方向进行分割，分割线的位置范围为[480，1440]。
在具体实施中，可以根据多摄像头设备的屏幕显示状态确定分割线对图像显示区域的画面分割情况。
分割线在图像显示区域的宽度方向上对图像显示区域进行画面分割，当多摄像头设备的屏幕显示状态为竖屏显示时，将图像显示区域分为上下两部分。当多摄像头设备的屏幕显示状态为横屏显示时，将图像显示区域分为左右两部分。
可以理解的是，分割线也可以在图像显示区域的高度方向上对图像显示区域进行画面分割，当多摄像头设备的屏幕显示状态为竖屏显示状态时，将图像显示区域分为左右两部分。当多摄像头设备的屏幕显示状态为横屏显示时，将图像显示区域分为上下两部分。
在具体实施中，分割线可以配置为随着多摄像头设备的翻转而变化。例如，当多摄像头设备的屏幕显示状态从竖屏切换至横屏时，分割线随之变化，将分割线在宽度方向对图像显示区域的进行画面分割调整为在高度方向上对图像显示区域的进行画面分割，以对图像显示区域的画面分割维持为上下两部分。又如，当多摄像头设备的屏幕显示状态从横屏切换至竖屏时，分割线随之变化，将分割线在宽度方向对图像显示区域的进行画面分割调整为在高度方向上对图像显示区域的进行画面分割，以对图像显示区域的画面分割维持为左右两部分。
为了提高图像显示区域对图像显示的灵活性，在本发明实施例中，响应于用户的拖动操作，所述分割线的位置随所述用户的拖动操作在所述图像显示区域内移动。也即，用户可以根据实际需求拖动分割线，以调整分割线对图像显示区域的画面分割比例，从而可以突破图像显示区域的1:1固定画面比例的限制，实现对图像显示区域的画面分割比例的动态调整，提高的图像显示区域所显示画面的调节灵活性。
在具体实施中，当所述分割线的位置信息对应的取值为奇数时，执行取偶操作；根据取偶结果确定所述分割线的位置信息。其中，取偶操作可以为向上取偶，也可以为向下取偶。通过取偶操作，使得分割线的位置对应的取值为偶数，为后续第一图像及第二图像的裁剪做准备，有助于第一图像及第二图像的裁剪的顺利进行。
在本发明实施例中，分割线可以为多摄像头设备的显示屏上的滑动条(bar)，用户可以拖动滑动bar可以调整图像显示区域的画面分割比例。多摄像头设备上安装的应用软件(APP)可以通过检测用户对滑动bar的拖动情况，确定滑动bar的位置mSlide_Position，并通过标签Tag将滑动bar的位置下发至硬件抽象层(Hardware Abstraction Layer，HAL)，以供HAL进行图像裁剪以及图像拼接。其中，HAL中还可以封装有多个层级，如SuperHAL层，将滑动bar的位置下发至SuperHAL层，以供HAL进行图像裁剪以及图像拼接。
在具体实施中，默认分割配置可以配置为分割线将图像显示区域平均分成两部分，也即按照1:1的比例划分为图像显示区域。可以理解的是，还可以根据需求设定其他的画面分割比例。
在具体实施中，在多摄像头设备的显示界面上可以设置有恢复默认分割配置的选项，当检测到用户触发恢复默认分割配置的选项时，可以将分割线对图像显示区域的配置恢复至默认分割配置，实现一键恢复默认分割配置，提高用户操作便捷性。
步骤S13，根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像。
步骤S14，将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
由上可知，根据多摄像头设备的图像显示区域的区域分割信息对第一图像及第二图像分别进行裁剪，将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像，由于第一图像及第二图像由多摄像头设备上的不同摄像头采集得到，且上报第一图像的第一摄像头的视场角小于上报第二图像的第二摄像头的视场角，从而可以实现同时显示不同视场角图像，提高用户体验。
在具体实施中，步骤S13可以通过如下方式实现：根据所述区域分割信息、所述目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息；根据所述区域分割信息、所述目标拼接图像的尺度以及所述第二图像的尺度，确定所述第二图像的第二裁剪量及所述第二图像的第二有效区域的尺度信息；根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像；根据所述第二裁剪量及所述第二有效区域的尺度信息，对所述第二图像进行裁剪，得到所述裁剪后的第二图像。其中，所述第一图像的尺度包括第一图像的实际宽度以及第一图像的实际高度。第二图像的尺度包括第二图像的实际宽度以及第二图像的实际高度。第一图像的尺度可以根据第一图像的分辨率得到，第二图像的尺度可以根据第二图像的分辨率得到。
在本发明实施例中，第一图像的分辨率、第二图像的分辨率、多摄像头设备的屏幕分辨率以及目标拼接图像的分辨率相同。
在具体实施中，当分割线对图像显示区域的分割情况不同时，第一图像的第一裁剪量以及第一有效区域的尺度信息的确定方式也不同，具体而言：
在本发明一实施例中，当分割线在所述图像显示区域的宽度方向上对所述图像显示区域进行画面分割时，根据所述区域分割信息，确定所述第一图像的有效宽度，根据所述第一图像的实际宽度以及所述第一图像的有效宽度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度及有效高度，所述第一图像的有效高度与所述第一图像的实际高度相同。
例如，采用如下公式(1)计算第一图像的第一裁剪量：
采用如下公式(2)计算第一图像的有效宽度：
output_W1＝W-offSet1*2； (2)
其中，offSet1为第一图像的第一裁剪量，W为第一图像的实际宽度、显示屏的屏幕分辨率宽，output_W1为第一图像的有效宽度。
在本发明另一实施例中，当所述分割线在所述图像显示区域在高度方向上对所述图像显示区域进行画面分割时，根据所述区域分割信息，确定所述第一图像的有效高度，根据所述第一图像的实际高度以及所述第一图像的有效高度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度和所述有效高度，所述第一图像的有效宽度与所述第一图像的实际宽度相同。
例如，采用如下公式(3)计算第一图像的第一裁剪量：
采用如下公式(4)计算第一图像的有效高度：
output_H1＝H-offSet1*2； (4)
其中，offSet1为第一图像的第一裁剪量，H为第一图像的实际高度、显示屏的屏幕分辨率高，output_H1为第一图像的有效高度。
进一步地，根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像可以通过如下方式实现：
获取所述第一图像的图像格式类型；根据所述第一裁剪量确定裁剪起始点，根据所述第一裁剪量及所述第一有效区域的尺度信息确定裁剪终止点；根据所述裁剪起始点、所述裁剪终止点以及所述第一图像的图像格式类型，从所述第一图像的YUV图像数据中获取对应的亮度数据(Y分量)以及色度数据(UV分量)，基于所获取的亮度数据以及色度数据得到所述裁剪后的第一图像。其中，Y表示像素中的亮度Luminance，U代表色度Chrominance；V代表饱和度Chroma。
具体而言，在分别复制Y分量及UV分量至输出图像output buffer时，根据第一图像的图像格式类型确定对Y分量及UV分量的复制次数。根据裁剪起始点确定对Y分量及UV分量的复制起点，根据裁剪终止点确定对Y分量及UV分量的复制终点。
例如，第一图像的图像格式类型为NV21时，NV21采用4：2：0的方式进行采样，参照图2，给出了本发明实施例中的一种NV21采样示意图，其中黑点表示采样该像素的Y分量、空心点表示采样该像素点的UV分量，即4个Y共用一组UV。
当分割线在图像显示区域的宽度方向上对图像显示区域进行画面分割时，复制Y分量的次数与分辨率高的值相同，复制UV分量的次数与二分之一分辨率高的值相同。
在本发明一实施例中，第二图像的第二裁剪量的确定方式可以参考第一图像的第一裁剪量的确定方法，此处不再赘述。
在本发明另一实施例中，第二图像的第二裁剪量还可以根据第一图像的第一裁剪量以及多摄像头设备的屏幕分辨率进行确定。
当分割线在宽度方向上对图像显示区域进行画面分割时，可以根据屏幕分辨率宽以及第一裁剪量，计算第二裁剪量。例如，采用如下公式(5)计算第二裁剪量：
其中，offSet2为第二裁剪量，W为屏幕分辨率宽，offSet1为第一裁剪量。
当分割线在高度方向上对图像显示区域进行画面分割时，可以根据屏幕分辨率高以及第一裁剪量，计算第二裁剪量。例如，采用如下公式(6)计算第二裁剪量：
其中，offSet2为第二裁剪量，H为屏幕分辨率高，offSet1为第一裁剪量。
在具体实施中，第二图像的第二有效区域的尺度信息的确定以及第二裁剪图像的裁剪方法可以参考上述关于第一图像的第一有效区域的尺度信息的确定以及第一裁剪图像的裁剪方法的描述，此处不再赘述。
为了便于本领域技术人员更好的理解和实现本发明实施例中，下面结合具体实施例对多摄像头设备的图像拼接方法的具体流程进行说明。在本实施例中，多摄像头设备的屏幕分辨率、第一图像的分辨率、第二图像的分辨率及目标拼接图像的分辨率均相同，配置为1920*1080，第一摄像头为长焦摄像头，第二摄像头为超广角摄像头，采用NV21进行采样。参照图3，给出了本发明实施例中的另一种多摄像头设备的图像拼接方法的流程图，参照图4给出了本发明实施例中的一种图像裁剪原理示意图，参照图5给出了本发明实施例中的一种图像拼接的示意图，下面结合图3至图5，对多摄像头设备的图像拼接方法进行说明，具体可以包括如下步骤：
步骤S31，超广角摄像头图像传感器以及长焦摄像头图像传感器分别出图。
长焦摄像头传感器出的第一图像记为buffer1，超广角摄像头传感器出的第二图像记为buffer2。
步骤S32，通过标签Tag，获取多摄像头设备显示屏幕上滑动bar的值mSlide_Position。
例如，滑动bar的值的取值范围可以为[480,1440]。
步骤S33，根据滑动bar的值mSlide_Position，计算buffer1的第一裁剪量offSet1，计算buffer2的第二裁剪量offSet2。
采用公式(7)计算buffer1的第一裁剪量offSet1，采用公式(8)计算buffer2的第二裁剪量offSet2。
offSet2＝960-offSet1； (8)
其中，offSet1为第一裁剪量，W为第一图像的实际宽度、第一图像的实际宽度、屏幕分辨率宽以及目标拼接图像的实际宽度，offSet2为第二裁剪量，960为W的二分之一。
步骤S34，计算buffer1进行图像裁剪后的有效区域宽度，计算buffer2进行图像裁剪后的有效区域宽度。
采用公式(9)计算buffer1进行图像裁剪后的有效区域宽度output_W1，采用公式(10)计算buffer2进行图像裁剪后的有效区域宽度output_W2。
output_W1＝W-offSet1*2； (9)
output_W2＝W-offSet2*2； (10)
其中，offSet1为第一图像的第一裁剪量，W为第一图像的实际宽度、显示屏的屏幕分辨率宽，output_W1为第一图像的有效宽度，output_W2为第二图像的有效宽度，offSet2为第二图像的第二裁剪量。
步骤S35，分别复制(copy)Y分量和UV分量到输出图像output_buffer中。
具体而言，复制(Memory_copy)H次Y分量和H/2次UV分量output_buffer中，其中，H为屏幕分辨率高。
步骤S36，将图像裁剪后的有效区域output_offSet1和output_offSet2拼接在一起，组成一张新的W*H大小的YUV图像，也即得到目标拼接图像，并进行显示。
其中，第一图像的有效区域output_offSet1可以至少由第一图像的有效宽度以及有效高度得到，第二图像的有效区域output_offSet2可以至少由第二图像的有效宽度及有效高度得到。
在具体实施中，步骤S31中，可以由超广角摄像头图像传感器、长焦摄像头图像传感器配合多摄像头终端设备的数码相机(Digital Camera，DCAM)、图像信号处理器(ImageSignal Processo，ISP)以及硬件抽象层(Hardware Abstraction Layer，HAL)实现。步骤S33至步骤S35以及步骤S36中的图像拼接，可以有多摄像头设备中的HAL实现，或者由HAL中封装的SuperHAL实现，步骤S36中的显示目标拼接图像可以由SuperHAL将目标拼接图像送至多摄像头终端设备上的应用软件APP或者应用程序包(APK)进行显示。
在具体实施中，图像显示区域可以包括第一显示区域及第二显示区域，第一显示区域显示的图像对应于裁剪后的第一图像，第二显示区域显示的图像对应于裁剪后的第二图像。
在录像开启请求或照相请求中可以携带有裁剪区域信息，并将裁剪区域信息下发至摄像头，不同摄像头对应的裁剪区域信息不同。
在本发明实施例中，在录像或者照相时，可以根据实际需求对第一显示区域进行定点放大。具体而言，以用户对第一显示区域执行放大操作时的目标放大点为中心，进行定点放大。定点放大区域与对应的裁剪区域信息相关，其中，第一图像由多摄像头设备的第一摄像头根据裁剪区域信息上报，其中第一图像对应的裁剪区域信息可以通过如下方式得到：
当检测到对第一显示区域执行放大操作时，获取目标放大点的坐标，以及放大后对应的裁剪区域的裁剪宽度和裁剪高度。将目标放大点作为裁剪区域的中心点，根据目标放大点的坐标以及裁剪宽度和裁剪高度，得到裁剪区域信息。
在具体实施中，可以通过双击第一显示区域的方式对第一显示区域执行放大操作，也可以通过双指缩放的方式对第一区域执行放大操作。
当以双击第一显示区域的方式对第一显示区域执行放大操作时，可以获取用户双击区域，将用户双击区域的中心点作为目标放大点。
当通过双指缩放的方式对第一显示区域执行放大操作时，可以根据双指缩放区域、双指缩放前在第一显示区域的位置以及双指缩放后在第一显示区域的位置的情况，确定目标放大点的位置。
进一步地，将所述第一摄像头的最小显示倍率对应的输出平面作为最大画布(后文简称画布)；根据所述裁剪宽度确定在所述画布的画布宽度方向上的第一宽度阈值及第二宽度阈值，其中，所述第一宽度阈值小于所述第二宽度阈值；根据所述裁剪高度确定在所述画布的画布高度方向上的第一高度阈值以及第二高度阈值，其中，所述第一高度阈值小于所述第二高度阈值；当所述目标放大点的坐标超出所述画布的设定区域时，则对所述目标放大点的坐标进行修正，并将坐标修正后的目标放大点作为所述裁剪区域的中心点，所述画布的设定区域由所述第一宽度阈值、所述第二宽度阈值、所述第一高度阈值以及所述第二高度阈值围成。
参照图6，给出了本发明实施例中的一种目标放大点坐标修正的原理图，其中，x为宽度方向，y为高度方向，第一宽度阈值为x2，第二宽度阈值为x3，第一高度阈值为y2，第二高度阈值为y3。第一宽度阈值与裁剪区域宽度相关，第二宽度阈值与裁剪区域宽度及画布宽度相关。例如，第一宽度阈值为裁剪区域宽度的二分之一。第二宽度阈值为画布宽度与裁剪区域宽度的二分之一之差。
第一高度阈值与裁剪区域高度相关，第二高度阈值与裁剪区域高度以及画布高度相关。例如，第一高度阈值为裁剪区域高度的二分之一。第二高度阈值为画布高度与裁剪高度的二分之一之差。
在具体实施中，根据目标放大点的位置在画布上的位置的不同，对目标放大点的坐标的修正方式不同，具体而言：
当所述宽度方向坐标小于所述第一宽度阈值时，将所述宽度方向坐标修正为所述第一宽度阈值。
当所述宽度方向坐标大于所述第二宽度阈值时，将所述宽度方向坐标修正为所述第二宽度阈值。
当所述高度方向坐标小于所述第一高度阈值时，将所述高度方向坐标修正为所述第一高度阈值。
当所述高度方向坐标大于所述第二高度阈值时，将所述高度方向坐标修正为所述第二高度阈值。
上述对目标放大点坐标进行修正，目标放大点的宽度方向坐标和高度方向坐标可以分别进行修正，也可以同时修正，修正后的目标放大点的高度方向坐标介于第一高度阈值与第二高度阈值之间，修正后的目标放大点的宽度方向坐标介于第一宽度阈值与第二宽度阈值之间。通过对目标放大点的修正，在以目标放大点为中心对画面进行放大时，即使放大到倍率(zoom)的极限位置时，画面也不会超出第一摄像头的图像传感器的最大画布范围，实现对放大的保护机制。
在具体实施中，当检测到对第一显示区域执行放大操作时，可以先获取目标放大点在图像显示区域上的位置，根据目标放大点在图像显示区域上的位置以及多摄像头设备的屏幕分辨率，将目标放大点在图像显示区域上的位置转换成在画布上的位置。
具体而言，可以根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，计算从所述图像显示区域对应的坐标系转换成所述画布对应的坐标系时，所述目标放大点的坐标在宽度方向的宽度转换倍率以及在高度方向的高度转换倍率；根据所述宽度转换倍率、所述高度转换倍率以及所述裁剪区域信息，计算所述目标放大点在所述画布上的位置。
在具体实施中，裁剪区域信息可以包括裁剪宽度、裁剪高度以及裁剪区域的指定点坐标，可以根据裁剪区域的指定点的宽度方向坐标、裁剪宽度以及宽度转换倍率，计算目标放大点的宽度方向坐标。可以根据裁剪区域的指定点的高度方向的坐标、裁剪度以及高度转换倍率，计算目标放大点的高度方向坐标。
在本发明实施例中，可以采用如下方式(11)计算宽度转换倍率，公式(12)计算高度转换倍率：
可以采用如下方式(13)和(14)计算目标放大点在画布上的坐标。
可以采用如下公式(15)及公式(16)分别计算执行放大操作后得到的显示倍率下对应的裁剪宽度和裁剪高度。
其中，ratio_w为宽度转换倍率，ratio_h为高度转换倍率，(touch_x，touch_y)为目标放大点在图像显示区域的位置，touch_x为目标放大点在图像显示区域的宽度方向坐标，touch_y为目标放大点的高度方向坐标，W为屏幕分辨率宽，H为屏幕分辨率高，(point_x1，point_y1)为目标放大点在画布上的坐标，point_x1为目标放大点在画布上的宽度方向坐标，point_y1为目标放大点在画布上的高度方向坐标，W0为画布的宽度，H0为画布的高度，W3为放大操作后的显示倍率对应的裁剪宽度，H3为放大操作后得到的显示倍率对应的裁剪高度，app_ratio为放大操作后得到的显示倍率。
需要说明的是，在单景显示模式时，也即图像显示区域仅显示多摄像头设备中的一个摄像头上报的图像时，offset1的取值为0。
在具体实施中，可以采用如下方式确定裁剪区域：根据目标放大点的坐标、裁剪宽度以及裁剪高度确定裁剪区域，其中，裁剪区域信息可以包括：目标放大点的坐标、裁剪宽度以及裁剪高度。
在具体实施中，也可以采用如下方式确定裁剪区域：在检测到对所述第一显示区域执行放大操作时，以所述画布的中心点为中心，得到初始裁剪区域信息，计算所述目标放大点与所述画布的中心点之间的偏移量，根据所述偏移量对所述初始裁剪区域信息进行校正，得到所述裁剪区域信息。
具体而言，采用如下公式(17)及(18)计算所述目标放大点与所述画布的中心点之间的偏移量，其中，目标放大点与所述画布的中心点之间的偏移量可以包括宽度方向的偏移量和高度方向的偏移量：
dx＝point_x1-point_x0； (17)
dy＝point_y1-point_y0； (18)
其中，dx为宽度方向的偏移量，dy为高度方向的偏移量，(point_x1，point_y1)为目标放大点在画布上的位置，(point_x0，point_y0)为画布的中心点坐标。
所述画布的中心点为中心得到的初始裁剪信息可以包括指定点的坐标(region[T][0]，region[T][1])，裁剪宽度region[T][2]，裁剪高度region[T][3]。指定点可以为初始裁剪区域的左上角的点。
将指定点的宽度方向坐标在宽度方向平移偏移量dx，将指定点的高度方向坐标在高度方向平移偏移量dy，得到平移校正后指定点的坐标，目标放大点对应的裁剪区域信息可以包括：平移校正后的指定点的坐标、裁剪宽度以及裁剪高度。
在得到针对第一摄像头的裁剪区域信息之后，可以将裁剪区域信息设置给DCAM，DCAM装与裁剪区域相同大小的图，作为第一图像。得到第一图像之后的后续的处理流程可以参见步骤S11至步骤S14，此处不再赘述。
在实际应用中，在多摄像头设备的每个摄像头在安装过程中，存在安装误差，所存在的安装误差，可能带来拼接图像的两个画面的画面一致性较差。为了提高目标拼接图像的两个画面的一致性，提高拼接效果的友好性，在本发明实施例中，可以以多摄像头设备的默认摄像头的中心为基准，对其他摄像头进行中心距偏移校正，以使得校正后的其他摄像头与默认摄像头的视场角中心对齐。
为了便于本领域技术人员更好的理解和实现本发明实施例中，本发明实施例还提供一种多摄像头设备的图像拼接装置。参照图7，给出了本发明实施例中的一种多摄像头设备的图像拼接装置的结构示意图。多摄像头设备的图像拼接装置70可以包括：
第一获取单元71，用于至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；
第二获取单元72，用于获取所述多摄像头设备的图像显示区域的区域分割信息；
裁剪单元73，用于根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像；
拼接单元74，用于将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
在具体实施中，多摄像头设备的图像拼接装置70的具体工作流程及原理可以参考本发明上述实施例中提供的多摄像头设备的图像拼接方法的描述，此处不再赘述。
本发明实施例还提供一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一实施例提供的多摄像头设备的图像拼接方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一实施例提供的多摄像头设备的图像拼接方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (17)
1.一种多摄像头设备的图像拼接方法，其特征在于，包括：
至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；
获取所述多摄像头设备的图像显示区域的区域分割信息，包括：获取所述图像显示区域的分割线的位置信息，所述区域分割信息包括所述分割线的位置信息；
根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像，包括：根据所述区域分割信息、目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息；根据所述区域分割信息、所述目标拼接图像的尺度以及所述第二图像的尺度，确定所述第二图像的第二裁剪量及所述第二图像的第二有效区域的尺度信息；根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像；根据所述第二裁剪量及所述第二有效区域的尺度信息，对所述第二图像进行裁剪，得到所述裁剪后的第二图像；
将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
2.如权利要求1所述的多摄像头设备的图像拼接方法，其特征在于，还包括：
响应于用户的拖动操作，所述分割线的位置随所述用户的拖动操作在所述图像显示区域内移动。
3.如权利要求1或2所述的多摄像头设备的图像拼接方法，其特征在于，所述分割线的位置信息指示所述分割线的位置介于[0，W]或者[0，H]，其中，所述多摄像头设备的屏幕分辨率为W*H，W为所述多摄像头设备的屏幕分辨率宽，H为所述多摄像头设备的屏幕分辨率高，且W和H均为正整数。
4.如权利要求3所述的多摄像头设备的图像拼接方法，其特征在于，还包括：
当所述分割线的位置信息对应的取值为奇数时，则执行取偶操作；
根据取偶结果确定所述分割线的位置信息。
5.如权利要求1所述的多摄像头设备的图像拼接方法，其特征在于，所述根据所述区域分割信息、所述目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息，包括：
当分割线在所述图像显示区域的宽度方向上对所述图像显示区域画面分割时，根据所述区域分割信息，确定所述第一图像的有效宽度，根据所述第一图像的实际宽度以及所述第一图像的有效宽度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度及有效高度，所述第一图像的有效高度与所述第一图像的实际高度相同；或者，
当所述分割线在所述图像显示区域的高度方向上对所述图像显示区域进行画面分割时，根据所述区域分割信息，确定所述第一图像的有效高度，根据所述第一图像的实际高度以及所述第一图像的有效高度，确定所述第一裁剪量，所述第一有效区域的尺度信息包括所述第一图像的有效宽度和所述有效高度，所述第一图像的有效宽度与所述第一图像的实际宽度相同。
6.如权利要求1或5所述的多摄像头设备的图像拼接方法，其特征在于，所述根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像，包括：
获取所述第一图像的图像格式类型；
根据所述第一裁剪量确定裁剪起始点，根据所述第一裁剪量及所述第一有效区域的尺度信息确定裁剪终止点；
根据所述裁剪起始点、所述裁剪终止点以及所述第一图像的图像格式类型，从所述第一图像的YUV图像数据中获取对应的亮度数据以及色度数据，基于所获取的亮度数据以及色度数据得到所述裁剪后的第一图像。
7.如权利要求1所述的多摄像头设备的图像拼接方法，其特征在于，所述第一摄像头为长焦镜头，所述第二摄像头为广角镜头或超广角镜头。
8.如权利要求1所述的多摄像头设备的图像拼接方法，其特征在于，所述图像显示区域包括第一显示区域及第二显示区域，其中，所述第一显示区域显示的图像对应于所述裁剪后的第一图像，所述第二显示区域显示的图像对应于所述裁剪后的第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，包括：
所述第一图像由所述多摄像头设备的第一摄像头根据裁剪区域信息上报，其中，所述裁剪区域信息采用如下方式得到：
当检测到对所述第一显示区域执行放大操作时，获取目标放大点的坐标，以及放大后对应的裁剪区域的裁剪宽度和裁剪高度；
将所述目标放大点作为所述裁剪区域的中心点，根据所述目标放大点的坐标、所述裁剪宽度和裁剪高度，得到所述裁剪区域信息。
9.如权利要求8所述的多摄像头设备的图像拼接方法，其特征在于，所述将所述目标放大点作为所述裁剪区域的中心点，包括：
将所述第一摄像头的最小显示倍率对应的输出平面作为画布；
根据所述裁剪宽度确定在所述画布的画布宽度方向上的第一宽度阈值及第二宽度阈值，其中，所述第一宽度阈值小于所述第二宽度阈值；
根据所述裁剪高度确定在所述画布的画布高度方向上的第一高度阈值以及第二高度阈值，其中，所述第一高度阈值小于所述第二高度阈值；
当所述目标放大点的坐标超出所述画布的设定区域时，则对所述目标放大点的坐标进行修正，并将坐标修正后的目标放大点作为所述裁剪区域的中心点，所述画布的设定区域由所述第一宽度阈值、所述第二宽度阈值、所述第一高度阈值以及所述第二高度阈值围成。
10.如权利要求9所述的多摄像头设备的图像拼接方法，其特征在于，所述目标放大点的坐标包括宽度方向坐标和高度方向坐标，所述当所述目标放大点的坐标超出所述画布的设定范围时，对所述目标放大点的坐标进行修正，包括以下至少一种：
当所述宽度方向坐标小于所述第一宽度阈值时，将所述宽度方向坐标修正为所述第一宽度阈值；
当所述宽度方向坐标大于所述第二宽度阈值时，将所述宽度方向坐标修正为所述第二宽度阈值；
当所述高度方向坐标小于所述第一高度阈值时，将所述高度方向坐标修正为所述第一高度阈值；
当所述高度方向坐标大于所述第二高度阈值时，将所述高度方向坐标修正为所述第二高度阈值。
11.如权利要求9或10所述的多摄像头设备的图像拼接方法，其特征在于，所述当检测到对所述第一显示区域执行放大操作时，获取目标放大点的坐标，包括：
当检测到对所述第一显示区域执行放大操作时，获取所述目标放大点在所述图像显示区域上的位置；
根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，将所述目标放大点在所述图像显示区域上的位置，转换成在所述画布上的位置，并将所述目标放大点在画布上的位置对应的坐标作为所述目标放大点的坐标。
12.如权利要求11所述的多摄像头设备的图像拼接方法，其特征在于，所述根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，将所述目标放大点在所述图像显示区域上的位置，转换成在所述画布上的位置，包括：
根据所述目标放大点在所述图像显示区域上的位置以及所述多摄像头设备的屏幕分辨率，计算从所述图像显示区域对应的坐标系转换成所述画布对应的坐标系时，所述目标放大点的坐标在宽度方向的宽度转换倍率以及在高度方向的高度转换倍率；
根据所述宽度转换倍率、所述高度转换倍率以及所述裁剪区域信息，计算所述目标放大点在所述画布上的位置。
13.如权利要求12所述的多摄像头设备的图像拼接方法，其特征在于，所述将所述目标放大点作为所述裁剪区域的中心点，根据所述目标放大点的坐标以及所述裁剪宽度和裁剪高度，得到所述裁剪区域信息，包括：
当检测到对所述第一显示区域执行放大操作时，以所述画布的中心点为中心，得到初始裁剪区域信息；
计算所述目标放大点与所述画布的中心点之间的偏移量；
根据所述偏移量对所述初始裁剪区域信息进行校正，得到所述裁剪区域信息。
14.如权利要求1所述的多摄像头设备的图像拼接方法，其特征在于，还包括：
以所述多摄像头设备的默认摄像头的中心点为基准，对其他摄像头进行中心距偏移校正，其中，所述其他摄像头指所述多摄像头设备中除所述默认摄像头之外的摄像头。
15.一种多摄像头设备的图像拼接装置，其特征在于，包括：
第一获取单元，用于至少获取第一图像及第二图像，所述第一图像由所述多摄像头设备的第一摄像头上报，所述第二图像由所述多摄像头设备的第二摄像头上报，所述第一摄像头的视场角小于所述第二摄像头的视场角；
第二获取单元，用于获取所述多摄像头设备的图像显示区域的区域分割信息，包括：获取所述图像显示区域的分割线的位置信息，所述区域分割信息包括所述分割线的位置信息；
裁剪单元，用于根据所述区域分割信息分别对所述第一图像及所述第二图像进行裁剪，得到裁剪后的第一图像及裁剪后的第二图像，包括：根据所述区域分割信息、目标拼接图像的尺度以及所述第一图像的尺度，确定所述第一图像的第一裁剪量及所述第一图像的第一有效区域的尺度信息；根据所述区域分割信息、所述目标拼接图像的尺度以及所述第二图像的尺度，确定所述第二图像的第二裁剪量及所述第二图像的第二有效区域的尺度信息；根据所述第一裁剪量及所述第一有效区域的尺度信息，对所述第一图像进行裁剪，得到所述裁剪后的第一图像；根据所述第二裁剪量及所述第二有效区域的尺度信息，对所述第二图像进行裁剪，得到所述裁剪后的第二图像；
拼接单元，用于将裁剪后的第一图像及裁剪后的第二图像拼接，得到目标拼接图像。
16.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至14任一项所述的多摄像头设备的图像拼接方法的步骤。
17.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至14中任一项所述的多摄像头设备的图像拼接方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334071.7A CN112529778B (zh) | 2020-11-24 | 2020-11-24 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
| PCT/CN2021/130811 WO2022111330A1 (zh) | 2020-11-24 | 2021-11-16 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334071.7A CN112529778B (zh) | 2020-11-24 | 2020-11-24 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529778A CN112529778A (zh) | 2021-03-19 |
| CN112529778B true CN112529778B (zh) | 2023-05-30 |
Family
ID=74993301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011334071.7A Active CN112529778B (zh) | 2020-11-24 | 2020-11-24 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112529778B (zh) |
| WO (1) | WO2022111330A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529778B (zh) * | 2020-11-24 | 2023-05-30 | 展讯通信（上海）有限公司 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
| CN114511595B (zh) * | 2022-04-19 | 2022-08-23 | 浙江宇视科技有限公司 | 多模态协同和融合的目标跟踪方法、装置及系统、介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101415110B (zh) * | 2008-11-19 | 2011-04-27 | 符巨章 | 动态车辆监控系统 |
| CN103366339B (zh) * | 2013-06-25 | 2017-11-28 | 厦门龙谛信息系统有限公司 | 车载多广角摄像头图像合成处理装置及方法 |
| TWI511118B (zh) * | 2013-12-04 | 2015-12-01 | Wistron Corp | 顯示器及其多畫面顯示方法 |
| US10834310B2 (en) * | 2017-08-16 | 2020-11-10 | Qualcomm Incorporated | Multi-camera post-capture image processing |
| CN107835372A (zh) * | 2017-11-30 | 2018-03-23 | 广东欧珀移动通信有限公司 | 基于双摄像头的成像方法、装置、移动终端和存储介质 |
| CN108234891B (zh) * | 2018-04-04 | 2019-11-05 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN108965742B (zh) * | 2018-08-14 | 2021-01-22 | 京东方科技集团股份有限公司 | 异形屏显示方法、装置、电子设备及计算机可读存储介质 |
| CN110896444B (zh) * | 2018-09-13 | 2022-01-04 | 深圳市鸿合创新信息技术有限责任公司 | 一种双摄像头切换方法和设备 |
| CN110008797B (zh) * | 2018-10-08 | 2021-12-14 | 杭州中威电子股份有限公司 | 一种多摄像机多人脸视频接续采集方法 |
| CN110072070B (zh) * | 2019-03-18 | 2021-03-23 | 华为技术有限公司 | 一种多路录像方法及设备、介质 |
| CN111246104A (zh) * | 2020-01-22 | 2020-06-05 | 维沃移动通信有限公司 | 视频录制方法及电子设备 |
| CN111294517B (zh) * | 2020-03-03 | 2021-12-17 | 荣耀终端有限公司 | 一种图像处理的方法及移动终端 |
| CN112529778B (zh) * | 2020-11-24 | 2023-05-30 | 展讯通信（上海）有限公司 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
-
2020
- 2020-11-24 CN CN202011334071.7A patent/CN112529778B/zh active Active
-
2021
- 2021-11-16 WO PCT/CN2021/130811 patent/WO2022111330A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529778A (zh) | 2021-03-19 |
| WO2022111330A1 (zh) | 2022-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230094025A1 (en) | Image processing method and mobile terminal | |
| US8472667B2 (en) | Editing apparatus and method | |
| WO2022100677A1 (zh) | 一种拍照预览方法、装置、存储介质和电子设备 | |
| KR20130112574A (ko) | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 | |
| EP4044579A1 (en) | Main body detection method and apparatus, and electronic device and computer readable storage medium | |
| KR20040098743A (ko) | 카메라의 촬영방법 | |
| CN112529778B (zh) | 多摄像头设备的图像拼接方法及装置、存储介质、终端 | |
| US20190075245A1 (en) | Imaging device configured to control a region of imaging | |
| CN105120172A (zh) | 一种移动终端前后置摄像头拍照方法及移动终端 | |
| KR20100052563A (ko) | 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 | |
| WO2022161260A1 (zh) | 对焦方法、装置、电子设备及介质 | |
| CN109690568A (zh) | 一种处理方法及移动设备 | |
| CN111246080B (zh) | 控制设备、控制方法、摄像设备以及存储介质 | |
| CN111787224B (zh) | 图像的获取方法、终端设备和计算机可读存储介质 | |
| KR20080104546A (ko) | 디지털 카메라 기능을 갖는 단말기에서 실제 크기 프리뷰시스템 및 제어방법 | |
| JP2012175533A (ja) | 電子機器 | |
| CN111201773A (zh) | 拍摄方法及装置、移动终端及计算机可读存储介质 | |
| CN108810326B (zh) | 一种拍照方法、装置及移动终端 | |
| EP2200275B1 (en) | Method and apparatus of displaying portrait on a display | |
| JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
| JPH10336494A (ja) | ズーム表示機能付デジタルカメラ | |
| US8040388B2 (en) | Indicator method, system, and program for restoring annotated images | |
| CN112532875B (zh) | 终端设备及其图像处理方法、装置、存储介质 | |
| CN112019735B (zh) | 一种拍摄方法及装置、存储介质、电子装置 | |
| JP2012034099A (ja) | データ送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |