CN111369445B - 一种图像处理方法、系统及移动终端 - Google Patents
一种图像处理方法、系统及移动终端 Download PDFInfo
- Publication number
- CN111369445B CN111369445B CN202010458146.6A CN202010458146A CN111369445B CN 111369445 B CN111369445 B CN 111369445B CN 202010458146 A CN202010458146 A CN 202010458146A CN 111369445 B CN111369445 B CN 111369445B
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- fused
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000037431 insertion Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000035772 mutation Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、系统及移动终端，图像处理方法包括：接收前置摄像头的第一图像和后置摄像头的第二图像；检测第一图像，获得第一图像的第一参数；检测第二图像，获得第二图像的第二参数，第二参数与第一参数的参数类型一致；根据第一参数和第二参数确定融合图像的第三参数；根据第三参数调整第一图像和第二图像，获得第三图像和第四图像；识别第三图像中的人物对象；将人物对象融合到第四图像中，形成融合图像。本申请将前置摄像头和后置摄像头同时拍摄的图像融合到一起，实现移动终端两端的人物对象和景物的结合显示。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、系统及移动终端。
背景技术
目前手机、平板电脑等移动终端通常具有前置摄像头和后置摄像头。前置摄像头主要用于用户的自拍，后置摄像头主要用于拍摄其他事物。但无论是通过前置摄像头拍摄还是通过后置摄像头拍摄，在同一次拍摄时，都只启用前置摄像头或只启用后置摄像头。
但在实际情况中，用户可能希望将前置摄像头和后置摄像头拍摄的图片都展示在同一张照片上。但是，在前置摄像头和后置摄像头同时拍摄获得照片后，如何在无用户参与的情况下将两张照片融合是目前面临的技术难点。
发明内容
本申请的目的在于提供一种图像处理方法、系统及移动终端，用于解决在将前置摄像头和后置摄像头同时拍摄的照片融合的技术问题。
本申请提供一种图像处理方法，包括：接收前置摄像头的第一图像和后置摄像头的第二图像；检测第一图像，获得第一图像的第一参数；检测第二图像，获得第二图像的第二参数，第二参数与第一参数的参数类型一致；根据第一参数和第二参数确定融合图像的第三参数；根据第三参数调整第一图像和第二图像，获得第三图像和第四图像；识别第三图像中的人物对象；将人物对象融合到第四图像中，形成融合图像。
优选地，第一参数和第二参数为分辨率。
优选地，将人物对象融合到第四图像中包括：从第三图像中提取人物对象；检测人物对象的区域参数；确定第四图像的插入中心点；根据区域参数在第四图像中获取与人物对象匹配的待融合区域，待融合区域的中心点与插入中心点重合；将待融合区域的图像从第四图像中抠除；将人物对象拼接到待融合区域。
优选地，提取人物对象后，还包括：检测前置摄像头的光轴与后置摄像头的光轴之间的夹角；根据夹角调整人物对象，获得待融合人物对象；并且根据待融合人物对象的区域参数确定待融合区域，并将待融合对象拼接到待融合区域。
优选地，确定第四图像的插入中心点包括：查询摄像偏好；根据摄像偏好确定插入中心点在第四图像中的坐标范围；根据人物对象的区域参数确定插入中心点的精确坐标。
本申请还提供一种图像处理系统，包括图像接收模块、第一参数获取模块、第二参数获取模块、第三参数获取模块、调整模块、识别模块以及融合模块；图像接收模块接收前置摄像头的第一图像和后置摄像头的第二图像；第一参数获取模块检测第一图像，获得第一图像的第一参数；第二参数获取模块检测第二图像，获得第二图像的第二参数，第二参数与第一参数的参数类型一致；第三参数获取模块根据第一参数和第二参数确定融合图像的第三参数；调整模块根据第三参数调整第一图像和第二图像，获得第三图像和第四图像；识别模块识别第三图像中的人物对象；融合模块将人物对象融合到第四图像中，形成融合图像。
优选地，融合模块包括人物对象提取子模块、区域参数获取子模块、插入中心点确定子模块、待融合区域获取子模块、抠除子模块以及拼接子模块；人物对象提取子模块从第三图像中提取人物对象；区域参数获取子模块检测人物对象的区域参数；插入中心点确定子模块确定第四图像的插入中心点；待融合区域获取子模块根据区域参数在第四图像中获取与人物对象匹配的待融合区域，待融合区域的中心点与插入中心点重合；抠除子模块将待融合区域的图像从第四图像中抠除；拼接子模块将人物对象拼接到待融合区域。
优选地，融合模块还包括夹角检测子模块、调整子模块；夹角检测子模块检测前置摄像头的光轴与后置摄像头的光轴之间的夹角；调整子模块根据夹角调整人物对象，获得待融合人物对象；并且区域参数获取子模块检测待融合人物对象的区域参数；待融合区域获取子模块根据待融合人物对象的区域参数确定待融合区域；拼接子模块将待融合人物对象拼接到待融合区域。
优选地，插入中心点确定子模块查询摄像偏好，根据摄像偏好确定插入中心点在第四图像中的坐标范围，并根据人物对象的区域参数确定插入中心点的精确坐标。
本申请还提供一种移动终端，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现权利要求1-5中任一项的图像处理方法。
本申请的有益效果如下：
（1）本申请将前置摄像头和后置摄像头同时拍摄的图像融合到一起，实现移动终端两端的人物对象和景物的结合显示。
（2）本申请首先根据前置摄像头和后置摄像头拍摄的图像的参数进行调整，降低融合前后图像的参数差异。
（3）本申请根据用户的摄像偏好来融合两个图像，获得较好的用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程图；
图2是本申请实施例提供的将人物对象融合到第四图像中的流程图；
图3是本申请实施例提供的图像处理系统的结构示意图；
图4是本申请实施例提供的移动终端的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种图像处理方法及系统，将前置摄像头和后置摄像头拍摄的图像先调整后融合，达到了较好的融合效果。
实施例一
图1是本申请实施例提供的图像处理方法的流程图。如图1所示，图像处理方法包括如下步骤：
S110：接收前置摄像头的第一图像和后置摄像头的第二图像。
移动设备根据用户的拍摄指示开启前置摄像头和后置摄像头，同时进行拍摄。前置摄像头获得第一图像，后置摄像头获得第二图像。前置摄像头和后置摄像头将第一图像和第二图像传输到移动终端的处理器中。
S120：检测第一图像，获得第一图像的第一参数P 1 。
S130：检测第二图像，获得第二图像的第二参数P 2 ，第二参数与第一参数的参数类型一致。
处理器通过对图像进行检测，获得每个图像的属性，如分辨率、饱和度、亮度、对比度等。
本实施例中，处理器检测第一图像和第二图像，获得第一参数和第二参数，第一参数和第二参数的类型一致，方便后续根据二者的参数对比进行调整图像。
具体地，第一参数和第二参数包括分辨率或像素值。作为一个优选实施例，第一参数和第二参数还包括饱和度、亮度、对比度等。
S140：根据第一参数和第二参数确定第三参数P 3 ，第三参数的类型与第一参数、第二参数的类型一致，第三参数介于第一参数和第二参数之间。
作为一个实施例，第一参数、第二参数和第三参数为分辨率或像素值。
作为一个实例，第一参数表示的分辨率为3600×2700，第二参数表示的分辨率为3840×2880，则第三参数表示的分辨率可以为3672×2754。
S150：根据第三参数调整第一图像和第二图像，获得第三图像和第四图像。作为一个实例，对第一图像和第二图像进行缩放，第三图像和第四图像的分辨率或像素值均为第三参数，使得融合后两个图像没有明显的视差。
第三图像和第四图像中的像素点确定包括如下步骤（以第三图像为例）：
S1501：确定第三图像的压缩比a，a=P 1 /P 3 式（1）
S1502：确定第三图像与第一图像的像素位移矢量I i1
I i1 =I ir1 +I ig1 +I ib1 式（2）
其中，I ir1 为第三图像与第一图像中第i个像素点的R通道的像素位移矢量，I ig1 为第三图像与第一图像中第i个像素点的G通道的像素位移矢量，I ib1 为第三图像与第一图像中第i个像素点的B通道的像素位移矢量。I ir0 为第一图像中第i个像素点的R通道的像素矢量，I ig0 为第一图像中第i个像素点的G通道的像素矢量，I ib0 为第一图像中第i个像素点的B通道的像素矢量。
S1503：确定第三图像的像素矢量I i2
I i2 =I i0 +I i1 式（6）
I i0 =I ir0 +I ig0 +I ib0 式（7）
其中，I i0 为第一图像中第i个像素点的像素矢量。
S160：识别第三图像中的人物对象。
具体地，识别人物对象包括如下步骤：
S1601：识别第三图像中的肤色区域。
具体地，遍历第三图像，依据第三图像中像素点的CbCr值是否落入肤色分布的椭圆区域内来判断当前像素点是否为肤色像素点，从而确定第三图像中的肤色区域，该肤色区域包括人物对象的裸漏部位，如人脸部位、胳膊、手、腿及脚等身体部位。
其中，利用下述公式进行椭圆模型的肤色识别：
RGB-YCbCr空间转换，获得第三图像中的像素点的CbCr值：
其中，Cb、Cr为第三图像中像素点进行空间转换后的蓝色分量值和红色分量值。
作为一个实施例，式（9）中，
，
，
，
，
若第三图像中的像素点的CbCr值满足式（9），则该像素点为肤色像素点，否则该像素点为非肤色像素点。
S1602：在肤色区域中识别人脸部位。
具体地，首先在肤色区域中识别眼睛、鼻子和嘴巴，其次在眼睛、鼻子和嘴巴的周围识别人脸边缘。
S1603：依据人脸部位的位置识别身体部位。
具体地，结合人脸边缘周围色彩变化确定身体部位边缘。
人脸部位和身体部位组成的区域即为人物对象。
S170：将人物对象融合到第四图像中，形成融合图像。
具体地，如图2所示，将人物对象融合到第四图像中包括如下步骤：
S210：从第三图像中提取人物对象。
S220：检测前置摄像头的光轴与后置摄像头的光轴之间的夹角。
由于前置摄像头和后置摄像头在移动终端上的安装位置不同，因此拍照时，前置摄像头和后置摄像头拍摄到的人物和景物的倾斜角度和倾斜方向也不同。在融合前，需要统一人物对象与景物的倾斜角度和倾斜方向。
具体地，一般情况下，前置摄像头和后置摄像头均位于移动终端的上部，并且拍照时人物对象的面部正对移动终端的中心轴线。因此首先建立三维坐标，以移动终端的上边缘的中点作为三维坐标的原点，以移动终端屏幕的横向边缘和纵向边缘所在方向分别作为三维坐标的X轴和Y轴，垂直于X Y平面的轴线作为Z轴。其次，在三维坐标中确定前置摄像头的光轴的倾斜角度和后置摄像头的光轴的倾斜角度，从而确定前置摄像头的光轴与后置摄像头的光轴之间的夹角。
S230：根据夹角调整人物对象，获得待融合人物对象。
具体地，夹角确定了旋转的角度和方向，据此旋转提取出的人物对象的像素点。具体地，对人体特征点（包括嘴角、鼻尖、眼角等）做精确旋转，根据特征点的像素采用插值法确定非特征点的像素。
S240：检测待融合人物对象的区域参数。
具体地，区域参数包括根据待融合人物对象边缘轮廓确定的整体尺寸、尺寸突变部位及突变部位的尺寸变化等。
S250：确定第四图像的插入中心点；
具体地，确定第四图像的插入中心点包括如下步骤：
S2501：查询摄像偏好。
作为一个实施例，移动终端的存储器存储有用户的摄像偏好，处理器从存储器获取摄像偏好。作为另一个实施例，云服务器中存储有用户的摄像偏好，移动终端通过与云服务器通信获得摄像偏好。作为再一个实施例，移动终端的应用程序（如微信、抖音等社交APP）中存储有摄像偏好，处理器从应用程序的存储模块中获取摄像偏好。
具体地，摄像偏好包括用户在图像中所处的部位（如用户喜欢位于照片的中部、左侧或右侧）、用户与非用户的匹配优先级（如用户拍照时喜欢靠近植物或建筑物、用户拍照时喜欢站在湖边等）、用户与颜色的匹配优先级（如用户拍照时喜欢红色景物、绿色景物等）。并且，摄像偏好还包括不同方面的偏好的优先级，如用户在图像中所处的部位、用户与非用户的匹配或用户与颜色的匹配为最高优先级。
S2502：根据摄像偏好确定插入中心点在第四图像中的坐标范围。
具体地，作为一个实例，若用户拍照时喜欢红色景物，若第四图像中存在红色区域，则插入中心点位于该红色区域周围。
S2503：根据人物对象的区域参数确定插入中心点的精确坐标。
具体地，为确保人物对象的全部区域位于第四图像中，人物对象的最大尺寸点（如最高点、最低点、最左侧、最右侧）的坐标在第四图像的坐标范围内。
S260：根据区域参数在第四图像中获取与待融合人物对象匹配的待融合区域，待融合区域的中心点与插入中心点重合。区域参数可确定待融合人物对象的轮廓形状，因此，获取的待融合区域的轮廓形状与待融合人物的轮廓形状完全吻合。
S270：将待融合区域的图像从第四图像中抠除。
作为一个实施例，采用closed form算法进行抠图。
S280：将待融合人物对象拼接到待融合区域。
S290：对待融合人物对象与第四图像的边界进行边缘融合。由于待融合区域的轮廓形状与待融合人物对象完全吻合，因此，二者拼接后存在明显的边界，需要进行边缘融合。
S2100：对融合后的图像进行增强处理。为了确保融合后背景对象与人物对象的视觉整齐化，对融合后的图像进行整体增强处理，最终得到融合图像。
本实施例中，优选地，待融合人物对象与第四图像融合前，还包括获取第四图像的背景对象，并将待融合人物对象融合到背景对象中。
获取第四图像的背景对象包括如下步骤：
P10：识别第四图像中的非背景对象，其中，非背景对象包括第四图像中与用户无关的人物对象、动物等。
P20：将非背景对象从第四图像中抠除，形成抠除区域。
P30：利用插值法填充抠除区域的图像，形成背景对象。
实施例二
本申请还提供了一种与上述图像处理方法匹配的图像处理系统。如图3所示，图像处理系统包括图像接收模块310、第一参数获取模块320、第二参数获取模块330、第三参数获取模块340、调整模块350、识别模块360以及融合模块370。
图像接收模块310接收前置摄像头拍摄的第一图像和后置摄像头拍摄的第二图像。
第一参数获取模块320与图像接收模块310连接，用于检测第一图像，获得第一图像的第一参数。
第二参数获取模块330与图像接收模块310连接，用于检测第二图像，获得第二图像的第二参数，第二参数与第一参数的参数类型一致。
具体地，第一参数和第二参数包括分辨率。作为一个优选实施例，第一参数和第二参数还包括饱和度、亮度、对比度等。
第三参数获取模块340与第一参数获取模块320和第二参数获取模块330连接，用于根据第一参数和第二参数确定融合图像的第三参数。具体地，第一参数、第二参数和第三参数为分辨率。
调整模块350与第三参数获取模块340连接，用于根据第三参数调整第一图像和第二图像，获得第三图像和第四图像。具体地，调整模块350确定第三图像和第四图像的压缩比，根据压缩比确定第三图像和第四图像的像素位移矢量，并确定第三图像和第四图像的像素矢量，从而确定第三图像和第四图像的像素点。
识别模块360与图像接收模块310连接，用于识别第三图像中的人物对象。具体地，识别模块360包括肤色区域识别子模块、人脸部位识别子模块以及身体部位识别子模块。
肤色区域识别子模块遍历第三图像，依据第三图像中像素点的CbCr值是否落入肤色分布的椭圆区域内来判断当前像素点是否属于肤色像素点，从而确定第三图像中的肤色区域，该肤色区域包括人物对象的裸漏部位，如人脸部位、胳膊、手、腿及脚等身体部位。
人脸部位识别子模块首先在肤色区域中识别眼睛、鼻子和嘴巴，其次在眼睛、鼻子和嘴巴的周围识别人脸边缘。
身体部位识别子模块结合人脸边缘周围色彩变化确定身体部位边缘。
人脸部位和身体部位组成的区域即为人物对象。
融合模块370与识别模块360和调整模块350连接，用于将人物对象融合到第四图像中，形成融合图像。
具体地，如图4所示，融合模块包括人物对象提取子模块410、夹角检测子模块420、调整子模块430、区域参数获取子模块440、插入中心点确定子模块450、待融合区域获取子模块460、抠除子模块470、拼接子模块480、边缘融合子模块490以及整体增强子模块4100。
人物对象提取子模块410从第三图像中提取人物对象。
夹角检测子模块420与人物对象提取子模块410连接，用于检测前置摄像头的光轴与后置摄像头的光轴之间的夹角。
调整子模块430与夹角检测子模块420连接，用于根据夹角调整人物对象，获得待融合人物对象。
区域参数获取子模块440与调整子模块430连接，用于检测待融合人物对象的区域参数。具体地，区域参数包括根据待融合人物对象边缘轮廓确定的整体尺寸、尺寸突变部位及突变部位的尺寸变化等。
插入中心点确定子模块450确定第四图像的插入中心点。
具体地，插入中心点确定子模块包括偏好查询子模块、坐标范围确定子模块以及精确坐标确定子模块。
偏好查询子模块查询摄像偏好。
作为一个实施例，移动终端的存储器存储有用户的摄像偏好，处理器从存储器获取摄像偏好。作为另一个实施例，云服务器中存储有用户的摄像偏好，移动终端通过与云服务器通信获得摄像偏好。作为再一个实施例，移动终端的应用程序（如微信、抖音等社交APP）中存储有摄像偏好，处理器从应用程序的存储器中获取摄像偏好。
具体地，摄像偏好包括用户在图像中所处的部位（如用户喜欢位于照片的中部、左侧或右侧）、用户与非用户的匹配优先级（如用户拍照时喜欢靠近植物或建筑物、用户拍照时喜欢站在湖边等）、用户与颜色的匹配优先级（如用户拍照时喜欢红色景物、绿色景物等）。并且，摄像偏好还包括不同方面的偏好的优先级，如用户在图像中所处的部位、用户与非用户的匹配或用户与颜色的匹配为最高优先级。
坐标范围确定子模块根据摄像偏好确定插入中心点在第四图像中的坐标范围。
具体地，作为一个实例，若用户拍照时喜欢红色景物，若第四图像中存在红色区域，则插入中心点位于该红色区域周围。
精确坐标确定子模块根据人物对象的区域参数确定插入中心点的精确坐标。
具体地，为确保人物对象的全部区域位于第四图像中，人物对象的最大尺寸点（如最高点、最低点、最左侧、最右侧）的坐标在第四图像的坐标范围内。
待融合区域获取子模块460与插入中心点确定子模块450和区域参数获取子模块440连接，用于根据待融合人物对象的区域参数在第四图像中获取与待融合人物对象匹配的待融合区域，待融合区域的中心点与插入中心点重合。
抠除子模块470与待融合区域获取子模块460连接，用于将待融合区域的图像从第四图像中抠除。
拼接子模块480与抠除子模块470和调整子模块430连接，将待融合人物对象拼接到待融合区域。
边缘融合子模块490与拼接子模块480连接，用于对待融合人物对象与第四图像的边界进行边缘融合。
整体增强子模块4100与边缘融合子模块490连接，用于对融合后的图像进行增强处理。为了确保融合后背景对象与人物对象的视觉整齐化，对融合后的图像进行整体增强处理，最终得到融合图像。
本实施例中，优选地，图像处理系统还包括背景对象获取模块。
待融合人物对象与第四图像融合前，获取第四图像的背景对象，并将待融合人物对象融合到背景对象中。
具体地，背景对象获取模块识别第四图像中的非背景对象，将非背景对象从第四图像中抠除，形成抠除区域，利用插值法填充抠除区域的图像，形成背景对象。
其中，非背景对象包括第四图像中与用户无关的人物对象、动物等。
实施例三
本申请还提供了一种移动终端，其包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序。处理器包括上述的图像处理系统，计算机程序被处理器执行时实现上述的图像处理方法。
作为一个实施例，存储器还存储用户的摄像偏好。
本申请的有益效果如下：
（1）本申请将前置摄像头和后置摄像头同时拍摄的图像融合到一起，实现移动终端两端的人物对象和景物的结合显示。
（2）本申请首先根据前置摄像头和后置摄像头拍摄的图像的参数进行调整，降低融合前后图像的参数差异。
（3）本申请根据用户的摄像偏好来融合两个图像，获得较好的用户体验。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
接收前置摄像头的第一图像和后置摄像头的第二图像；
检测第一图像，获得第一图像的第一参数；
检测第二图像，获得第二图像的第二参数，所述第二参数与所述第一参数的参数类型一致；
根据所述第一参数和所述第二参数确定融合图像的第三参数；
根据第三参数调整第一图像和第二图像，获得第三图像和第四图像；
识别第三图像中的人物对象；
将所述人物对象融合到所述第四图像中，形成融合图像;
其中, 获得第三图像时,确定第三图像中的像素点包括如下步骤：
确定第三图像的压缩比a，a=P 1 /P 3
其中, P 1 为第一参数, P 3 为第三参数;
确定第三图像与第一图像的像素位移矢量I i1
I i1 =I ir1 +I ig1 +I ib
其中，I ir1 为第三图像与第一图像中第i个像素点的R通道的像素位移矢量，I ig1 为第三图像与第一图像中第i个像素点的G通道的像素位移矢量，I ib1 为第三图像与第一图像中第i个像素点的B通道的像素位移矢量，I ir0 为第一图像中第i个像素点的R通道的像素矢量，I ig0 为第一图像中第i个像素点的G通道的像素矢量，I ib0 为第一图像中第i个像素点的B通道的像素矢量；
确定第三图像的像素矢量I i2
I i2 =I i0 +I i1
I i0 =I ir0 +I ig0 +I ib0
其中，I i0 为第一图像中第i个像素点的像素矢量。
2.如权利要求1所述的图像处理方法，其特征在于，所述第一参数和所述第二参数为分辨率。
3.如权利要求1所述的图像处理方法，其特征在于，将所述人物对象融合到所述第四图像中包括：
从所述第三图像中提取所述人物对象；
检测所述人物对象的区域参数；
确定所述第四图像的插入中心点；
根据所述区域参数在所述第四图像中获取与所述人物对象匹配的待融合区域，所述待融合区域的中心点与所述插入中心点重合；
将所述待融合区域的图像从所述第四图像中抠除；
将所述人物对象拼接到所述待融合区域。
4.如权利要求3所述的图像处理方法，其特征在于，提取所述人物对象后，还包括：
检测所述前置摄像头的光轴与所述后置摄像头的光轴之间的夹角；
根据所述夹角调整所述人物对象，获得待融合人物对象；并且
根据所述待融合人物对象的区域参数确定所述待融合区域，并将所述待融合人物对象拼接到所述待融合区域。
5.如权利要求3或4所述的图像处理方法，其特征在于，确定所述第四图像的插入中心点包括：
查询摄像偏好；
根据所述摄像偏好确定所述插入中心点在所述第四图像中的坐标范围；
根据所述人物对象的区域参数确定所述插入中心点的精确坐标。
6.一种图像处理系统，其特征在于，包括图像接收模块、第一参数获取模块、第二参数获取模块、第三参数获取模块、调整模块、识别模块以及融合模块；
所述图像接收模块接收前置摄像头的第一图像和后置摄像头的第二图像；
所述第一参数获取模块检测第一图像，获得第一图像的第一参数；
所述第二参数获取模块检测第二图像，获得第二图像的第二参数，所述第二参数与所述第一参数的参数类型一致；
所述第三参数获取模块根据所述第一参数和所述第二参数确定融合图像的第三参数；
所述调整模块根据第三参数调整第一图像和第二图像，获得第三图像和第四图像；
所述识别模块识别第三图像中的人物对象；
所述融合模块将所述人物对象融合到所述第四图像中，形成融合图像；
其中，所述调整模块：
确定第三图像的压缩比a，a=P 1 /P 3
其中, P 1 为第一参数, P 3 为第三参数;
根据压缩比确定第三图像的像素位移矢量I i1
I i1 =I ir1 +I ig1 +I ib
其中，I ir1 为第三图像与第一图像中第i个像素点的R通道的像素位移矢量，I ig1 为第三图像与第一图像中第i个像素点的G通道的像素位移矢量，I ib1 为第三图像与第一图像中第i个像素点的B通道的像素位移矢量，I ir0 为第一图像中第i个像素点的R通道的像素矢量，I ig0 为第一图像中第i个像素点的G通道的像素矢量，I ib0 为第一图像中第i个像素点的B通道的像素矢量；以及
确定第三图像的像素矢量I i2 ，从而确定第三图像的像素点
I i2 =I i0 +I i1
I i0 =I ir0 +I ig0 +I ib0
其中，I i0 为第一图像中第i个像素点的像素矢量。
7.如权利要求6所述的图像处理系统，其特征在于，所述融合模块包括人物对象提取子模块、区域参数获取子模块、插入中心点确定子模块、待融合区域获取子模块、抠除子模块以及拼接子模块；
所述人物对象提取子模块从所述第三图像中提取所述人物对象；
所述区域参数获取子模块检测所述人物对象的区域参数；
所述插入中心点确定子模块确定所述第四图像的插入中心点；
所述待融合区域获取子模块根据所述区域参数在所述第四图像中获取与所述人物对象匹配的待融合区域，所述待融合区域的中心点与所述插入中心点重合；
所述抠除子模块将所述待融合区域的图像从所述第四图像中抠除；
所述拼接子模块将所述人物对象拼接到所述待融合区域。
8.如权利要求7所述的图像处理系统，其特征在于，所述融合模块还包括夹角检测子模块、调整子模块；
所述夹角检测子模块检测所述前置摄像头的光轴与所述后置摄像头的光轴之间的夹角；
所述调整子模块根据所述夹角调整所述人物对象，获得待融合人物对象；并且
所述区域参数获取子模块检测待融合人物对象的区域参数；
所述待融合区域获取子模块根据所述待融合人物对象的区域参数确定所述待融合区域；
所述拼接子模块将所述待融合人物对象拼接到所述待融合区域。
9.如权利要求7或8所述的图像处理系统，其特征在于，所述插入中心点确定子模块查询摄像偏好，根据所述摄像偏好确定所述插入中心点在所述第四图像中的坐标范围，并根据所述人物对象的区域参数确定所述插入中心点的精确坐标。
10.一种移动终端，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序；
所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458146.6A CN111369445B (zh) | 2020-05-27 | 2020-05-27 | 一种图像处理方法、系统及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458146.6A CN111369445B (zh) | 2020-05-27 | 2020-05-27 | 一种图像处理方法、系统及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369445A CN111369445A (zh) | 2020-07-03 |
| CN111369445B true CN111369445B (zh) | 2020-09-15 |
Family
ID=71211084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010458146.6A Active CN111369445B (zh) | 2020-05-27 | 2020-05-27 | 一种图像处理方法、系统及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369445B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092608B (zh) * | 2021-11-17 | 2023-06-13 | 广州博冠信息科技有限公司 | 表情的处理方法及装置、计算机可读存储介质、电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713768A (zh) * | 2013-10-30 | 2017-05-24 | 广东欧珀移动通信有限公司 | 人景图像合成方法、系统和计算机设备 |
| CN107395985A (zh) * | 2017-08-28 | 2017-11-24 | 京东方科技集团股份有限公司 | 一种移动终端图像合成方法、装置及移动终端 |
| CN107610077A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN108986033A (zh) * | 2018-07-26 | 2018-12-11 | 西安电子科技大学 | 基于双线性插值算法处理的图像缩放方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134225B (zh) * | 2014-08-06 | 2016-03-02 | 深圳市中兴移动通信有限公司 | 图片的合成方法及装置 |
| CN105578028A (zh) * | 2015-07-28 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法及终端 |
| CN106027900A (zh) * | 2016-06-22 | 2016-10-12 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN107395957B (zh) * | 2017-06-30 | 2019-12-10 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
| CN107592459A (zh) * | 2017-09-22 | 2018-01-16 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
-
2020
- 2020-05-27 CN CN202010458146.6A patent/CN111369445B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713768A (zh) * | 2013-10-30 | 2017-05-24 | 广东欧珀移动通信有限公司 | 人景图像合成方法、系统和计算机设备 |
| CN107395985A (zh) * | 2017-08-28 | 2017-11-24 | 京东方科技集团股份有限公司 | 一种移动终端图像合成方法、装置及移动终端 |
| CN107610077A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN108986033A (zh) * | 2018-07-26 | 2018-12-11 | 西安电子科技大学 | 基于双线性插值算法处理的图像缩放方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369445A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10674069B2 (en) | Method and apparatus for blurring preview picture and storage medium | |
| CN106210501B (zh) | 图像合成方法与图像处理装置 | |
| JP6101397B2 (ja) | 写真出力方法および装置 | |
| CN106331508B (zh) | 拍摄构图的方法及装置 | |
| CN107734253B (zh) | 图像处理方法、装置、移动终端和计算机可读存储介质 | |
| CN107911621B (zh) | 一种全景图像的拍摄方法、终端设备以及存储介质 | |
| EP2199978B1 (en) | Image capturing apparatus having subject cut-out function | |
| CN107509031B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107730445A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN106878695A (zh) | 白平衡处理的方法、装置和计算机设备 | |
| KR102229811B1 (ko) | 단말기를 위한 촬영 방법 및 단말기 | |
| CN107730444A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| GB2453890A (en) | Pupil colour correction device and program | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| CN104992417B (zh) | 基于Kinect的人脸视频目光修正方法及系统 | |
| CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
| US20090290048A1 (en) | Pupil color correction device and program | |
| CN111369445B (zh) | 一种图像处理方法、系统及移动终端 | |
| WO2022047701A1 (zh) | 图像处理方法和装置 | |
| CN111526282A (zh) | 基于飞行时间的可调景深拍摄的方法及设备 | |
| CN110266955B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| JP7374582B2 (ja) | 画像処理装置、画像生成方法およびプログラム | |
| CN110177216B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| CN110910487B (zh) | 构建方法、构建装置、电子装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220609 Address after: 9a12, building 1, yard 13, Dazhong temple, Haidian District, Beijing 100089 Patentee after: Beijing Borui Chenghui Technology Co.,Ltd. Address before: 101300 room 3001, 3rd floor, 102 door, building 8, yard 12, Xinzhong street, Nanfaxin Town, Shunyi District, Beijing Patentee before: Beijing Weijie Dongbo Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |