CN113112505A - 一种图像处理方法、装置与设备 - Google Patents

一种图像处理方法、装置与设备 Download PDF

Info

Publication number
CN113112505A
CN113112505A CN202110285512.7A CN202110285512A CN113112505A CN 113112505 A CN113112505 A CN 113112505A CN 202110285512 A CN202110285512 A CN 202110285512A CN 113112505 A CN113112505 A CN 113112505A
Authority
CN
China
Prior art keywords
image
video
background
template
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110285512.7A
Other languages
English (en)
Other versions
CN113112505B (zh
Inventor
李宇
马飞龙
王提政
黄秀杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110285512.7A priority Critical patent/CN113112505B/zh
Publication of CN113112505A publication Critical patent/CN113112505A/zh
Application granted granted Critical
Publication of CN113112505B publication Critical patent/CN113112505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/60—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了一种图像处理方法，通过对图像进行模板分割，在图像中确定出目标区域和背景区域；通过对目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现终端用户拍照或拍摄视频时具有电影特效，提升用户拍照体验。此外，本发明还提供了一种闪烁修复方法，使得视频内容的颜色变化更加流畅和自然。

Description

一种图像处理方法、装置与设备
技术领域
本发明涉及终端技术领域，尤其涉及一种图像处理方法、装置与设备。
背景技术
拍摄，是用摄影机﹑录像机把人﹑物的形象记录下来。不同的场景有不同的拍摄技巧，有夜景拍摄、雨景拍摄、建筑物拍摄、人像拍摄等，电影动态艺术拍摄同样是拍摄的一类，但都要遵循一定的原则。随着科技的进步，拍摄也变得越来越简单，越来越符合大众化。
随着网络带宽的提升以及终端处理能力的增强，视频和图像的拍摄和分享越来越便捷，视频消费已经成为新的全民生活方式。视频已经快速成为网络上流量的主要集中地，在未来几年中预期会占到80％～90％的流量。
日常生活中，拍摄已经成为人们展示自己和探寻美好的主要途径，人们都希望自己拍出更多有趣的风格；例如在拍摄的同时，完成图像或者视频的特效处理，实现所见即所得的拍摄体验。因此，对于非专业人士，终端中需要集成更多的新颖的图像处理技术。
目前终端录像功能普遍比较单调。现有的视频拍摄通常只能提供常规拍摄，而无法实现一些个性化的效果。
发明内容
本发明提供了一种图像处理方法，通过对图像进行模板分割，在图像中确定出目标区域和背景区域；通过对目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现终端用户拍照或拍摄视频时具有电影特效，提升用户拍照体验。
本发明实施例提供的具体技术方案如下：
第一方面，本发明实施例提供一种图像处理方法，方法应用于录制视频的过程中，方法包括：获取N个图像；对N个图像中的每一个图像执行步骤1和步骤2，得到目标视频；
步骤1：根据图像中物体的类别在图像中确定出目标区域和背景区域；背景区域为图像中除目标区域以外的部分；
步骤2：对目标区域和背景区域采用不同的颜色处理方式进行处理，得到目标图像；在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度。
第二方面，本发明实施例提供一种图像处理装置，装置以用于拍摄视频的过程中，装置包括：拍摄模块，用于获取N个图像；确定模块，用于对N个图像中的每一个图像，根据图像中物体的类别在图像中确定出目标区域和背景区域；背景区域为所述图像中除目标区域以外的部分；颜色处理模块，用于对目标区域和背景区域采用不同的颜色处理方式进行处理，得到目标图像；在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度。
第三方面，本发明实施例提供一种图像处理方法，方法应用于拍照过程中，方法包括：
获取图像；根据图像中物体的类别在图像中确定出目标区域和背景区域，背景区域为图像中除目标区域以外的部分；对目标区域和背景区域采用不同的颜色处理方式进行处理，得到目标图像；其中，在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度。
第四方面，本发明实施例提供一种图像处理装置，装置包括：
拍摄模块，用于获取图像；确定模块，用于根据图像中物体的类别在图像中确定出目标区域和背景区域；背景区域为所述图像中除目标区域以外的部分；颜色处理模块，用于对目标区域和背景区域采用不同的颜色处理方式进行处理，得到目标图像；在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度。
根据第一方面、第二方面、第三方面或者第四方面，在一种可能的设计中，根据所述图像中物体的类别在图像中确定出目标区域和背景区域包括：对图像进行语义分割，得到k个分割模板；其中，k个分割模板对应于不同的物体类别；
若k＝2，且这2个分割模板中包含1个物体模板和1个背景模板，则将物体模板对应的图像区域确定为目标区域，将背景模板对应的区域确定为背景区域；或者，
若k大于2，且k个分割模板当中有k0个物体模板包含的像素数量大于预设阈值，则将k0个物体模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；其中，k0为小于k的非负整数；或者，
若k大于2，将k个分割模板当中包含像素数量最多的分割模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；或者，
若k大于2，则根据预先设置的物体类别的优先级在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；或者，
若k大于2，则根据用户的选择指令在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。该方法可以由确定模块具体执行。
根据第一方面、第二方面、第三方面或者第四方面，在一种可能的设计中，对目标区域和背景区域采用不同的颜色处理方式进行处理包括：
对目标区域保留色彩，对背景区域进行黑白处理；或者，
对目标区域保留色彩，对背景区域进行变暗处理；或者，
对目标区域保留色彩，对背景区域进行模糊处理；或者，
对目标区域色彩增强，对背景区域进行黑白处理；或者，
对目标区域色彩增强，对背景区域进行变暗处理；或者，
对目标区域色彩增强，对背景区域进行模糊处理……
此外，对背景区域的处理方法还可以包括复古、胶片等暗色调类型的滤镜方式；该方法由颜色处理模块具体执行。
根据第一方面、第二方面、第三方面或者第四方面，在一种可能的设计中，所述物体的类别包括人物、动物、植物、预设物体、或背景中的至少一个。
更具体地，上述可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理，如算法实现，信号获取等。
第五方面，本发明实施例提供一种图像处理方法，方法应用于录制视频的过程中，该方法具体包括：对于获取的每一个图像确定出图像中所包含的物体的类别；若当前图像的前N0个图像中，存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值；则根据图像中物体的类别在当前图像中确定出目标区域和背景区域；背景区域为当前图像中除目标区域以外的部分；且，对目标区域和背景区域分别采用第一颜色处理方式和第二颜色处理方式进行处理，得到目标图像；其中，在目标图像中，目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度；若当前图像的前N0个图像中，存在同一物体被判断为不同类别的相邻图像组数大于预设阈值；则对当前图像采用第一颜色处理方式或第二颜色处理方式进行处理，得到目标图像。
第六方面，本发明实施例提供一种图像处理装置，应用于录制视频的过程中，该装置具体包括：拍摄模块，用于获取图像；确定模块，用于对于获取的每一个图像确定出图像中所包含的物体的类别；判断模块，用于若当前图像的前N0个图像中，存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值；则控制确定模块根据图像中物体的类别在当前图像中确定出目标区域和背景区域；背景区域为当前图像中除目标区域以外的部分；且控制颜色处理模块对目标区域和背景区域分别采用第一颜色处理方式和第二颜色处理方式进行处理，得到目标图像；其中，在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度；若当前图像的前N0个图像中，存在同一物体被判断为不同类别的相邻图像组数大于预设阈值；则控制闪烁修复模块对当前图像采用第一颜色处理方式或第二颜色处理方式进行处理，得到目标图像。
应理解，当前视频图像可以理解为某一时刻正在录制的图像，这里的某一时刻，在一些场景中可以理解为是一个泛指的时刻；在某一些场景中也可以理解为一些特定时刻，如最新的时刻，或者用户感兴趣的时刻。
根据第五方面或者第六方面，在一种可能的设计中，根据所述图像中物体的类别在图像中确定出目标区域和背景区域包括：对图像进行语义分割，得到k个分割模板；其中，k个分割模板对应于不同的物体类别；
若k＝2，且这2个分割模板中包含1个物体模板和1个背景模板，则将物体模板对应的图像区域确定为目标区域，将背景模板对应的区域确定为背景区域；或者，
若k大于2，且k个分割模板当中有k0个物体模板包含的像素数量大于预设阈值，则将k0个物体模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；其中，k0为小于k的非负整数；或者，
若k大于2，将k个分割模板当中包含像素数量最多的分割模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；或者，
若k大于2，则根据预先设置的物体类别的优先级在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；或者，
若k大于2，则根据用户的选择指令在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。该方法可以由确定模块具体执行。
根据第五方面或者第六方面，在一种可能的设计中，对目标区域和背景区域采用不同的颜色处理方式进行处理包括：
对目标区域保留色彩，对背景区域进行黑白处理；或者，
对目标区域保留色彩，对背景区域进行变暗处理；或者，
对目标区域保留色彩，对背景区域进行模糊处理；或者，
对目标区域色彩增强，对背景区域进行黑白处理；或者，
对目标区域色彩增强，对背景区域进行变暗处理；或者，
对目标区域色彩增强，对背景区域进行模糊处理……
此外，对背景区域的处理方法还可以包括复古、胶片等暗色调类型的滤镜方式；该方法由颜色处理模块具体执行。
根据第五方面或者第六方面，在一种可能的设计中，上述物体的类别包括人物、动物、植物、预设物体、或背景中的至少一个。
更具体地，上述可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理，如算法实现，信号获取等。
根据第七方面，本发明实施例提供一种终端设备，包含摄像头、存储器、处理器、总线；摄像头、存储器、以及处理器通过总线相连；摄像头用于采集图像，存储器用于存储计算机程序和指令，处理器用于调用存储器中存储的计算机程序和指令以及采集的图像，还具体用于使终端设备执行如上述任何一种可能的设计方法。
根据第七方面，在一种可能的设计中，终端设备还包括天线系统、天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
对于上述任何一种可能的设计中的技术方案，在不违背自然规律的前提下，可以进行方案之间的组合。
现有技术中拍摄视频和图像，不加任何图像中个体的区分以及颜色的区分，特效效果不够丰富，通过本发明，能够将图像中的不同区域通过颜色进行差异性区分，使得照片或者视频的特效增强，更能突显图像中的主体和目标，使得主要角色更加突出。
附图说明
图1为本发明实施例中一种终端结构示意图；
图2为本发明实施例中一种图像处理方法流程图；
图3为本发明实施例中一种分割模板标识示例；
图4为本发明实施例中另一种分割模板标识示例；
图5为本发明实施例中一种确定目标模板的示意图；
图6为本发明实施例中另一种确定目标模板的示意图；
图7为本发明实施例中另一种确定目标模板的示意图；
图8为本发明实施例中另一种确定目标模板的示意图；
图9为本发明实施例中一种图像处理装置示意图；
图10为本发明实施例中另一种图像处理装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，终端，可以是向用户提供拍摄视频和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备，比如：数码相机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(PersonalDigital Assistant，个人数字助理)、车载电脑、无人机、航拍器等。
图1示出了终端100的一种可选的硬件结构示意图。
参考图1所示，终端100可以包括射频单元110、存储器120、输入单元130、显示单元140、摄像头150、音频电路160(包含扬声器161、麦克风162)、处理器170、外部接口180、电源190等部件。本领域技术人员可以理解，图1仅仅是智能终端或多功能设备的举例，并不构成对智能终端或多功能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。如，至少存在存储器120、处理器170、摄像头150。
摄像头150用于采集图像或视频，可以通过应用程序指令触发开启，实现拍照或者摄像功能。摄像头可以包括成像镜头，滤光片，图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、待拍摄对象、目标场景或目标对象，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入到处理器170进行后续处理。其中，摄像头可以位于终端设备的前面，也可以位于终端设备的背面，摄像头具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定，本申请不做限定。
输入单元130可用于接收输入的数字或字符信息，以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触摸屏131和/或其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作)，并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作，将所述触摸动作转换为触摸信号发送给所述处理器170，并能接收所述处理器170发来的命令并加以执行；所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131，输入单元130还可以包括其他输入设备。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元140可用于显示由用户输入的信息或提供给用户的信息、终端100的各种菜单、交互界面、文件显示和/或任意一种多媒体文件的播放。在本发明实施例中，显示单元还用于显示设备利用摄像头150获取到的图像/视频，可以包括某些拍摄模式下的预览图像/视频、拍摄的初始图像/视频以及拍摄后经过一定算法处理后的目标图像/视频。
进一步的，触摸屏131可覆盖显示面板141，当触摸屏131检测到在其上或附近的触摸操作后，传送给处理器170以确定触摸事件的类型，随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中，触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能；为便于描述，本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合；在某些实施例中，触摸屏与显示单元也可以作为两个独立的部件。
所述存储器120可用于存储指令和数据，存储器120可主要包括存储指令区和存储数据区，存储数据区可存储各种数据，如多媒体文件、文本等；存储指令区可存储操作系统、应用、至少一个功能所需的指令等软件单元，或者他们的子集、扩展集。还可以包括非易失性随机存储器；向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源，支持控制软件和应用。还用于多媒体文件的存储，以及运行程序和应用的存储。
处理器170是终端100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据，从而对手机进行整体控制。可选的，处理器170可包括一个或多个处理单元；优选的，处理器170可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器170中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，他们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号，发给计算处理设备相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器120中的数据和程序，以使其中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。
所述射频单元110可用于收发信息或通话过程中信号的接收和发送，例如，将基站的下行信息接收后，给处理器170处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General PacketRadio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换为电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162用于收集声音信号，还可以将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器170处理后，经射频单元110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理，音频电路也可以包括耳机插孔163，用于提供音频电路和耳机之间的连接接口。扬声器、麦克风的具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定，本申请不做限定。
终端100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器170逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
终端100还包括外部接口180，所述外部接口可以是标准的Micro USB接口，也可以使多针连接器，可以用于连接终端100与其他装置进行通信，也可以用于连接充电器为终端100充电。
尽管未示出，终端100还可以包括闪光灯、无线保真(wireless fidelity，WiFi)模块、蓝牙模块、不同功能的传感器等，在此不再赘述。下文中描述的部分或全部方法均可以应用在如图1所示的终端中。
本发明可应用于具有拍摄(至少包括拍照或摄像中的一个)功能的终端设备，落地产品形态可以是智能终端，如手机、平板、DV、摄像机、照相机、便携电脑、笔记本电脑、智能机器人、电视、安防系统、无人机等安装有摄像头的产品。具体地，本发明的功能模块可以部署在相关设备的DSP芯片上，具体的可以是其中的应用程序或软件；本发明部署在终端设备上，通过软件安装或升级，通过硬件的调用配合，提供图像处理功能。
本发明主要应用在终端设备拍摄图片或者拍摄视频的场景。人们对视频拍摄的要求也越来越高，希望在拍摄的同时，完成视频的特效处理，实现所见即所得的视频拍摄体验。本发明可以将图片或视频进行主体分割，并对不同的区域进行颜色调整，以实现画面的实时特效。
具体地，请参阅图2，图2为本发明实施例中一种图像处理方法流程图。该方法可以发生在拍摄图片或视频的过程中。下面以示例的方式对本发明进行说明。
示例1-拍摄图片(拍照)
对于本示例，在具体实现过程中，终端可以配置某一种拍照模式；在该拍照模式下该方法可以包括以下步骤：
步骤21：获取(也可以理解为拍摄或采集)图像。
具体地，当用户拍照时，屏幕中也会显示相应的预览流，预览图像可以泛指预览流中的一个图像，当用户点击快门时，获取到拍摄到的图像，尺寸例如但不限于1920*1080。
步骤22：根据拍摄到的图像中的内容(可以理解为场景语义)在该图像中确定出目标区域和背景区域，更具体的，可以根据图像中物体的类别在图像中确定出目标区域和背景区域；其中，背景区域为图像中除了目标区域以外的部分；目标区域对应于图像中的目标物体或目标对象，即用户想在图像中突出显示的物体或对象，可以与用户的交互选择或者系统设置有关。具体地，步骤22可以包括s221-s224。
s221：图像预处理。
将拍摄到的原始尺寸的图像进行下采样，转换为分辨率更小的图像。基于小图进行计算，可以降低运算量。具体实现过程中，可以将原始尺寸(如m0*n0)下采样到m*n的尺寸；其中m、n的值越小，后续运算量也就越小；但m、n如果过小则会导致后续的像素分辨能力下降。实验表明，m、n的合理取值区间为[128，512]，更具体地，[256，300]，m和n可以相等也可以不相等。例如，可以将1920*1080的图像下采样到256*256。
s222：将上述经下采样后的m*n的图像输入到神经网络进行语义分割，确定图像分割模板(Mask)。
语义分割是指对图像中物体进行像素级的分割，每个像素都可以标明属于哪类物体；对没有标明类别的部分，则标为“背景”。
具体地，语义分割可以采用基于CNN(Convolutional Neural Networks)的深度学习算法。基于CNN的网络模型，具体描述如下：
1)根据上述m*n的图像进行下采样和卷积；如下采样到m1*n1、m2*n2、……、mz*nz，逐层提取图片语义特征，得到m1*n1的特征图，m2*n2的特征图，……，mz*nz的特征图，即多尺度语义特征；其中m1、m2、……、mz成倍数关系且小于m；n1、n2、……、nz成倍数关系且小于n。例如，m＝2m1＝4m2＝，……，＝2z*mz；n＝2n1＝4n2＝，……，＝2z*nz。z的取值以及倍数关系可以根据算法性能和设计需求来确定。
2)根据m1*n1、m2*n2、……、mz*nz的特征图进行卷积和上采样，对多尺度语义特征进行融合。
对于上述提到的卷积、下采样、上采样的方法，可以采用业界公知的技术，本发明中不予以限定和列举。
3)确定出图像需要识别的类别，计算出各个类别在每个像素上的分值，取分值最大的物体类别(可简称类别)作为该像素的分类结果，最终得到Mask图，即分割模板。
例如，如果终端可以识别k个物体类别(如：人、动物、植物、其他预设物体、背景等等中的至少一个)，则可以得到k张图；图像中每个像素都会得到一个属于某个类别的分数值，分数越高表示该像素属于该类别的概率越高。
对任意一个像素，一旦确定了类别，就可以进行标识，如用1表示人物，用2表示车辆，用3表示动物，用4表示植物，0表示背景等。仅作举例，不构成任何限定。用户可以根据设计需求任意设计分类数目、种类以及标识方法。一种具体实例可以如图3所示，车辆所在像素区域均被神经网络分类为车，且标识为1，而周围的背景部分的像素区域都神经网络分类为背景，且被标识为0。再例如，神经网络输出的分割模板中，同一类物体的区域具有相同的标签，比如背景的标签为0，猫的标签为1，滑板的标签为2。在如图4中的分割模板中，还可以使用同一种颜色表示相同类别的标签，如人、马、背景分别用不同的颜色标识。
Mask是语义分割算法的结果，将图像中属于某一类物体的像素都标注为某一种颜色或标识，背景也标注为某一种颜色或标识，这样处理后所得到的图，称为Mask，以便于直观地显示分割的结果。
图像的内容可以包含主体和背景，为了便于叙述，相对应地，图像分割模板中可以包含主体模板和背景模板。主体模板可以对应于通过分割方法识别出来的主体，包括用户在拍照或者拍摄的图像中更想突出显示的个体，例如人物、动物、植物、或某种特定物体(杯子、桌子、衣服、装饰……)等；背景模板对应于图像中没有被识别为主体模板的其他区域；图像分割模板对应于整个图像。主体模板的识别能力与神经网络的性能有关，例如有些神经网络仅能识别出人和背景；有些神经网络能够识别出人、车和背景；有些神经网络仅能识别出车和背景；有些神经网络能够识别出人、动物和背景；有些神经网络仅能识别出动物和背景，有些神经网络能够识别出动物、植物和背景……
应理解，一个图片中也可以只有主体，也可以只有背景，当只有主体的时候也可以被标识为背景，这些设置可以由用户灵活设计和决定。
深度神经网络的训练需要采用大量的分割训练数据，训练数据集包括含有分割类别的大量图像，包含输入图像和分割模板图。训练集可以覆盖分割对象的各种典型应用场景，且具有数据的多样性。用训练集中的输入图像和分割模板图对网络进行训练，得到优良的网络参数，即得到用户满意的分割性能；并将得到的网络参数作为最终的使用的神经网络的计算参数。
s223：根据分割模板确定目标模板。
对于不同的图像，不同能力的神经网络，可能会得到多种多样的分割模板，终端还可以进一步地确定分割模板中哪些模板对应最需要突出、显著显示的物体，即需要确定目标模板。目标模板的确定包括但不限于以下几种方式。
方式1：如果分割模板仅有一个主体模板和背景模板，则将该主体模板确定为目标模板。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k＝2，且这2个分割模板中包含1个物体模板和1个背景模板，则将物体模板对应的图像区域确定为目标区域，将背景模板对应的区域确定为背景区域。
如图5所示，神经网络输出的图像的分割模板仅有主体模板A1和背景模板，则A1可以确定为目标模板。
方式2：如果分割模板中存在多个主体模板和背景模板的时候，若任意一个主体模板包含的像素数量大于一定阈值时，则将该主体模板确定为目标主体；若任意一个主体模板包含的像素数量小于一定阈值时，则将该主体模板进行重新标识，也标识为背景。主体模板包含的像素数量可以指该个体的图像连通区域包含的像素的数量。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k大于2，且k个分割模板当中有k0个物体模板包含的像素数量大于预设阈值，则将k0个物体模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域；其中，k0为小于k的非负整数。
如图6所示，神经网络输出的图像的分割模板中有主体模板A1、A2和背景模板。若其中A1包含的像素数量大于预设阈值，A2包含的像素数量不大于预设阈值，则将A1确定为目标模板，主体模板A2重新标识为背景模板，重新标识后的模板可以如图5所示。若其中A1包含的像素数量大于预设阈值，A2包含的像素数量也大于预设阈值，则将A1、A2均确定为目标模板。若其中A1、A2包含的像素数量均不大于预设阈值，则将A1、A2重新标识，标识为背景模板，即该图像中没有主体模板。
应理解，在具体实现过程中，A1、A2可以是同一类别也可以是不同类别。
方式3：如果分割模板中存在多个主体模板和背景模板的时候，选择包含像素数量最多的主体模板作为目标模板；并将其他主体模板进行重新标识，也标识为背景模板。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k大于2，将k个分割模板当中包含像素数量最多的分割模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。
如图6所示，神经网络输出的图像的分割模板中有主体模板A1、A2和背景模板，则将含有像素数量最多的A1确定为目标模板，主体模板A2重新标识为背景模板，重新标识后的模板可以如图5所示。
应理解，在具体实现过程中，A1、A2可以是同一类别也可以是不同类别。
方式4：如果分割模板中存在多个主体模板和背景模板的时候，且多个主体模板中存在多个类别时，则按照类别的优先级来确定目标模板。例如，人物模板高于车辆模板的优先级，那么人物模板为目标模板，车辆模板可以被重新标识为背景。例如，人物模板高于动物模板高于植物模板，如果系统设置的优先级为高于植物模板的均为主题模板，那么人物模板和动物模板均为目标模板，植物模板可以被重新标识为背景。应理解，同属统一类别模板的个体可以是一个或者多个。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k大于2，则根据预先设置的物体类别的优先级在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。
如图7所示，神经网络输出的图像的分割模板中有主体模板A1、B1和背景模板，A1和B1为不同类别，且A1的优先级高于B1的优先级；如果系统设置包括B1以及B1以上优先级的主题模板都可以作为目标模板，则A1、B1均为目标模板；如果系统设置B1以上优先级的主题模板可以作为目标模板，则将确定A1为目标模板，并将B1进行重新标识，标识为背景模板。
方式5：如果分割模板中存在多个主体模板和背景模板的时候，可以根据用户的输入的选择操作来确定目标模板，输入的方式包括但不限于触屏、语音等选择指令。用户选择了哪个个体，哪个个体对应的主体模板就是目标模板。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k大于2，则根据用户的选择指令在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。
如图7所示，神经网络输出的图像的分割模板中有主体模板A1、B1和背景模板。如果用户在拍照过程中触屏点击了A1对应的个体，则将A1确定为目标模板，并将B1进行重新标识，标识为背景模板。如果用户在拍照过程中触屏点击了B1对应的个体，则将B1确定为目标模板；并将A1进行重新标识，标识为背景模板。
方式6：如果分割模板中存在多个主体模板和背景模板的时候，且多个主体模板中存在多个类别时，可以根据用户的输入的选择操作来确定目标模板，输入的方式包括但不限于触屏、语音等选择指令。用户选择了哪个个体，哪个个体对应类别的所有主体模板就是目标模板。
具体地，假设对图像进行语义分割得到k个分割模板；其中，k个分割模板对应于不同的物体类别；若k大于2，则根据用户的选择指令在k个分割模板中确定出目标模板；将目标模板对应的图像区域确定为目标区域，将其余的分割模板对应的图像区域确定为背景区域。
如图8所示，神经网络输出的图像的分割模板中有主体模板A1、A2、B1、B2和背景模板，其中A1、A2为同一类别，B1、B2为同一类别。如果用户在拍照过程中触屏点击了A1对应的个体，则将同一类别的A1、A2确定为目标模板，并将B1、B2进行重新标识，标识为背景模板。如果用户在拍照过程中触屏点击了B2对应的个体，则将同一类别的B1、B2确定为目标模板；并将A1、A2进行重新标识，标识为背景模板。
应理解，上述方式的示例仅为举例不应构成限定，上述方式在不违背逻辑的情况下可以自由组合，因此图像在分个模板后，可以得到一个或者多个目标模板，这些目标模板可以只有一个类别，也可以包含多个类别，每个类别下还可以有一个或多个个体；显示的结果与终端系统的设置的确定目标模板的规则以及用户的输入有关，一些场景中，一个图像中也可能只含有背景模板。
s224：在原始图像中确定目标区域和背景区域。
将分割模板上采样到拍摄到的图像的原始尺寸，分割模板中的目标模板和背景模板也被上采样，上采样后的目标模板在原始图像中对应的所有像素组成的区域即目标区域，上采样后的背景模板在原始图像中对应的所有像素组成的区域即背景区域。
步骤23：对图像中的目标区域和背景区域采用不同的颜色处理方式进行处理，得到目标图像；其中，采用不同的颜色处理方式进行处理使得目标区域的色度大于背景区域的色度或者目标区域的亮度大于背景区域的亮度。即在目标图像中目标区域的色度大于背景区域的色度，或者目标区域的亮度大于背景区域的亮度。
具体地，对图像中的目标区域和背景区域分别采用第一颜色处理方式和第二颜色处理方式。包括但不限于以下方式：
方式1：第一颜色处理方式为保留色彩，第二颜色处理方式为滤镜，如对背景区域的颜色转换为黑白；典型的滤镜还包括黑白、变暗、复古、胶片、模糊、虚化等等中的任何一个。
例如，黑白滤镜是将每一个像素值映射为灰度值，实现黑白滤镜的效果；再如，变暗滤镜是将每一个像素值的亮度变低，实现变暗的特殊效果。
方式2：第一颜色处理方式为第一种滤镜方式，第二颜色处理方式为第二种滤镜方式，第一种滤镜方式和第二种滤镜方式不同。其中，对于同一个图像来说，第一种滤镜方式比第二种滤镜方式得到的图像色度更高。
方式3：第一颜色处理方式为第三种滤镜方式，第二颜色处理方式为第四种滤镜方式，第三种滤镜方式和第四种滤镜方式不同。其中，对于同一个图像来说，第三种滤镜方式比第四种滤镜方式得到的图像亮度更高。
应理解，颜色/色彩是由亮度和色度共同表示的，色度是不包括亮度在内的颜色的性质，它反映的是颜色的色调和饱和度，亮度是指色彩的明亮程度。因此颜色处理包含对亮度和/或色度的处理。
具体来说，滤镜可以包括调节色度、亮度、色相等，还可以包括叠加纹理等，通过调节色度和色相，可以有针对性的调节某一个色系，使之变浓、变淡或者改变色调，而其他色系不变。滤镜也可以理解为一种像素对像素的映射，通过预设的映射表，将输入图像的像素值映射为目标像素的像素值，从而实现特效效果。应理解，滤镜可以是预先设定的参数模板，这些与色彩有关的参数可以是业界公知的滤镜模板中的参数，也可以是由用户自主设计的参数。
作为补充的，在步骤23之后，方法还包括步骤24：保存经步骤23处理的图片。
通过本发明，在拍照的过程中，终端可以根据图片内容确定出目标个体和背景，并对目标个体和背景应用不同的颜色处理，使用户拍摄的图片能更突出主体，使得拍出来的图片具有大片儿感，犹如影片。
示例2-拍摄视频(录像)
具体地，本发明中录像与拍照的图像处理方法类似，不同之处在于拍照处理的对象是一张图像，而录像处理的对象是连续的视频帧，即连续的多张的图像，既可以是一个完整的视频，也可以是一个完整视频中的一个片段，或者用户自定义的某个时段区间的视频片段。对于视频或者视频片段中的每一帧图像的处理流程都可参考上述示例1中的处理方法。
具体地，拍摄视频中的图像处理方法可以包括以下步骤：
步骤31，获取拍摄的N帧图像，N为正整数，对每一帧图像执行步骤32-33操作，其中，N帧图像可以是相邻的视频帧，N帧图像的总和可以理解为一段视频；N帧图像也可以是非相邻关系。
步骤32，一种可选的实现方式可以同步骤22。
步骤33，一种可选的实现方式可以同步骤23。
作为补充，由于视频是连续的图像组成，因此个体的确定方式也会跟时序有关，因此步骤33除了步骤23之外还可以有更丰富的实现方式。可选的，s223中任意一种确认主体的方式可以具有延时性，例如在第L1帧中确定出人物和背景，通过像素标记和模板比对，可以在第L1+1帧到第L1+L0帧依旧确定这些图像中的该人物为主体，其对应的区域为目标区域0。可以不必每一帧都要判定主体和背景。每次确认主体的时刻可以由用户自主定义，还可以周期性确认主体，例如但不限于每2s或者每10s确定一次等等，每次确定主体的方式包括但不限于s223中的6种方式。
步骤34，保存经过颜色处理的N帧图像组成的视频。
通过本发明，用户可以在录像的过程中，终端根据视频中的内容确定出目标个体和背景，并对目标个体和背景应用不同的颜色处理，使用户拍摄的视频能更突出主体。使得拍出来的视频具有大片儿感，犹如影片，带来视频炫酷感，提升用户体验。
示例3-拍摄视频(录像)
本发明中录像与拍照的图像处理方法类似，不同之处在于拍照处理的对象是一张图像，而录像处理的对象是连续的视频帧，即连续的多张的图像。因此每一帧图像的处理流程都可参考上述示例1中的处理方法。在一些复杂的拍摄视频的场景中，图像中一些区域可能会被误检，如果同一个区域在相邻帧中分别被标记为目标或背景，则按照上述示例处理颜色的方法，对同一区域处理为不同的颜色，这种相邻帧中同一区域的颜色的变化会造成感官上的闪烁，因此需要在处理过程中对闪烁进行判断，并消除闪烁。闪烁可以理解为对物体类别的误判。
一种判断视频发生闪烁的方法可以基于光流对前一帧分割模板进行处理，得出一个基于光流的分割模板，对比光流分割模板与当前帧的分割模板的不同，当重合度或相似度超过一定比例时，判断为不闪烁，否则判断为闪烁。另外，应理解，判断闪烁是一个持续的过程。可选的，一种具体的判断是否存在闪烁的方法如下：
1)首先计算相邻帧的光流，光流表明了前后帧(t-1帧和t帧)中像素的位移关系。
2)获得t-1帧的分割模板，并根据t-1帧的分割模板，以及t-1帧和t帧的光流信息，计算出t帧的光流分割模板F，该光流分割模板是根据光流计算得到的。
3)获得t帧的分割模板S；
4)统计光流分割模板F中主体的像素集合SF，统计分割模板S的主体的像素集合SS，计算出SF和SS并集和交集的像素个数分别为Nu和Ni，当(Nu-Ni)/Nu大于一定阈值时，则认为相邻帧t-1帧和t帧的分割模板相差较大，判断为t-1帧和t帧之间会发生闪烁，也可以理解为第t帧发生闪烁。其中，相差较大表明同一个物体可能被误判为不同的类别。例如，t-1帧和t帧中的同一个个体被分别判断成为了人和猴。
可选地，若当前图像的前N0(大于2的正整数)个图像中，存在同一物体被判断为不同类别的相邻图像组数大于预设阈值，则可以判断需要对当前帧进行闪烁异常处理。存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值，则可以判断需要对当前帧进行闪烁异常处理。
可选地，例如，对于预定数量个历史相邻帧或预设数目个历史帧中，若有超过半数的帧都被判断为闪烁(如当前视频帧的前相邻5帧中，有3个视频帧被判定为闪烁)，则可以判断需要对当前帧进行闪烁异常处理；若有不超过半数的帧被判断为闪烁(如当前视频帧的前相邻5帧中，有1个视频帧被判定为闪烁)，则可以判断不需要对当前帧进行闪烁异常处理。
应理解，当前视频图像可以理解为某一时刻正在录制的图像，这里的某一时刻，在一些场景中可以理解为是一个泛指的时刻；在某一些场景中也可以理解为一些特定时刻，如最新的时刻，或者用户感兴趣的时刻。
具体地，本示例中拍摄视频中的图像处理方法可以包括以下步骤：
步骤41：获取拍摄的N帧图像，N为正整数，对每一帧图像执行步骤32-33操作，其中，N帧图像可以是相邻的视频帧，N帧图像的总和可以理解为一段视频；N帧图像也可以是非相邻关系。
步骤42：判断当前帧(当前图像)的前N0帧中发生闪烁的相邻图像组数是否大于预设阈值。这里的N0以及阈值可以是由用户设定的，如N0为选取的历史视频帧样本数量，阈值可以为N0的1/2或2/3等，仅作举例不做限定。
若判断结果为不大于预设阈值，对当前拍摄或采集到的图像执行步骤42-43的操作。
步骤43，一种可选的实现方式可以同步骤32。
步骤44，一种可选的实现方式可以同步骤33。
若判断结果为大于预设阈值，对当前拍摄或采集的图像执行步骤44操作。
步骤45：对当前帧的全部图像区域采用同一种颜色处理方法进行处理，得到目标图像。该同一种颜色处理方法可以与上一帧中的背景区域的颜色处理方法相同，或者可以与上一帧中的目标区域的颜色处理方法相同，或者可以与上一帧整个图像的颜色处理方法相同。例如可以对整幅图像采用与在步骤33(23)中对背景区域相同的颜色处理方法；也可以对整幅图像采用与在步骤33(23)中对目标区域相同的颜色处理方法。例如，图像全部保持彩色、或者全部变成黑白，或者图像全部采用第一或第二种颜色处理方式(包括但不限于上述示例1中提到的颜色处理方式)。
该情形下对于当前帧，既可以存在也可以省略如同步骤22的模板分割流程，本示例中不予以限定。
步骤45之后，执行步骤46：保存经过颜色处理的N帧图像组成的视频。N为正整数。
通过本发明，用户可以在录像的过程中，终端根据视频中的内容确定出目标个体和背景，并对目标个体和背景应用不同的颜色处理，使用户拍摄的视频能更突出主体。使得拍出来的视频具有大片儿感，犹如影片，带来视频炫酷感，提升用户体验。
示例4-拍摄视频(录像)
在一些应用场景中，用户拍摄的画面内容常常是会发生变化的，因此常常出现画面主体的变换，用户也希望在不同的画面中自由选择主体的颜色处理方式，以实现自主掌控视频风格。
拍摄视频过程中的图像处理方法可以包括如下步骤：
步骤51：获取视频帧；
步骤52：对于视频中获取的任意视频帧；确定该视频帧中的主体区域和背景区域；
步骤53：对于主体区域可以随时采用任何色彩处理方式，对于背景区域也可以随时采用任何色彩处理方式。但需要保证，对于任意一个图像，色彩处理后的主体区域的亮度或色度要高于色彩处理后的背景区域；或者，对于任意一个图像来说，主体区域应用的色彩处理方式要比背景区域应用的色彩处理方式得到的图像的色度或亮度更高。
示例5-拍摄视频(录像)
在一些应用场景中，用户拍摄的画面内容常常是会发生变化的，因此常常出现画面主体的变换，用户也希望在不同的画面中自由选择主体的颜色处理方式，以实现自主掌控视频风格。尤其是分时段进行变换色彩。
拍摄视频过程中的图像处理方法可以包括如下步骤：
步骤61：在第一时段内，采集N1个图像；在第二时段内，采集N2个图像；其中，第一时段与第二时段为相邻时段，N1和N2均为正整数；第一时段和第二时段可以是用户能够用肉眼区别出来图像变化的时长，N1、N2由录像时的帧率和时段的时长决定，本发明中不予以限定。
步骤62：对于N1个图像中的每个图像，在图像中确定出第一目标区域和第一背景区域；第一背景区域为图像中除第一目标区域以外的部分；其中，N1个图像中每个图像中的第一目标区域都对应第一物体(可以包含至少一个物体)；对于N2个图像中的每个图像，在图像中确定出第二目标区域和第二背景区域；第二背景区域为图像中除第二目标区域以外的部分；其中，N2个图像中每个图像中的第二目标区域都对应第二物体(可以包含至少一个物体)；
步骤63：对第一目标区域采用第一颜色处理方式进行处理，对第一背景区域采用第二颜色处理方式进行处理，对第二目标区域采用第三颜色处理方式进行处理，对第二背景区域采用第四颜色处理方式进行处理，得到目标视频；其中，在目标视频中，第一目标区域的色度大于第一背景区域的色度，或第一目标区域的亮度大于第一背景区域的亮度；并且，第二目标区域的色度大于第二背景区域的色度，或第二目标区域的亮度大于第二背景区域的亮度。
示例6-拍摄视频(录像)
在一些应用场景中，用户拍摄的画面内容常常是会发生变化的，因此常常出现画面主体的变换，用户也希望在不同的画面中自由选择想要突出的目标主体。例如第一时段内确定第一物体对应的图像区域为目标区域，第二时段内确定第二物体对应的图像区域为目标区域，第一物体和第二物体为不同的物体或个体或者类别。
该场景下，拍摄视频过程中的图像处理方法可以包括如下步骤：
步骤71：一种可选的实现方式可以同步骤61。
步骤72：根据图像内容在N1个图像中的任意一个图像中确定第一目标区域和第一背景区域；根据图像内容在N2个图像中的任意一个图像中确定第二目标区域和第二背景区域；第二目标区域对应的物体与第一目标区域对应的物体不同或者类别不同，可以让系统和用户自主选择目标主体和图像的目标区域。一个图像，是由主体和背景组成的，对应地，是由目标区域和背景区域组成的。
例如，第一物体为人，第二物体为动物；例如第一物体为人物甲，第二物体为人物乙；例如第一物体为两个人物，第二物体为一只狗和两只猫……其余没有别识别出来的区域均被标记为背景。
该方法可以通过如上述s221和s222的方法确定出图像分割模板，但是后续的方法并不局限于每帧图像都要在分割模板中确定出目标物体。
可选地，在图像分割模板中，用户可以自由输入，第一物体和第二物体是由用户输入选择指令来决定的，例如用户点选个体，则系统会识别出用户输入指令对应的像素，并进一步识别出用户选择的模板是哪一个(/些)个体(/可以是至少一个个体)或者哪一个(/些)类别(/可以是至少一个类别)，进而将那一个(/些)个体或者那一个(/些)类别下的所有个体确定为第一物体，将第一物体或者对应的图像区域确定为第一目标区域，并可以维持一段时间，即接下来的若干帧中，第一物体相应的分割模板对应的区域均为第一目标区域，直到用户在下一个时刻点选其他个体，将新个体所对应的区域按照上述类似的方法为确定为第二目标区域。在一个图像中，第一目标区域或第二目标区域以外的图像区域为背景区域。即第一个时段内第一物体相应的分割模板对应的区域为第一目标区域；即第二个时段内变为第二物体相应的分割模板对应的区域为第二目标区域。
可选地，在图像分割模板中，系统可以根据预设时间间隔(例如但不限于1s、2s等)或者预设帧数(例如但不限于50帧或100等)在图像分割模板中确定出一个时间段内的图像的目标模板。例如第101帧确定出第一目标模板，对于接下来的102帧-200帧中的每一帧，均采用与该第一目标模板类别相同或个体相同的分割模板作为第一目标模板；直到第201帧确定出第二目标模板，对于接下来的202帧-200帧中的每一帧，均采用与该第二目标模板类别相同或个体相同的分割模板作为第二目标模板，应理解，上述举例的数字可以根据用户或系统进行事先定义。
确定第一目标模板和第二目标模板的方法可以参照但不限于步骤s223中的6种方式中的任意一种。因此，第一目标模板和第二目标模板即可能是相同的类别或相同的个体，也有可能是不同的类别或不同的个体。与网络的识别能力、场景画面的变换、或者用户的输入命令有关。
即在某一刻确定出目标模板，并用该类型的模板或该个体的模板持续应用一段时间。
此外，并进一步根据如s224的方法确定出第一目标区域和第一背景区域、第二目标区域和第二背景区域。
步骤73：一种可选的实现方式可以同步骤63。
此外，由于本示例分时段可能会有所不同，因此颜色处理的方法的组合就会很多。
如：第一颜色处理方式与第三颜色处理方式相同，且第二颜色处理方式与第四颜色处理方式相同。这种颜色处理方式前后一致性很好。
如：第一颜色处理方式与第三颜色处理方式相同，且第二颜色处理方式与第四颜色处理方式不相同。这种颜色处理方式使得目标主体颜色保持一致，背景颜色会发生变化，使得整体视觉更为炫酷。
如：第一颜色处理方式与第三颜色处理方式不相同，且第二颜色处理方式与第四颜色处理方式相同。这种颜色处理方式使得背景颜色保持一致，目标主体颜色会发生变化，使得目标主体更为突出。
如：第一颜色处理方式与第三颜色处理方式不相同，且第二颜色处理方式与第四颜色处理方式不相同。这种颜色处理方式能够提供更多的色彩变换方式，可以在不同场景的需求下，提供更多的色彩配合。
第一颜色处理方式或第三颜色处理方式包括：保留色彩，或色彩增强等滤镜；第二颜色处理方式或第四颜色处理方式包括：黑白、变暗、复古、胶片、模糊、虚化等滤镜。
具体地，对同一个图像的目标区域和背景区域的颜色处理方法可参考步骤23。(其中，对于N2个图像来说，第三颜色处理方式与第四颜色处理方式分别类似于第一颜色处理方式和第二颜色处理方式。)
通过上述方案，一些场景中用户可以实现在不同的画面中自由选择背景的颜色处理方式，以实现不同的背景衬托。一些场景中用户可以实现在不同的画面中自由选择主体的颜色处理方式，以实现不同程度或形式的主体衬托。
应理解，在本发明不同的示例中，相同的标号所指的信号可以有不同的来源或可以通过不同的方式得到，并不构成限定。另外，在不同示例的步骤引用中，“同步骤xx”更侧重于指两者的信号处理逻辑类似，并不限定于两者的输入和输出都要完全相同，也并不限定两个方法流程完全等同，本领域技术人员能够引发合理的引用和变形都应属于本发明保护范围内。
本发明提供了一种图像处理方法，通过对图像进行模板分割，确定出图像中的目标区域和背景区域；通过对目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现电影特效。
基于上述实施例提供的图像处理方法，本发明实施例提供一种图像处理装置900；所述装置可以应用于多种终端设备，可以如终端100的任意一种实现形式，如包含摄像功能的终端，请参阅图9，该装置包括：
拍摄模块901，用于获取图像，可以是拍摄照片或者拍摄视频。该模块具体用于执行上述示例中步骤21、步骤31、步骤51、步骤61、或步骤71中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。
确定模块902，用于根据图像内容在图像中确定出目标区域和背景区域。该模块具体用于执行上述示例中步骤22、步骤32、步骤52、步骤62、或步骤72中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令，实现相应的算法来实现。
颜色处理模块903，用于对图像中的目标区域和背景区域采用不同的颜色处理方式，得到目标图像或目标视频；使得目标区域的色度大于背景区域的色度，或者使得目标区域的亮度大于背景区域的亮度。该模块具体用于执行上述示例中步骤23、步骤33、步骤53、步骤63、或步骤73中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令通过一定的算法来实现。
此外，该装置还可以包括保存模块904，用于存储被颜色处理过的图像或者视频。
其中，上述具体的方法示例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。
本发明提供了一种图像处理装置，通过对图像进行模板分割，根据图像内容确定出图像中的目标区域和背景区域；通过对目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现电影特效。
基于上述实施例提供的图像处理方法，本发明实施例还提供一种图像处理装置1000；所述装置可以应用于多种终端设备，可以如终端100的任意一种实现形式，如包含摄像功能的终端，请参阅图10，该装置包括：
拍摄模块1001，用于获取图像，可以是拍摄照片或者拍摄视频。该模块具体用于执行上述示例中步骤21、步骤31、步骤51、步骤61、或步骤71中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。
判断模块1002，用于判断当前帧的前N0帧中发生闪烁的帧数是否大于预设阈值。若判断结果为不大于预设阈值，则判断模块1002继续触发确定模块1003和颜色处理模块1004执行相关功能；若判断结果为大于预设阈值，则判断模块1002继续触发闪烁修复模块1005执行相关功能。该模块1002具体用于执行上述示例中步骤42中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令，实现相应的算法来实现。
确定模块1003，用于判断模块1002判断当前帧的前N0帧中发生闪烁的帧数不大于预设阈值时；根据图像内容在图像中确定出目标区域和背景区域。该模块具体用于执行上述示例中步骤22、步骤32、步骤43、步骤52、步骤62、或步骤72中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令，实现相应的算法来实现。颜色处理模块1004，用于对图像中的目标区域和背景区域采用不同的颜色处理方式；使得目标区域的色度大于背景区域的色度，或者使得目标区域的亮度大于背景区域的亮度。该模块具体用于执行上述示例中步骤23、步骤33、步骤44、步骤53、步骤63、或步骤73中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令通过一定的算法来实现。
闪烁修复模块1005，用于判断模块1002判断当前帧的前N0帧中发生闪烁的帧数大于预设阈值时；对当前帧的全部图像区域采用同一种颜色处理方法。该同一种颜色处理方法可以与上一帧中的背景区域的颜色处理方法相同，或者可以与上一帧中的目标区域的颜色处理方法相同。该模块具体用于执行上述示例中步骤45中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令通过一定的算法来实现。
此外，该装置1000还可以包括保存模块1006，用于存储被颜色处理过的图像或者视频。
其中，上述具体的方法示例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。
本发明提供了一种图像处理装置，通过对图像进行模板分割，根据图像内容确定出图像中的目标区域和背景区域；通过对目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现电影特效。
应理解以上装置中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。
应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：
当所述终端处于录像模式时，
采集第一视频；
在采集所述第一视频的过程中，利用预设神经网络根据物体的类别在所述第一视频的图像中确定出主体区域和背景区域；所述主体区域包括人物、动物、植物、车、衣服或其他预设物体；其中，所述背景区域为所述第一视频的图像中除所述主体区域以外的部分；
针对所述第一视频的图像，对所述主体区域保留色彩，对所述背景区域进行黑白处理，得到第二视频。
2.如权利要求1所述方法，其特征在于，在得到所述第二视频后，所述方法还包括：
采集第三视频；
在采集所述第三视频的过程中，利用所述预设神经网络根据物体的类别在所述第三视频的图像中仅确定出背景；
针对所述第三视频的图像进行黑白处理，得到第四视频。
3.如权利要求1所述方法，其特征在于，所述主体区域对应的第一分割模板与所述背景区域对应的第二分割模板与所述预设神经网络的性能有关。
4.如权利要求3所述方法，其特征在于，所述主体区域是通过所述第一分割模板对所述图像进行像素级分割得到的。
5.如权利要求1所述方法，其特征在于，所述预设神经网络是通过训练数据集训练得到的，所述训练数据集包括多种应用场景的输入图像和分割模板图。
6.如权利要求1所述方法，其特征在于，所述主体区域对应的分割模板在所述第一视频的图像中对应的像素数量大于预设阈值。
7.如权利要求1所述方法，其特征在于，所述第二视频的所有图像的主体区域对应于相同的对象。
8.如权利要求1所述方法，其特征在于，所述主体区域包括一个或多个相同类别的对象。
9.如权利要求1所述方法，其特征在于，所述主体区域包括多个不同类别的对象。
10.如权利要求1所述方法，其特征在于，所述方法还包括：对所述背景区域进行滤镜处理，所述滤镜包括变暗、复古、胶片或叠加纹理中的至少一种。
11.如权利要求1所述方法，其特征在于，所述主体区域与用户输入的选择命令有关。
12.一种图像处理装置，其特征在于，所述装置包括：
拍摄模块，用于当所述终端处于录像模式时，采集第一视频；
确定模块，用于在采集所述第一视频的过程中，利用预设神经网络根据物体的类别在所述第一视频的图像中确定出主体区域和背景区域；所述主体区域包括人物、动物、植物、车、衣服或其他预设物体；其中，所述背景区域为所述第一视频的图像中除所述主体区域以外的部分；
颜色处理模块，用于针对所述第一视频的图像，对所述主体区域保留色彩，对所述背景区域进行黑白处理，得到第二视频。
13.如权利要求12所述装置，其特征在于，所述拍摄模块还用于采集第三视频；所述确定模块还用于在采集所述第三视频的过程中，利用所述预设神经网络根据物体的类别在所述第三视频的图像中仅确定出背景；所述颜色处理模块还用于针对所述第三视频的图像进行黑白处理，得到第四视频。
14.如权利要求12所述装置，其特征在于，所述主体区域对应的第一分割模板与所述背景区域对应的第二分割模板与所述预设神经网络的性能有关。
15.如权利要求14所述装置，其特征在于，所述主体区域是通过所述第一分割模板对所述图像进行像素级分割得到的。
16.如权利要求12所述装置，其特征在于，所述预设神经网络是通过训练数据集训练得到的，所述训练数据集包括多种应用场景的输入图像和分割模板图。
17.如权利要求12所述装置，其特征在于，所述主体区域对应的分割模板在所述第一视频的图像中对应的像素数量大于预设阈值。
18.如权利要求12所述装置，其特征在于，所述第二视频的所有图像的主体区域对应于相同的对象。
19.如权利要求12所述装置，其特征在于，所述主体区域包括一个或多个相同类别的对象。
20.如权利要求12所述装置，其特征在于，所述主体区域包括多个不同类别的对象。
21.如权利要求12所述装置，其特征在于，所述颜色处理模块还用于对所述背景区域进行滤镜处理，所述滤镜包括变暗、复古、胶片或叠加纹理中的至少一种。
22.如权利要求12所述装置，其特征在于，所述主体区域与用户输入的选择命令有关。
23.一种终端设备，其特征在于，所述终端设备包含摄像头、存储器、处理器、总线；所述摄像头、所述存储器、以及所述处理器通过所述总线相连；
所述摄像头用于采集图像；
所述存储器用于存储计算机程序和指令；
所述处理器用于调用所述存储器中存储的所述计算机程序、指令和采集的图像，用于执行如权利要求1～11中任一项所述方法。
24.如权利要求23所述的终端设备，所述终端设备还包括天线系统、所述天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；所述移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
CN202110285512.7A 2018-10-15 2018-10-15 一种图像处理方法、装置与设备 Active CN113112505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285512.7A CN113112505B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110285512.7A CN113112505B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN201811199234.8A CN109816663B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811199234.8A Division CN109816663B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备

Publications (2)

Publication Number Publication Date
CN113112505A true CN113112505A (zh) 2021-07-13
CN113112505B CN113112505B (zh) 2022-04-29

Family

ID=66601864

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202110287237.2A Active CN113129312B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN201811199234.8A Active CN109816663B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN202110285512.7A Active CN113112505B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN201980068271.1A Active CN112840376B (zh) 2018-10-15 2019-06-18 一种图像处理方法、装置与设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110287237.2A Active CN113129312B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN201811199234.8A Active CN109816663B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980068271.1A Active CN112840376B (zh) 2018-10-15 2019-06-18 一种图像处理方法、装置与设备

Country Status (9)

Country Link
US (1) US20210241432A1 (zh)
EP (1) EP3859670A4 (zh)
JP (1) JP7226851B2 (zh)
KR (1) KR20210073568A (zh)
CN (4) CN113129312B (zh)
AU (1) AU2019362347B2 (zh)
BR (1) BR112021007094A2 (zh)
MX (1) MX2021004295A (zh)
WO (1) WO2020078027A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129312B (zh) * 2018-10-15 2022-10-28 华为技术有限公司 一种图像处理方法、装置与设备
CN111369598B (zh) * 2020-03-02 2021-03-30 推想医疗科技股份有限公司 深度学习模型的训练方法及装置、应用方法及装置
CN113395441A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 图像留色方法及设备
CN111598902B (zh) * 2020-05-20 2023-05-30 抖音视界有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111726476B (zh) * 2020-07-06 2022-05-31 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和计算机可读介质
CN111815505A (zh) * 2020-07-14 2020-10-23 北京字节跳动网络技术有限公司 用于处理图像的方法、装置、设备和计算机可读介质
US20220070241A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. System and method enabling interactions in virtual environments with virtual presence
CN112188260A (zh) * 2020-10-26 2021-01-05 咪咕文化科技有限公司 视频的分享方法、电子设备及可读存储介质
US11335048B1 (en) * 2020-11-19 2022-05-17 Sony Group Corporation Neural network-based image colorization on image/video editing applications
CN113225477A (zh) * 2021-04-09 2021-08-06 天津畅索软件科技有限公司 一种拍摄方法、装置和相机应用
CN113569713A (zh) * 2021-07-23 2021-10-29 浙江大华技术股份有限公司 视频图像的条纹检测方法及装置、计算机可读存储介质
CN114363659A (zh) * 2021-12-15 2022-04-15 深圳万兴软件有限公司 降低视频闪烁的方法、装置、设备及存储介质
CN114422682B (zh) * 2022-01-28 2024-02-02 安谋科技（中国）有限公司 拍摄方法、电子设备和可读存储介质
CN115118948B (zh) * 2022-06-20 2024-04-05 北京华录新媒信息技术有限公司 一种全景视频中无规则遮挡的修复方法及装置
CN115422986B (zh) * 2022-11-07 2023-08-22 深圳传音控股股份有限公司 处理方法、处理设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846321A (zh) * 2016-12-08 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于贝叶斯概率与神经网络的图像分割方法
CN106851124A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN106997595A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 基于景深的图像颜色处理方法、处理装置及电子装置
CN107566723A (zh) * 2017-09-13 2018-01-09 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN107665482A (zh) * 2017-09-22 2018-02-06 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN108010037A (zh) * 2017-11-29 2018-05-08 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
CN100464569C (zh) * 2007-04-17 2009-02-25 北京中星微电子有限公司 对图像添加特效的方法和系统
CN101072289B (zh) * 2007-06-11 2010-06-02 北京中星微电子有限公司 一种图像特效的自动生成方法及装置
CN101790020B (zh) * 2009-09-28 2013-03-20 苏州佳世达电通有限公司 胶片扫描方法
US8723912B2 (en) * 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
CN102567727B (zh) * 2010-12-13 2014-01-01 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN102542593A (zh) * 2011-09-30 2012-07-04 中山大学 一种基于视频解译的交互式视频风格化渲染方法
CN102880873B (zh) * 2012-08-31 2015-06-03 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
TWI542201B (zh) * 2013-12-26 2016-07-11 智原科技股份有限公司 降低視訊畫面抖動的方法與裝置
CN104156947B (zh) * 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
EP3195201A4 (en) * 2014-08-28 2018-01-10 Qualcomm Incorporated Temporal saliency map
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
CN105049695A (zh) * 2015-07-07 2015-11-11 广东欧珀移动通信有限公司 一种视频录制方法及装置
CN105005980B (zh) * 2015-07-21 2019-02-01 深圳Tcl数字技术有限公司 图像处理方法及装置
CN105872509A (zh) * 2015-11-23 2016-08-17 乐视致新电子科技（天津）有限公司 一种图像对比度调节方法及装置
CN105513081A (zh) * 2015-12-21 2016-04-20 中国兵器工业计算机应用技术研究所 一种多目标的跟踪识别方法
US10580140B2 (en) * 2016-05-23 2020-03-03 Intel Corporation Method and system of real-time image segmentation for image processing
JP6828333B2 (ja) * 2016-09-13 2021-02-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2018085008A (ja) * 2016-11-25 2018-05-31 株式会社ジャパンディスプレイ 画像処理装置および画像処理装置の画像処理方法
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
EP3577894B1 (en) * 2017-02-06 2022-01-26 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
US10049308B1 (en) * 2017-02-21 2018-08-14 A9.Com, Inc. Synthesizing training data
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN107509045A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN107798653B (zh) * 2017-09-20 2019-12-24 北京三快在线科技有限公司 一种图像处理的方法和一种装置
US20190130191A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Bounding box smoothing for object tracking in a video analytics system
CN107977940B (zh) * 2017-11-30 2020-03-17 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US10528820B2 (en) * 2017-12-07 2020-01-07 Canon Kabushiki Kaisha Colour look-up table for background segmentation of sport video
CN108108697B (zh) * 2017-12-25 2020-05-19 中国电子科技集团公司第五十四研究所 一种实时无人机视频目标检测与跟踪方法
CN108133695B (zh) * 2018-01-02 2020-08-14 京东方科技集团股份有限公司 一种图像显示方法、装置、设备和介质
CN108305223B (zh) * 2018-01-09 2020-11-03 珠海格力电器股份有限公司 图像背景虚化处理方法及装置
CN108234882B (zh) * 2018-02-11 2020-09-29 维沃移动通信有限公司 一种图像虚化方法及移动终端
CN108491889A (zh) * 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
CN108648284A (zh) * 2018-04-10 2018-10-12 光锐恒宇（北京）科技有限公司 一种视频处理的方法和装置
CN108648139A (zh) * 2018-04-10 2018-10-12 光锐恒宇（北京）科技有限公司 一种图像处理方法和装置
CN113129312B (zh) * 2018-10-15 2022-10-28 华为技术有限公司 一种图像处理方法、装置与设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846321A (zh) * 2016-12-08 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于贝叶斯概率与神经网络的图像分割方法
CN106851124A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN106997595A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 基于景深的图像颜色处理方法、处理装置及电子装置
CN107566723A (zh) * 2017-09-13 2018-01-09 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN107665482A (zh) * 2017-09-22 2018-02-06 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN108010037A (zh) * 2017-11-29 2018-05-08 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
US20210241432A1 (en) 2021-08-05
AU2019362347B2 (en) 2023-07-06
EP3859670A4 (en) 2021-12-22
CN112840376B (zh) 2022-08-09
JP7226851B2 (ja) 2023-02-21
BR112021007094A2 (pt) 2021-07-27
EP3859670A1 (en) 2021-08-04
CN113112505B (zh) 2022-04-29
CN113129312B (zh) 2022-10-28
AU2019362347A1 (en) 2021-05-27
CN112840376A (zh) 2021-05-25
JP2022505115A (ja) 2022-01-14
CN109816663A (zh) 2019-05-28
WO2020078027A1 (zh) 2020-04-23
CN113129312A (zh) 2021-07-16
CN109816663B (zh) 2021-04-20
MX2021004295A (es) 2021-08-05
KR20210073568A (ko) 2021-06-18

Similar Documents

Publication Publication Date Title
CN113112505B (zh) 一种图像处理方法、装置与设备
CN109961453B (zh) 一种图像处理方法、装置与设备
CN109639982B (zh) 一种图像降噪方法、装置、存储介质及终端
CN111539960B (zh) 图像处理方法以及相关设备
CN111327814A (zh) 一种图像处理的方法及电子设备
CN112262563B (zh) 图像处理方法及电子设备
CN112425156B (zh) 一种基于连拍选择图像的方法及电子设备
CN113170037B (zh) 一种拍摄长曝光图像的方法和电子设备
CN112712470A (zh) 一种图像增强方法及装置
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
WO2021180046A1 (zh) 图像留色方法及设备
RU2791810C2 (ru) Способ, аппаратура и устройство для обработки и изображения
RU2794062C2 (ru) Устройство и способ обработки изображения и оборудование
CN117271817A (zh) 生成分享素材的方法及装置、设备、存储介质
CN116055853A (zh) 拍摄方法及电子设备
CN117201954A (zh) 获取美颜参数的方法、装置、电子设备及介质
CN117676065A (zh) 视频通话方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant