移动终端及其图像处理方法
技术领域
本发明涉及图像处理技术,尤其涉及一种移动终端及其图像处理方法。
背景技术
随着移动终端技术的发展,例如智能手机、平板电脑等移动终端可以实现的功能越来越丰富。移动终端通常都集成有摄像头,可以实现拍照和摄像功能,极大地丰富了人们的生活。
用户在使用移动终端拍摄时,通常只能调整摄像头的焦距,以放大成像。拍摄获得的照片或者录像的风格往往比较单一,只能实现简单的记录。当用户需要特殊效果的作品时,通常需要将该照片或录像导入计算机,通过专门的图像处理软件进行处理。用户在拍摄过程中不能实现对图像的实时处理,也无法预览处理效果,不能满足用户的需求。
发明内容
本发明提供一种移动终端及其图像处理方法,以提高移动终端对实时视频流的处理效果。
本发明第一个方面提供一种移动终端的图像处理方法,包括:
图像处理模块获取摄像头模块实时采集到的视频流;
所述图像处理模块根据接收到的铅笔画处理指示信息,将所述视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。
本发明另一个方面提供一种移动终端,包括摄像头模块和显示模块,还包括图像处理模块,所述图像处理模块包括:
视频流获取子模块,用于获取摄像头模块实时采集到的视频流;
铅笔画处理子模块,用于根据接收到的铅笔画处理指示信息,将所述视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。
由上述技术方案可知,本发明第一个方面提供的移动终端的图像处理方法,图像处理模块获取摄像头模块实时采集到的视频流,根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。实现了移动终端实时采集到的视频流的铅笔画处理,而且该处理过程简单,易于实现,提高了移动终端对实时视频流的处理效果。
本发明另一个方面提供的移动终端,视频流获取子模块获取摄像头模块实时采集到的视频流,铅笔画处理子模块根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。实现了移动终端实时采集到的视频流的铅笔画处理,而且该处理过程简单,易于实现,提高了移动终端对实时视频流的处理效果。
附图说明
图1为本发明实施例一提供的移动终端的图像处理方法流程图;
图2为本发明实施例二提供的反向处理后的图像示意图;
图3为本发明实施例二提供的扩展图像示意图;
图4为本发明实施例三提供的移动终端的图像处理方法流程图;
图5为本发明实施例四提供的移动终端结构示意图;
图6为本发明实施例六提供的移动终端结构示意图。
具体实施方式
实施例一
图1为本发明实施例一提供的移动终端的图像处理方法流程图。如图1所示,本实施例提供的移动终端的图像处理方法具体可以应用于移动终端对摄像头模块采集到的视频流的实时处理过程,并通过显示模块为用户显示。该移动终端具体可以为智能手机、平板电脑等移动设备,摄像头模块和显示模块可以集成在该移动终端上,也可以单独设置。
本实施例提供的移动终端的图像处理方法具体包括:
步骤10、图像处理模块获取摄像头模块实时采集到的视频流;
步骤20、图像处理模块根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。
具体地,图像处理模块可以通过移动终端的中央处理器(CentralProcessing Unit,简称CPU)或微控制器(Micro Control Unit,简称MCU)来实现,也可以通过CPU和图形处理器(Graphic Processing Unit,简称GPU)配合实现。
铅笔画处理指示信息具体可以为用户通过移动终端的输入模块输入的用以指示对视频流进行铅笔画处理的指示信息。移动终端可以通过显示模块为用户提供选择界面,以引导用户输入该铅笔画处理指示信息。若移动终端的显示模块通过触摸屏来实现,则可以为用户提供可触控选择的操作控件,操作控件具体可以通过Widget技术来实现。
图像处理模块根据该铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡(Color Dodge)叠加处理,生成铅笔画风格图像,并通过显示模块为用户显示该铅笔画风格图像,以实现对实时视频流处理结果的预览。
在实际应用中,用户在使用移动终端进行拍摄时,首先通过显示模块预览待拍摄的图像,此时可以选择输入该铅笔画处理指示信息对视频流进行相应地处理,并通过显示模块预览处理效果,用户对该处理效果满意时,可以在该效果下进行图像的拍摄,拍摄获得的图像跟预览到的图像相同。用户也可以在拍摄过程中,输入该铅笔画处理指示信息,则处理后生成的铅笔画风格图像将被录制下来。用户在拍摄过程中就可以完成对拍摄效果的添加,无需进行后期复杂的视频编辑处理。
本实施例提供的移动终端的图像处理方法,图像处理模块获取摄像头模块实时采集到的视频流,根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。实现了移动终端实时采集到的视频流的铅笔画处理,而且该处理过程简单,易于实现,提高了移动终端对实时视频流的处理效果。
实施例二
本实施例提供的移动终端的图像处理方法在图1所示实施例的基础上,进一步地,步骤20中图像处理模块将反向处理后的图像进行最小值滤波处理,可以包括如下步骤:
图像处理模块将反向处理后的图像的每一个像素作为待处理像素,获取与待处理像素相邻的像素,根据待处理像素和相邻的像素生成最小值滤波处理后的图像的相应像素。
如图2所示,对于反向处理后的图像的像素1,与该像素1相邻的像素分别为像素2、像素3和像素4,则根据像素1、像素2、像素3和像素4生成最小值滤波处理后的图像的相应像素,该相应像素具体与像素1的位置相同。具体地,可以将像素1、像素2、像素3和像素4中像素值最小的像素作为该最小值滤波处理后的图像的相应像素,也可以将该最小像素值进行加或减调整后生成的像素作为最小值滤波处理后的图像的相应像素。根据像素1、像素2、像素3和像素4生成最小值滤波处理后的图像的相应像素可以根据实际的图像处理需要采用不同的方式,不以本实施例为限。
在本实施例中,步骤图像处理模块将反向处理后的图像的每一个像素作为待处理像素,获取与待处理像素相邻的像素,根据待处理像素和相邻的像素生成最小值滤波处理后的图像的相应像素,具体可以包括如下步骤:
图像处理模块根据预设搜索窗口对反向处理后的图像的四周添加预设宽度的像素带R,生成扩展图像,通过预设搜索窗口对扩展图像进行搜索,获取预设窗口对应的像素,确定对应的像素中像素值最小的像素,根据像素值最小的像素生成最小值滤波处理后的图像的相应像素,其中,预设搜索窗口为D×D,D为奇数,且D>1,预设宽度为(D-1)/2。
预设搜索窗口为3像素×3像素为例,则预设宽度为1,即在反向处理后的图像的四周添加的像素带R的宽度为1,如图3所示。具体地,像素带R中像素的像素值可以预先设置,例如为255。若反向处理后的图像的长度为L,高度为H,则扩展图像的长度为L+2,宽度为H+2。扩展图像与反向处理后的图像相比,上下均多出一行像素,左右均多出一列像素。
通过预设搜索窗口对扩展图像进行搜索,可以逐行搜索,也可以逐列搜索。搜索窗口对应的像素分别为像素1-像素9,其中像素1-3、像素4和像素7为像素带R中的像素,像素5、像素6、像素8和像素9为反向处理后的图像中的像素,确定该九个像素中像素值最小的像素,例如为像素8,则将像素8的像素值赋给最小值滤波处理后的图像的像素a,像素a与像素5的位置对应。以此类推,通过预设搜索窗口对扩展图像搜索并滤波处理后生成的图像,即为最小值滤波处理后的图像。
通过预设搜索窗口的设置,可以简化图像的最小值滤波处理过程。通过对反向处理后的图像的扩展,可以避免直接对反向处理后的图像进行搜索处理而产生的图形边缘处(D-1)/2的像素带的像素未被处理的情况,处理后的图像的边缘得到很好的补平和填充,提高了最小值滤波的处理效果。
实施例三
图4为本发明实施例三提供的移动终端的图像处理方法流程图。如图3所示,本实施例提供的移动终端的图像处理方法在图1所示实施例的基础上,进一步还可以包括如下步骤:
步骤30、图像处理模块根据接收到的蜡笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的颜色曲线进行调整生成蜡笔画风格图像并发送给显示模块,其中,颜色曲线用以指示铅笔画风格图像的像素的灰度值分布状况。
具体地,当用户需要将视频流的图像处理成蜡笔画风格的图像时,可以输入该蜡笔画处理指示信息。移动终端可以通过显示模块为用户提供操作界面,以引导用户输入该蜡笔画处理指示信息。图像处理模块根据接收到的蜡笔画处理指示信息可以首先将视频流的图像处理成铅笔画风格图像,该处理过程具体可以与实施例一或实施例二提供的图像的铅笔画处理过程相同。图像处理模块再将铅笔画风格图像的颜色曲线进行调整生成蜡笔画风格图像,颜色曲线的形式具体可以为Gamma曲线,颜色曲线用以指示铅笔画风格图像的像素的灰度值分布状况,例如,颜色曲线上各点的横坐标表示灰度值,纵坐标表示铅笔画风格图像的该灰度值对应的像素的个数。通过对颜色曲线的调整实现对图像显示效果的调整。
进一步地,在本实施例中,该移动终端的图像处理方法具体还可以包括如下步骤:
步骤40、图像处理模块根据接收到的动漫处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的预设范围颜色进行过滤处理,将过滤处理后的图像的颜色曲线进行调整生成动漫风格图像并发送给显示模块,其中,颜色曲线用以指示过滤处理后的图像的像素的灰度值分布状况。
具体地,当用户需要将视频流的图像处理成动漫风格的图像时,可以输入该动漫处理指示信息。移动终端可以通过显示模块为用户提供操作界面,以引导用户输入该动漫处理指示信息。图像处理模块根据接收到的动漫处理指示信息可以首先将视频流的图像处理成铅笔画风格图像,该处理过程具体可以与实施例一或实施例二提供的图像的铅笔画处理过程相同。图像处理模块再将铅笔画风格图像的预设范围颜色进行过滤处理,将过滤处理后的图像的颜色曲线进行调整生成动漫风格图像,该颜色曲线的形式具体也可以为Gamma曲线,该颜色曲线用以指示过滤处理后的图像的像素的灰度值分布状况。
在实际的应用中,对视频流的蜡笔画风格处理,可以预设多种子风格以供用户选择,每种子风格对应的颜色曲线的调整参数不同,该调整参数可以携带于蜡笔画处理指示信息中。对视频流的动漫风格处理,也可以设置多种子风格以供用户选择,每种子风格对应的过滤的预设范围颜色参数和颜色曲线的调整参数不同,上述参数也可以携带于动漫处理指示信息中。
移动终端还可以通过显示模块为用户提供操作界面,以引导用户输入其他处理指示信息,例如非线性处理指示信息、色温处理指示信息,亮度处理指示信息、对比度处理指示信息、饱和度处理指示信息、色相处理指示信息、曝光度处理指示信息、蒙版处理指示信息和边框处理指示信息等。图像处理模块可以根据上述处理指示信息进行相应地处理,处理指示信息可以根据实际的图像处理需要来设置,不以本实施例为限。
在本实施例中,步骤20,图像处理模块根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块,具体可以包括如下:
图像处理模块的中央处理单元根据接收到的铅笔画处理指示信息生成参数矩阵,根据视频流的图像生成纹理,将参数矩阵和纹理发送给图像处理模块的图形处理单元;
图形处理单元根据参数矩阵对纹理进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的纹理进行最小值滤波处理,将最小值滤波处理后的纹理和灰度处理后的纹理进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。
具体地,图像处理模块包括中央处理单元和图形处理单元,中央处理单元可以通过CPU或MCU来实现,图形处理单元可以通过GPU实现。中央处理单元根据接收到的铅笔画处理指示信息生成参数矩阵,以使图形处理单元可以识别该参数矩阵并执行相应操作,根据视频流的图像生成纹理,所生成的纹理可以为一个,也可以为多个,其数量根据场景的处理需要来设置。具体地,图像处理单元可以基于开放图形库(Open Graphics Library,简称OpenGL)技术,则纹理可以为OpenGL纹理。图形处理单元根据参数矩阵对纹理进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的纹理进行最小值滤波处理,将最小值滤波处理后的纹理和灰度处理后的纹理进行颜色减淡叠加处理,生成铅笔画风格图像。
蜡笔画风格处理过程和动漫风格处理过程也可以通过中央处理单元和图形处理单元配合实现。在蜡笔画风格处理过程中,中央处理单元根据接收到的蜡笔画处理指示信息生成参数矩阵,根据视频流的图像生成纹理,将参数矩阵和纹理发送给图形处理单元,图形处理单元根据参数矩阵将纹理进行灰度处理,将灰度处理后的纹理进行反向处理,将反向处理后的纹理进行最小值滤波处理,将最小值滤波处理后的纹理和灰度处理后的纹理进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的颜色曲线进行调整生成蜡笔画风格图像并发送给显示模块。在动漫风格处理过程中,中央处理单元根据接收到的动漫处理指示信息生成参数矩阵,根据视频流的图像生成纹理,将参数矩阵和纹理发送给图形处理单元,图形处理单元根据参数矩阵将纹理进行灰度处理,将灰度处理后的纹理进行反向处理,将反向处理后的纹理进行最小值滤波处理,将最小值滤波处理后的纹理和灰度处理后的纹理进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的预设范围颜色进行过滤处理,将过滤处理后的图像的颜色曲线进行调整生成动漫风格图像并发送给显示模块。
中央处理单元协调资源,对接收到的处理指示信息进行转换整合,图形处理单元对纹理进行相应地处理,通过中央处理单元和图形处理单元的配合,实现了对实时获取的视频流的处理,可以使该处理过程更加高效和流畅。
实施例四
图5为本发明实施例四提供的移动终端结构示意图。如图5所示,本实施例提供的移动终端具体可以实现本发明任意实施例提供的移动终端的图像处理方法的各个步骤,此不再赘述。
本实施例提供的移动终端具体包括摄像头模块11和显示模块12,该移动终端还包括图像处理模块13,图像处理模块13包括视频流获取子模块131和铅笔画处理子模块132。视频流获取子模块131用于获取摄像头模块11实时采集到的视频流。铅笔画处理子模块132用于根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块12。
本实施例提供的移动终端,视频流获取子模块131获取摄像头模块11实时采集到的视频流,铅笔画处理子模块132根据接收到的铅笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块12。实现了移动终端实时采集到的视频流的铅笔画处理,而且该处理过程简单,易于实现,提高了移动终端对实时视频流的处理效果。
实施例五
本实施例提供的移动终端在图5所示实施例的基础上,进一步地,铅笔画处理子模块还可以用于将反向处理后的图像的每一个像素作为待处理像素,获取与待处理像素相邻的像素,根据待处理像素和相邻的像素生成最小值滤波处理后的图像的相应像素。
在本实施例中,铅笔画处理子模块具体还可以用于根据预设搜索窗口对反向处理后的图像的四周添加预设宽度的像素带,生成扩展图像,通过预设搜索窗口对扩展图像进行搜索,获取预设窗口对应的像素,确定对应的像素中像素值最小的像素,根据像素值最小的像素生成最小值滤波处理后的图像的相应像素,其中,预设搜索窗口为D×D,D为奇数,且D>1,预设宽度为(D-1)/2。
通过预设搜索窗口的设置,可以简化图像的最小值滤波处理过程。通过对反向处理后的图像的扩展,可以避免反向处理后的图像的边缘处(D-1)/2的像素带的像素未被处理的情况,处理后的图像的边缘得到很好的补平和填充,提高了最小值滤波的处理效果。
实施例六
图6为本发明实施例六提供的移动终端结构示意图。如图6所示,本实施例提供的移动终端在图5所示实施例的基础上,进一步地,图像处理模块13还可以包括蜡笔画处理子模块133,蜡笔画处理子模块133用于根据接收到的蜡笔画处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的颜色曲线进行调整生成蜡笔画风格图像并发送给显示模块12,其中,颜色曲线用以指示铅笔画风格图像的像素的灰度值分布状况。通过蜡笔画处理子模块133的设置,实现了对视频流的图像的蜡笔画风格处理,进一步提高了移动终端对实时采集到的视频流的处理效果。
进一步地,在本实施例中,该图像处理模块13还可以包括动漫处理子模块134,动漫处理子模块134用于根据接收到的动漫处理指示信息,将视频流的图像进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的图像进行最小值滤波处理,将最小值滤波处理后的图像和灰度处理后的图像进行颜色减淡叠加处理生成铅笔画风格图像,将铅笔画风格图像的预设范围颜色进行过滤处理,将过滤处理后的图像的颜色曲线进行调整生成动漫风格图像并发送给显示模块12,其中,颜色曲线用以指示过滤处理后的图像的像素的灰度值分布状况。通过动漫处理子模块134的设置,实现了对视频流的图像的动漫风格处理,进一步提高了移动终端对实时采集到的视频流的处理效果。
在本实施例中,优选地,铅笔画处理子模块包括中央处理单元和图形处理单元。中央处理单元用于根据接收到的铅笔画处理指示信息生成参数矩阵,根据视频流的图像生成纹理,将参数矩阵和纹理发送给图像处理模块的图形处理单元。图形处理单元用于根据参数矩阵对纹理进行灰度处理,将灰度处理后的视频流的图像进行反向处理,将反向处理后的纹理进行最小值滤波处理,将最小值滤波处理后的纹理和灰度处理后的纹理进行颜色减淡叠加处理,生成铅笔画风格图像并发送给显示模块。
本发明实施例提供的移动终端及其图像处理方法,实现了对实时采集到的视频流进行铅笔画、蜡笔画和动漫等卡通化风格处理,用户可以选择需要的处理风格对视频流进行处理,并实时预览处理效果,用户也可以对已经拍摄好的照片或录像进行卡通化风格的处理,提高可以移动终端对实时视频流的处理效果的同时大大提高了用户体验。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。