CN107864337B - 素描图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
素描图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107864337B CN107864337B CN201711243719.8A CN201711243719A CN107864337B CN 107864337 B CN107864337 B CN 107864337B CN 201711243719 A CN201711243719 A CN 201711243719A CN 107864337 B CN107864337 B CN 107864337B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- pixel point
- processing
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000002441 reversible effect Effects 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000009467 reduction Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种素描图像处理方法、装置及设备，其中方法包括：确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；根据各像素点对应的各颜色通道值，将待处理图像进行灰度处理，生成灰度图像；根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；根据反色修正值，将灰度图像进行反色处理，生成反色图像；对反色图像进行高斯模糊及颜色减淡处理，生成素描图像。本申请的方法通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种素描图像处理方法、装置、设备及计算机可读存储介质。
背景技术
日常生活中，人们在拍照之后为了使拍摄图像具有不同的艺术风格，通常会对图像进行处理，将拍摄的图像风格化，生成具有艺术效果的图像，例如生成具有素描画风格的图片。
目前，对拍摄的图像进行素描风格处理时，通常是先对拍摄图像进行灰度处理以生成灰度图像，再对灰度图像进行反色处理生成反色图像，然后对反色图像进行模糊处理，最后将反色图像和模糊处理后的图像进行叠加，以生成素描图像。然而，发明人发现，利用上述方式对拍摄图像进行素描处理时，不能准确的体现出原始图像的细节部分，使得素描效果不好。
发明内容
本申请旨在至少在一定程度上解决上述的技术缺陷之一。
为此，本申请的第一个目的在于提出一种素描图像处理方法，该方法提高了对拍摄图像的素描效果，提升了用户体验。
本申请的第二个目的在于提出一种素描图像处理装置。
本申请的第三个目的在于提出一种终端设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为了实现上述目的，本申请第一方面实施例的素描图像处理方法，包括：确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
为了实现上述目的，本申请第二方面实施例的素描图像处理装置，包括：第一确定模块，用于确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；处理模块，用于根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；第二确定模块，用于根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；第一生成模块，用于根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；第二生成模块，用于对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
为了实现上述目的，本申请第三方面实施例的终端设备，包括：存储器、处理器及摄像模组；所述摄像模组，用于获取深度图像；所述存储器，用于存储可执行程序代码；所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例所述的素描图像处理方法。
为了实现上述目的，本申请第四方面实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面实施例所述的素描图像处理方法。
本申请公开的技术方案，具有如下有益效果：
通过确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值，以根据确定的各像素点对应的各颜色通道值，将待处理图像进行灰度处理，生成灰度图像，并根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值，然后根据确定的反色修正值，将灰度图像进行反色处理，以生成反色图像，然后将反色图像进行高斯模糊及颜色减淡处理，生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1是根据本申请一个实施例的素描图像处理方法的流程图；
图2是根据本申请另一个实施例的素描图像处理方法的流程图；
图3是根据本申请一个实施例的素描图像处理装置的结构示意图；
图4是根据本申请一个实施例的终端设备的结构示意图；
图5是根据本申请一个实施例的图像处理电路的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
为了解决相关技术中，对拍摄图像进行素描效果处理时，不能体现出原始图像的细节部分，使得素描效果不好的问题，提出一种素描图像处理方法。
本申请提供的素描图像处理方法，通过确定待处理深度图像中各像素点对应的各颜色通道值，及各像素点对应的深度值，然后根据确定的各像素点对应的各颜色通道值，将待处理图像进行灰度处理，生成灰度图像，并根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值，然后根据确定的反色修正值，将灰度图像进行反色处理，生成反色图像，然后对反色图像进行高斯模糊及颜色减淡处理，生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
下面参考附图描述本申请实施例的素描图像处理方法。
图1是根据本申请一个实施例的素描图像处理方法的流程图。
如图1所示，本申请的素描图像处理方法可以包括以下步骤：
步骤101，确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值。
具体的，本申请实施例提供的素描图像处理方法，可以由本申请提供的素描图像处理装置执行，上述装置配置于终端设备中，以实现对待处理深度图像的处理进行控制。
其中，本实施例中，终端设备可以是任意具有拍照功能的硬件设备，比如智能手机、相机、个人数字助理(Personal Digital Assistant，简称为PDA)等等，本申请对此不作具体限定。
可选的，本实施例中终端设备还可以是具有双摄像头的硬件设备，其中，双摄像头是指具有两个后置摄像头。
需要说明的是，在本实施例中，两个后置摄像头的设置方式可以为，但不限于以下方式：
方式一：沿水平方向设置。
方式二：沿竖直方向设置。
其中，水平方向是指与终端设备短边平行的方向，竖直方向是指与终端设备长边平行的方向。
具体实现时，素描图像处理装置可以根据RGB数据，确定出待处理深度图像中各像素点对应的各颜色通道值，本实施例对此不作过多赘述。
然后，根据确定的各颜色通道值与各像素点的位数，确定出各像素点对应的深度值。
例如，待处理深度图像中各像素点用R，G，B三个分量表示，若每个分量占用8位，那么一个像素共用24位，即上述像素的深度值为24。
步骤102，根据各像素点对应的各颜色通道值，将待处理深度图像进行灰度处理，生成灰度图像。
具体实现时，可通过公式(1)将待处理深度图像转换成灰度图像：
Y1＝a×R+b×G+c×B……………………………(1)
其中，Y1为灰度图像中各像素点的像素值，a、b、c分别为红、绿、蓝分量的权重值，R、G、B分别为待处理深度图像中各像素点的红、绿、蓝通道值。
步骤103，根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值。
步骤104，根据反色修正值，将灰度图像进行反色处理，生成反色图像。
具体的，由于现有技术中对灰度图像进行反色处理时，通常是直接根据Y2＝255-Y1的算法来获取反色图像。其中，Y2为反色图像中各像素点的像素值，Y1为灰度图像中各像素点的像素值。
但是由于上述获取方式会导致待处理深度图像中的部分细节特征丢失，因此，为了避免上述情况的发生，本申请在对灰度图像进行反色处理时，先获取反色修正值，然后再根据反色修正值对灰度图像进行反色处理，以生成反色图。
具体实现时，本实施例可先确定出各像素点所属区域，再确定出各像素点所属区域的最大深度值和最小深度值，然后根据各像素点所在区域的最大深度值、最小深度值以及各像素点的对应的像素值，确定出待处理深度图像中各像素点的反色修正值。
其中，各像素点所属区域可以是待处理深度图像的任意区域，本申请对此不作具体限定。
进一步的，在确定出各像素点的反色修正值之后，本实施例可根据利用各像素点的反色修正值和灰度图像中各像素点的像素值，对灰度图像进行反色处理，以得到反色图像。
步骤105，对反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
具体的，由于在实际图像处理时，处理后的图像会随机生成噪声，因此为了降低噪声对图像的不利影响，本实施例可对反色图像进行平滑处理，以减少反色图像中的噪声，使得图像更平滑，更柔和。
其中，在本实施例中，对反色图像进行平滑处理可以是通过高斯模糊实现的，本申请对此不作具体限定。
进一步的，为了使得最终生成的素描图像颜色更柔和，本实施例了在对反色图像进行平滑处理之后，可利用颜色减淡算法对平滑处理后的反色图像和反色图像的叠加图像进行颜色减淡处理。
具体实现时，本实施例可通过以下公式(2)，对上述叠加图像进行颜色减淡处理：
其中，C为经颜色减淡处理后的图像中各像素点的减淡像素值，A为反色图像中各像素点的反色像素值，B为反色图像进行模糊处理后的各像素点的模糊像素值，MIN为取最小值。
可以理解的是，本实施例的颜色减淡处理算法，结合了反色像素值、模糊像素值进行计算，然后取最小值，使得最终生成的素描图像效果更佳，提升了用户满意度。
需要说明的是，在实际拍摄的深度图像中，可能会存在一些像素点亮度变化不明显的深度图像。若本实施例对像素点亮度变化不明显的深度图像，也进行像素点深度值确定，然后根据确定的像素点深度值确定像素点反色修正操作时，这不仅不会提高后续生成素描图像的素描效果，而且还会增加终端的处理负担，影响对其他待处理深度图像的处理效率。
因此，本申请为了避免上述情况的发生，在确定出待处理深度图像中各像素点对应的各颜色通道值之后，可先根据各像素点对应的各颜色通道值，对待处理深度图像中像素点的亮度变化值是否大于阈值进行判断，若判断出待处理深度图像中像素点的亮度变化值大于阈值时，则进一步确定待处理深度图像中各像素点对应的深度值，否则不对待处理深度图像中各像素点对应的深度值进行确定操作。
其中，在本实施例中阈值可以根据待处理深度图像进行适应性设置，本申请对此不作限定。
另外，为了进一步的满足用户的需求，用户对拍摄的深度图像进行素描处理时，还可以根据自身需求有选择进行反色修正处理。也就是说，当用户在对某一个深度图像进行素描效果处理时，若想获取到能体现更多原始深度图像的细节部分的素描图像，则可以在终端上输入反色修正指令，以实现对反色处理的灰度图像进行反色修正，以保留更多原始深度图像的细节部分。
具体的，用户可通过终端提供的多种输入方式，输入反色修正指令。例如，可以是通过手动按压方式输入反色修正指令；或者，还可以利用语音输入的方式输入反色修正指令等等，本申请对此不作限定。
可以理解的是，本实施例的素描图像处理装置，通过对待处理深度图像的各像素点对应的反色修正值进行确定，以实现对灰度图像进行反色处理时进行修正，从而使得最终生成的素描图像能够更准确，更全面的显示出待处理深度图像的细节部分，提高了用户满意度。
本申请实施例的素描图像处理方法，通过先确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值，然后根据确定的各像素点对应的各颜色通道值，将待处理图像进行灰度处理，以生成灰度图像，并根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值，然后根据确定的反色修正值，将灰度图像进行反色处理，以生成反色图像，然后将反色图像进行高斯模糊及颜色减淡处理，以生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
通过上述分析可知，通过待处理深度图像深度信息，对灰度图像进行反色处理进行修正，并对生成反色图像进行高斯模糊及颜色减淡处理，以生成素描图像。本申请为了保留待处理深度图像的细节部分特征，可通过确定待处理深度图像各像素点的反色修正值，以实现对灰度图像进行反色修正。具体实现时，可根据待处理深度图像中各像素点对应的深度值，及各像素点所在区域的最大深度值和最小深度值，确定各像素点的反色修正值。下面结合图2，对确定各像素点的反色修正值的过程进行进一步的描述。
图2是本申请的另一个虚化图像获取方法的流程图。
如图2所示，本申请的虚化图像获取方法可以包括以下步骤：
步骤201，确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值。
步骤202，根据各像素点对应的各颜色通道值，将待处理深度图像进行灰度处理，生成灰度图像。
步骤203，对待处理深度图像进行轮廓检测，确定待处理深度图像对应的轮廓图像。
步骤204，根据轮廓图像，确定各像素点所属的区域。
具体的，由于在实际轮廓检测时，通常使用的是二值化处理后的图像。因此，本实施例在确定待处理深度图像中各像素点所属区域时，需要先将待处理深度图像对应的灰度图像进行二值化处理，然后对二值化处理后的图像进行边缘检测，以得到初步边缘响应图像，接着对初步边缘响应图像进行进一步处理，以得到更好的边缘响应图像。其中，对初步边缘响应图像进行的处理主要是对轮廓点和非轮廓点做出不同处理，达到区分轮廓点和非轮廓点的效果，以得到可以作为轮廓图像的边缘图像。
进而，根据确定的轮廓图像，确定出待处理深度图像中各像素点所属区域。
例如，若待处理深度图像中拍摄主体是人，拍摄背景为风景，则本实施例中素描图像处理装置可根据轮廓检测确定出拍摄主体的人像轮廓图像及风景轮廓图像，然后，基于人像轮廓图像及风景轮廓图像，确定出待处理深度图像中各像素点所属的区域，其中，人像轮廓图像可以包括人的头部区域和身体区域。
步骤205，根据各像素点所属区域对应的深度范围及各像素点对应的深度值，确定各像素点的反色修正值。
具体的，本实施例在确定出待处理深度图像中包括的各区域之后，可进一步对各区域对应的深度范围进行确定，然后确定出各像素点所属区域对应的深度范围。
进而，根据各像素点所属区域对应的深度范围及各像素点对应的深度值，基于预设的运算关系，确定出各像素点的反色修正值。
其中，各像素点中的任一像素点所属区域对应的深度范围包括：最小深度值为depthmin，最大深度值为depthmax；
具体实现时，可通过以下公式(3)确定出各像素点中任一像素点的反色修正值：
gray(i,j)′＝m×(depth-depthmin)/(depthmax-depthmin)………………………(3)
其中，gray(i,j)'为坐标为(i,j)的像素点的反色修正值，m为比例常数，depth为坐标为(i，j)的像素点的深度值，depthmin为坐标为(i，j)的像素点所属区域的最小深度值，depthmax为坐标为(i，j)的像素点所属区域的最大深度值。
步骤206，根据反色修正值，将灰度图像进行反色处理，生成反色图像。
具体的，在计算出各像素点的反色修正值之后，本实施例可根据各像素点的反色修正值，对灰度图像进行反色处理，以生成反色图像。
具体实现时，可通过以下公式(4)，对灰度图像中的任一像素点进行反色处理操作：
gray_invert＝255-m×(depth-depthmin)/(depthmax-depthmin)-gray(i,j)……………(4)
其中，gray(i，j)表示坐标为(i，j)的像素点对应的灰度值，gray(i,j)′表示坐标为(i，j)的像素点对应的反色修正值，m为比例常数，depth为坐标为(i，j)的像素点的深度值，gray_invert为坐标为(i，j)的像素点反色处理后对应的灰度值。
步骤207，对反色图像进行高斯模糊及颜色减淡处理。
步骤208，对高斯模糊处理后的图像进行轮廓检测，确定图像对应的轮廓图像。
步骤209，对轮廓图像，进行锐化处理，生成锐化图像。
具体的，由于在对反色图像进行高斯模糊处理之后，往往会使得图像中的边界、轮廓等变得模糊，从而对图像造成不利影响。
对此，为了使图像的边缘、轮廓线以及图像的细节变的清晰，本申请利用图像锐化技术，以对平滑处理后的图像进行轮廓、边界等进行补偿，以增强图像的边界及灰度跳变部分，使得图像边缘区域变的清晰。
步骤210，将锐化图像与颜色减淡处理后的图像进行合成，生成素描图像。
具体的，在对待处理深度图像进行一系列的处理之后，本实施例可将处理后的锐化图像和颜色减淡处理后的图像进行合成，以保留待处理深度图像的细节部分，从而使得生成的素描图像精度更高，从而进一步提高用户使用体验。
为了更清楚的说明本申请，下面以待处理深度图像中的区域为人脸区域为例进行进一步的描述。
具体的，若本实施例中，将待处理深度图像进行灰度处理得到灰度图像gray，并且对待处理深度图像进行轮廓检测，确定出各像素点属于人脸区域，则素描图像处理装置根据三角测距或其他方式，计算出人脸区域的深度范围[faceDepthmin,faceDepthmax]。然后，根据上述深度范围及人脸区域中各像素点的深度值Depth，利用
计算出人脸区域中每个像素点的反色修正值gray(i,j)'，其中m为比例常数，比如为20等。
进一步的，在确定出人脸区域中每个像素点的反色修正值之后，可根据
对灰度图像进行处理，得到反色图像。然后对反色图像gray_invert进行高斯模糊得到模糊图gray_smooth，并对模糊图gray_smooth进行锐化，得到锐化图gray_smooth_sharpen，并且利用颜色减淡算法对反色图像gray_invert进行颜色减淡处理，得到颜色减淡处理后的图像sketch，最后将锐化图像gray_smooth_sharpen与颜色减淡处理后的图像sketch进行合成，得到人脸素描图像。由此，通过获取人脸区域的深度信息，修正反色强度，增加素描效果后面部明暗的变化，增强素描效果，提高了用户体验。
本申请实施例的素描图像处理方法，通过确定待处理深度图像中各像素点对应的颜色通道值、及各像素点对应的深度值，并根据各像素点对应的各颜色通道值，将待处理深度图像进行灰度处理，以生成灰度图像，并且对待处理深度图像进行轮廓检测，以确定出待处理深度图像中包括的各个区域，然后根据各像素点所属区域对应的深度范围及各像素点对应的深度值，确定各像素点的反色修正值，以根据反色修正值处理灰度图像，以生成反色图像，然后对反色图像进行高斯模糊及颜色减淡处理，同时对高斯模糊处理后的图像进行轮廓检测，以确定轮廓图像，然后对轮廓图像进行锐化处理，最后将锐化图像和颜色淡化处理后的图像进行合成，生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
为了实现上述实施例，本发明还提出了一种素描图像处理装置。
图3是本发明一个实施例的素描图像处理装置的结构示意图。
如图3所示，本申请的素描图像处理装置包括：第一确定模块11、处理模块12、第二确定模块13、第一生成模块14和第二生成模块15。
其中，第一确定模块11用于确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；
处理模块12用于根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；
第二确定模块13用于根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；
第一生成模块14用于根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；
第二生成模块15用于对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
需要说明的是，前述对素描图像处理方法实施例的解释说明也适用于该实施例的素描图像处理装置，其实现原理类似，此处不再赘述。
本实施例提供的素描图像处理装置中，通过先确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值，然后根据确定的各像素点对应的各颜色通道值，将待处理图像进行灰度处理，以生成灰度图像，并根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值，然后根据确定的反色修正值，将灰度图像进行反色处理，以生成反色图像，然后将反色图像进行高斯模糊及颜色减淡处理，以生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
为了实现上述实施例，本发明还提出一种终端设备。
图4是本发明一个实施例的终端设备的结构示意图。
参见图4，本申请终端设备包括存储器21、处理器22及摄像模组23；
所述摄像模组23用于获取深度图像；
所述存储器21用于存储可执行程序代码；
所述处理器22用于读取所述存储器21中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例所述的素描图像处理方法。其中素描图像处理方法包括：确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
其中，本实施例中终端设备可以是任意具有拍照功能的硬件设备，比如智能手机、相机、个人计算机(personal computer，简称为PC)等等，本申请对此不作具体限定。
可选的，本实施例中终端设备还可以是具备双摄像头的硬件设备，其中，双摄像头是指具有两个后置摄像头。
进一步地，本申请终端设备，还可以包括图像处理电路24。
其中，处理器22用于调用存储器21中的程序代码，并根据图像处理电路24输出的素描图像，以实现第一方面实施例的素描图像处理方法。
具体的，图像处理电路24可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。
图5是本发明一个实施例中图像处理电路的示意图。如图5所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图5所示，图像处理电路24包括成像设备1140、ISP处理器1150和控制逻辑器1160。成像设备1140可包括具有一个或多个透镜1141、图像传感器1142的照相机和结构光投射器1143。结构光投射器1143将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1142捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1150，由ISP处理器1150对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1142也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1142分别捕捉被测物的结构光图像和色彩信息。
其中，以散斑结构光为例，ISP处理器1150对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。
当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器1150接收到图像传感器1142捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1150对图像数据进行分析以获取可用于确定和/或成像设备1140的一个或多个控制参数的图像统计信息。图像传感器1142可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1142可获取用图像传感器1142的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1150处理的一组原始图像数据。
ISP处理器1150按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1150可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1150还可从图像存储器1170接收像素数据。图像存储器1170可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器1150可进行一个或多个图像处理操作。
在ISP处理器1150获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器1170，以便在被显示之前进行另外的处理。ISP处理器1150从图像存储器1170接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1180，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1150的输出还可发送给图像存储器1170，且显示器1180可从图像存储器1170读取图像数据。在一个实施例中，图像存储器1170可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1150的输出可发送给编码器/解码器1190，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1180设备上之前解压缩。编码器/解码器1190可由CPU或GPU或协处理器实现。
ISP处理器1150确定的图像统计信息可发送给控制逻辑器1160单元。控制逻辑器1160可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1140的控制参数。
需要说明的是，前述对素描图像处理方法实施例的解释说明也适用于该实施例的终端设备，其实现原理类似，此处不再赘述。
本实施例提供的终端设备中，通过先确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值，然后根据确定的各像素点对应的各颜色通道值，将待处理图像进行灰度处理，以生成灰度图像，并根据待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值，然后根据确定的反色修正值，将灰度图像进行反色处理，以生成反色图像，然后将反色图像进行高斯模糊及颜色减淡处理，以生成素描图像。由此，通过根据图像的深度信息，对深度图像的反色处理过程进行修正，从而使得生成的素描图像能够更好的体现出原始图像的细节部分，提高了素描精度及效果。
为了实现上述实施例，本发明还提出了一种计算机可读存储介质。
该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例的素描图像处理方法。其中素描图像处理方法包括：确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像。
在本发明中，除非另有明确的规定和限定，术语“设置”、“连接”等术语应做广义理解，例如，可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种素描图像处理方法，其特征在于，包括：
确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；
根据所述各像素点对应的各颜色通道值，将所述待处理深度图像进行灰度处理，生成灰度图像；
根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；
根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像； 对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像；
其中，所述根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值包括：
针对坐标为(i,j)的像素点，获取所述坐标为(i,j)的像素点的深度值depth，以及获取所述坐标为(i,j)的像素点所属区域的最小深度值depthmin和最大深度值depthmax；
将depth减去depthmin获取差值depth-depthmin，以及将depthmax减去depthmin获取差值depthmax-depthmin；
计算所述差值depth-depthmin与所述差值depthmax-depthmin的比值；
计算所述比值与比例常数m的乘积，获取所述坐标为(i,j)的像素点的反色修正值；
其中，所述根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像包括：
针对坐标为(i,j)的像素点，获取所述坐标为(i,j)的像素点的反色修正值与灰度值的和；
将255减去所述和得到的差值作为所述坐标(i,j)的像素点反色处理后对应的灰度值。
2.如权利要求1所述的方法，其特征在于，所述确定各像素点的反色修正值之前，还包括：
对所述待处理深度图像进行轮廓检测，确定所述待处理深度图像对应的轮廓图像；
根据所述轮廓图像，确定各像素点所属的区域。
3.如权利要求1-2任一所述的方法，其特征在于，所述生成素描图像之前，还包括：
对高斯模糊处理后的图像进行轮廓检测，确定图像对应的轮廓图像；
对所述轮廓图像，进行锐化处理，生成锐化图像；
所述生成素描图像，包括：
将所述锐化图像与颜色减淡处理后的图像进行合成，生成所述素描图像。
4.如权利要求1-2任一所述的方法，其特征在于，所述确定各像素点对应的深度值之前，还包括：
根据所述各像素点对应的各颜色通道值，确定所述待处理深度图像中像素点的亮度变化值大于阈值；
或者，
获取到反色修正处理指令。
5.一种素描图像处理装置，其特征在于，包括：
第一确定模块，用于确定待处理深度图像中各像素点对应的各颜色通道值、及各像素点对应的深度值；
处理模块，用于根据所述各像素点对应的各颜色通道值，将所述待处理图像进行灰度处理，生成灰度图像；
第二确定模块，用于根据所述待处理深度图像中各像素点对应的深度值，确定各像素点的反色修正值；
第一生成模块，用于根据所述反色修正值，将所述灰度图像进行反色处理，生成反色图像；
第二生成模块，用于对所述反色图像进行高斯模糊及颜色减淡处理，生成素描图像；
其中，所述第二确定模块，具体用于：
针对坐标为(i,j)的像素点，获取所述坐标为(i,j)的像素点的深度值depth，以及获取所述坐标为(i,j)的像素点所属区域的最小深度值depthmin和最大深度值depthmax，
将depth减去depthmin获取差值depth-depthmin，以及将depthmax减去depthmin获取差值depthmax-depthmin；
计算所述差值depth-depthmin与所述差值depthmax-depthmin的比值；
计算所述比值与比例常数m的乘积，获取所述坐标为(i,j)的像素点的反色修正值；
其中，所述第一生成模块，具体用于：
针对坐标为(i,j)的像素点，获取所述坐标为(i,j)的像素点的反色修正值与灰度值的和；
将255减去所述和得到的差值作为所述坐标(i,j)的像素点反色处理后对应的灰度值。
6.一种终端设备，其特征在于，包括：存储器、处理器及摄像模组；
所述摄像模组，用于获取深度图像；
所述存储器，用于存储可执行程序代码；
所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-4任一所述的素描图像处理方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4任一所述的素描图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243719.8A CN107864337B (zh) | 2017-11-30 | 2017-11-30 | 素描图像处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243719.8A CN107864337B (zh) | 2017-11-30 | 2017-11-30 | 素描图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107864337A CN107864337A (zh) | 2018-03-30 |
| CN107864337B true CN107864337B (zh) | 2020-03-06 |
Family
ID=61704381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711243719.8A Expired - Fee Related CN107864337B (zh) | 2017-11-30 | 2017-11-30 | 素描图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107864337B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108769520B (zh) * | 2018-05-31 | 2021-04-13 | 康键信息技术（深圳）有限公司 | 电子装置、图像处理方法和计算机可读存储介质 |
| CN109035377B (zh) * | 2018-07-20 | 2022-12-13 | 广州市普汉科技有限公司 | 用于获得适用于激光雕刻的浮雕素描效果图像处理方法 |
| CN109003243B (zh) * | 2018-07-20 | 2021-10-29 | 广州市普汉科技有限公司 | 一种用于激光雕刻的浮雕效果图像处理方法 |
| CN109978794B (zh) * | 2019-03-29 | 2021-03-23 | 中山爱瑞科技有限公司 | 一种乳腺双能图像的处理方法和系统 |
| CN112083894A (zh) * | 2019-06-14 | 2020-12-15 | 森大（深圳）技术有限公司 | 图像逐像素点白墨墨量自动设置方法、装置、设备及介质 |
| CN111462158B (zh) * | 2020-03-31 | 2024-03-19 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及智能设备、存储介质 |
| CN112258440B (zh) * | 2020-10-29 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112884639B (zh) * | 2021-02-03 | 2022-10-11 | 上海艾麒信息科技股份有限公司 | 照片转化成铅笔素描画的方法、系统及介质 |
| CN112819691B (zh) * | 2021-02-05 | 2023-06-20 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及可读存储介质 |
| CN117474820A (zh) * | 2023-10-12 | 2024-01-30 | 书行科技(北京)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021002A (zh) * | 2011-09-27 | 2013-04-03 | 康佳集团股份有限公司 | 彩色素描图像生成方法 |
| CN103093437A (zh) * | 2013-01-30 | 2013-05-08 | 深圳深讯和科技有限公司 | 生成铅笔画风格图像的方法及装置 |
| CN104537637A (zh) * | 2014-11-11 | 2015-04-22 | 清华大学深圳研究生院 | 一种单幅静态图像深度估计方法及装置 |
| CN107170032A (zh) * | 2017-03-23 | 2017-09-15 | 南京信息工程大学 | 基于线性素描图像的力渲染方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9502003B2 (en) * | 2014-01-05 | 2016-11-22 | Spatial Cam Llc | Apparatus and methods to display a modified image |
-
2017
- 2017-11-30 CN CN201711243719.8A patent/CN107864337B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021002A (zh) * | 2011-09-27 | 2013-04-03 | 康佳集团股份有限公司 | 彩色素描图像生成方法 |
| CN103093437A (zh) * | 2013-01-30 | 2013-05-08 | 深圳深讯和科技有限公司 | 生成铅笔画风格图像的方法及装置 |
| CN104537637A (zh) * | 2014-11-11 | 2015-04-22 | 清华大学深圳研究生院 | 一种单幅静态图像深度估计方法及装置 |
| CN107170032A (zh) * | 2017-03-23 | 2017-09-15 | 南京信息工程大学 | 基于线性素描图像的力渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107864337A (zh) | 2018-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107864337B (zh) | 素描图像处理方法、装置、设备及计算机可读存储介质 | |
| CN107370958B (zh) | 图像虚化处理方法、装置及拍摄终端 | |
| CN107948517B (zh) | 预览画面虚化处理方法、装置及设备 | |
| CN108447017B (zh) | 人脸虚拟整容方法和装置 | |
| JP7027537B2 (ja) | 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
| CN109118569B (zh) | 基于三维模型的渲染方法和装置 | |
| CN108111749B (zh) | 图像处理方法和装置 | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| CN107509031B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107563304B (zh) | 终端设备解锁方法及装置、终端设备 | |
| CN107945105B (zh) | 背景虚化处理方法、装置及设备 | |
| CN107820019B (zh) | 虚化图像获取方法、装置及设备 | |
| CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
| CN107370951B (zh) | 图像处理系统及方法 | |
| CN108682050B (zh) | 基于三维模型的美颜方法和装置 | |
| CN109889799B (zh) | 基于rgbir摄像头的单目结构光深度感知方法及装置 | |
| CN108989699B (zh) | 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 | |
| CN107621867A (zh) | 熄屏控制方法、装置和终端设备 | |
| CN107438161A (zh) | 拍摄画面处理方法、装置和终端 | |
| CN109325905B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107370952B (zh) | 图像拍摄方法和装置 | |
| CN108629329B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200306 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |