CN111489374A - 基于图像抠像的像素分类方法、装置、设备及存储介质 - Google Patents

基于图像抠像的像素分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111489374A
CN111489374A CN202010295130.8A CN202010295130A CN111489374A CN 111489374 A CN111489374 A CN 111489374A CN 202010295130 A CN202010295130 A CN 202010295130A CN 111489374 A CN111489374 A CN 111489374A
Authority
CN
China
Prior art keywords
pixel
classified
color
point
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010295130.8A
Other languages
English (en)
Other versions
CN111489374B (zh
Inventor
吴迪云
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202010295130.8A priority Critical patent/CN111489374B/zh
Publication of CN111489374A publication Critical patent/CN111489374A/zh
Application granted granted Critical
Publication of CN111489374B publication Critical patent/CN111489374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，公开了一种基于图像抠像的像素分类方法、装置、设备及存储介质，用于将每个像素计算为颜色向量，基于颜色向量得到多个三维坐标点对，根据多个三维坐标点对对像素进行分类，提高了对像素进行分类的准确性。基于图像抠像的像素分类方法包括：从待抠像图像中获取多个待分类像素点；对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；基于所述多个三维坐标点对对所述多个待分类像素点进行分类。

Description

基于图像抠像的像素分类方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像抠像的像素分类方法、装置、设备及存储介质。
背景技术
虚拟演播室技术已经广泛应用于电视拍摄中，其原理就是将计算机预先制作的三维场景和现场拍摄的人物活动图像进行实时合成，使场景中真实的人物和虚拟的三维场景合成。在虚拟演播室或影视虚拟预演中，高清视频实时抠像是其中关键技术之一。
在现有的技术中，视频抠像主要是将每一帧RGB像素转换到优化彩色视频信号(YUV)空间中再进行抠像，但是由于不同像素的颜色值域不同，所以在抠像过程中，当像素点的明亮度、色度与真实的误差较大时，对应的色度值Cr和Cb的波动较大，无法准确的进行像素分类，从而无法达到精细干净的抠像效果。
发明内容
本发明的主要目的在于解决在抠像的过程中无法对像素进行准确分类的问题。
本发明第一方面提供了一种基于图像抠像的像素分类方法，包括：从待抠像图像中获取多个待分类像素点；对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
可选的，在本发明第一方面的第一种实现方式中，所述对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量包括：从所述待抠像图像中读取多个待分类像素点的坐标，将所述多个待分类像素点的坐标一一映射到预置YUV颜色空间中，得到多个像素颜色向量，所述预置YUV颜色空间中包括颜色椭球体；从所述颜色椭球体中读取得到椭球体中心坐标点和三个轴半径分量；基于所述椭球体中心坐标点和每个待分类像素点对应的像素颜色向量，计算得到对应的颜色向量，生成多个颜色向量。
可选的，在本发明第一方面的第二种实现方式中，所述基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对包括：从每个颜色向量中读取得到对应的三个颜色分量；基于所述三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对。
可选的，在本发明第一方面的第三种实现方式中，所述根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对包括：对所述多个第一中间值一一进行计算，得到每个待分类像素点对应的第二中间值，生成多个第二中间值，第二中间值成对出现；对所述多个第二中间值中的每一个第二中间值和对应的颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，生成多个三维坐标点对。
可选的，在本发明第一方面的第四种实现方式中，所述基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点包括：对每个待分类像素点对应的三维坐标点对进行计算，得到每个待分类像素点对应的坐标点对欧式距离，生成多个坐标点对欧式距离，并根据每个待分类像素点对应的颜色向量和所述椭球体中心坐标点计算每个待分类像素点对应的向量欧式距离，得到多个向量欧式距离；判断每个待分类像素点对应的坐标点对欧式距离是否大于对应的向量欧式距离；若目标待分类像素点对应的坐标点对欧式距离大于对应的向量欧式距离，则判定所述目标待分类像素点为前景像素点，得到多个前景像素点；若目标待分类像素点对应的坐标点对欧式距离小于或者等于对应的向量欧式距离，则判定所述目标待分类像素点为背景像素点，得到多个背景像素点。
本发明第二方面提供了一种基于图像抠像的像素分类装置，包括：像素获取模块，用于从待抠像图像中获取多个待分类像素点；颜色向量计算模块，用于对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；三维坐标计算模块，用于基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；像素分类模块，用于基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
可选的，在本发明第二方面的第一种实现方式中，所述颜色向量计算模块具体用于：从所述待抠像图像中读取多个待分类像素点的坐标，将所述多个待分类像素点的坐标一一映射到预置YUV颜色空间中，得到多个像素颜色向量，所述预置YUV颜色空间中包括颜色椭球体；从所述颜色椭球体中读取得到椭球体中心坐标点和三个轴半径分量；基于所述椭球体中心坐标点和每个待分类像素点对应的像素颜色向量，计算得到对应的颜色向量，生成多个颜色向量。
可选的，在本发明第二方面的第二种实现方式中，所述三维坐标计算模块包括：颜色分量读取单元，用于从每个颜色向量中读取得到对应的三个颜色分量；中间值计算单元，用于基于所述三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；三维坐标计算单元，用于根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对。
可选的，在本发明第二方面的第三种实现方式中，所述三维坐标计算单元具体用于：对所述多个第一中间值一一进行计算，得到每个待分类像素点对应的第二中间值，生成多个第二中间值，第二中间值成对出现；对所述多个第二中间值中的每一个第二中间值和对应的颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，生成多个三维坐标点对。
可选的，在本发明第二方面的第四种实现方式中，所述像素分类模块具体用于：对每个待分类像素点对应的三维坐标点对进行计算，得到每个待分类像素点对应的坐标点对欧式距离，生成多个坐标点对欧式距离，并根据每个待分类像素点对应的颜色向量和所述椭球体中心坐标点计算每个待分类像素点对应的向量欧式距离，得到多个向量欧式距离；判断每个待分类像素点对应的坐标点对欧式距离是否大于对应的向量欧式距离；若目标待分类像素点对应的坐标点对欧式距离大于对应的向量欧式距离，则判定所述目标待分类像素点为前景像素点，得到多个前景像素点；若目标待分类像素点对应的坐标点对欧式距离小于或者等于对应的向量欧式距离，则判定所述目标待分类像素点为背景像素点，得到多个背景像素点。
本发明第三方面提供了一种基于图像抠像的像素分类设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像抠像的像素分类设备执行上述的基于图像抠像的像素分类方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像抠像的像素分类方法。
本发明提供的技术方案中，从待抠像图像中获取多个待分类像素点；对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。本发明实施例中，将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
附图说明
图1为本发明实施例中基于图像抠像的像素分类方法的一个实施例示意图；
图2为本发明实施例中基于图像抠像的像素分类方法的另一个实施例示意图；
图3为本发明实施例中基于图像抠像的像素分类装置的一个实施例示意图；
图4为本发明实施例中基于图像抠像的像素分类装置的另一个实施例示意图；
图5为本发明实施例中基于图像抠像的像素分类设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于图像抠像的像素分类方法、装置、设备及存储介质，用于将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于图像抠像的像素分类方法的一个实施例包括：
101、从待抠像图像中获取多个待分类像素点；
图像由多个像素点组成，服务器从待抠像图像中获取多个组成待抠像图像的多个待分类像素点。
待抠像图像可以为从视频数据中截取的图像，也可以为图像数据。服务器可以通过视频卡获取在线的视频数据，再将在线的视频数据进行截取，得到待抠像图像；服务器可以在离线情况下获取视频流数据，并按照RGB图像的形式导入，从而得到待抠像图像；服务器还可以直接获取在线情况下和离线情况下的图像数据，得到待抠像图像。然后服务器从待抠像图像中图区多个待分类像素点。
可以理解的是，本发明的执行主体可以为基于图像抠像的像素分类装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、对多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
服务器计算每一个待分类像素点的颜色向量，得到多个颜色向量。
在本实施例中，服务器在YUV颜色空间中定义一个颜色椭球体和椭球体中心坐标点，然后提取每个待分类像素点对应的坐标，将坐标映射到YUV颜色空间中，得到待分类像素点在YUV颜色空间中的空间向量，再对该空间向量和椭球体中心坐标点进行计算，得到对应的颜色向量，从而生成多个颜色向量。
例如，待分类像素点1对应的坐标为(u，v)，服务器经过对待分类像素点1进行计算，得到空间向量为yuv，然后服务器再基于空间向量yuv和椭球体中心坐标点进行计算，得到颜色向量K，颜色向量K为空间向量与椭球体中心坐标点的差值。
103、基于多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；
服务器基于多个颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，从而生成三维坐标点对。
三维坐标点对指的是待分类像素点与椭球体中心坐标点的连线与颜色椭球体表面相交的两个三维坐标点。在本实施例中，假设多个待分类像素点中某一个待分类像素点的颜色向量为K，服务器对颜色向量K进行计算，得到三维坐标点对P1和P2，P1和P2位于颜色椭球体的表面，按照相同的方法，可以得到三维坐标点对P3和P4、P5和P6等。
104、基于多个三维坐标点对对多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
服务器根据多个三维坐标点对对多个待分类像素点进行分类，判断每个待分类像素点为前景像素点还是为背景像素点，从而得到多个前景像素点和多个背景像素点。
例如，获取到3个待分类像素点，3个待分类像素点分别为待分类像素点1、待分类像素点2和待分类像素点3，待分类像素点1对应的三维坐标点对为P1和P2、待分类像素点2对应的三维坐标点对为P3和P4以及待分类像素点2对应的三维坐标点对为P5和P6。服务器根据这三个三维坐标点对对待分类像素点1、待分类像素点2和待分类像素点3进行分类，最后服务器根据P1和P2判定待分类像素点1为前景像素点，服务器根据P3和P4以及P5和P6判定待分类像素点2和待分类像素点3为背景像素点。
本发明实施例中，将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
请参阅图2，本发明实施例中基于图像抠像的像素分类方法的另一个实施例包括：
201、从待抠像图像中获取多个待分类像素点；
图像由多个像素点组成，服务器从待抠像图像中获取多个组成待抠像图像的多个待分类像素点。
待抠像图像可以为从视频数据中截取的图像，也可以为图像数据。服务器可以通过视频卡获取在线的视频数据，再将在线的视频数据进行截取，得到待抠像图像；服务器可以在离线情况下获取视频流数据，并按照RGB图像的形式导入，从而得到待抠像图像；服务器还可以直接获取在线情况下和离线情况下的图像数据，得到待抠像图像。然后服务器从待抠像图像中图区多个待分类像素点。
202、对多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
服务器计算每一个待分类像素点的颜色向量，得到多个颜色向量。
在本实施例中，服务器在YUV颜色空间中定义一个颜色椭球体和椭球体中心坐标点，然后提取每个待分类像素点对应的坐标，将坐标映射到YUV颜色空间中，得到待分类像素点在YUV颜色空间中的空间向量，再对该空间向量和椭球体中心坐标点进行计算，得到对应的颜色向量，从而生成多个颜色向量。
例如，待分类像素点1对应的坐标为(u，v)，服务器经过对待分类像素点1进行计算，得到空间向量为yuv，然后服务器再基于空间向量yuv和椭球体中心坐标点进行计算，得到颜色向量K，颜色向量K为空间向量与椭球体中心坐标点的差值。
具体的，服务器读取多个待分类像素点的坐标，然后将每个待分类像素点的坐标分别映射到包括颜色椭球体的预置YUV颜色空间中，得到多个像素颜色向量；然后服务器读取颜色椭球体对应的椭球体中心坐标点和三个轴半径分量；最后服务器根据椭球体中心坐标点和每个像素颜色向量计算每个待分类像素点对应的颜色向量，得到多个颜色向量。
假设多个待分类像素点中的一个待分类像素点的像素坐标为(u，v)，将该像素坐标映射到预置YUV颜色空间的颜色椭球体中，得到像素颜色向量为yuv，服务器基于像素颜色向量和椭球体中心坐标点计算颜色向量，具体过程为：K＝yuv-C，其中K为该待分类像素点的颜色向量。
203、从每个颜色向量中读取得到对应的三个颜色分量；
每个颜色向量都由三个颜色分量组成，服务器从每个颜色向量中读取得到对应的三个颜色分量。
需要说明的是，颜色向量可以理解为对应的待分类像素点与椭球体中心坐标点的连线对应的向量，该向量由三个分量组成。
例如颜色向量A为K，服务器读取到的对应的三个颜色分量为(k1,k2,k3)。
204、基于三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；
服务器根据三个轴半径分量和每个待分类像素点对应的三个颜色分量计算每个待分类像素点对应的第一中间值，生成多个第一中间值。
假设三个轴半径分量为(R1,R2,R3)，待分类像素点1对应的三个颜色分量为(k1,k2,k3)，计算得到对应第一中间值为：
Figure BDA0002451894850000081
其中，α为第一中间值。
205、根据多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对；
具体的，服务器对多个第一中间值一一进行计算，得到每个待分类像素点对应的第二中间值，生成多个成对出现的第二中间值；然后服务器对每一个第二中间值和对应的颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，生成多个三维坐标点对。
服务器计算得到第二中间值的过程具体为：
Figure BDA0002451894850000091
Figure BDA0002451894850000092
其中，t0和t1为成对出现的第二中间值。服务器再按照以下公式计算得到待分类像素点1对应的三维坐标点对：
p1＝C+K*t0
p2＝C+K*t1
其中，p1和p2组成三维坐标点对，C为上述提到的椭球体中心坐标点。
服务器按照相同的计算过程，可以得到三维坐标点对P3和P4以及P5和P6等。
206、基于多个三维坐标点对对多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
服务器根据多个三维坐标点对对多个待分类像素点进行分类，判断每个待分类像素点为前景像素点还是为背景像素点，从而得到多个前景像素点和多个背景像素点。
例如，获取到3个待分类像素点，3个待分类像素点分别为待分类像素点1、待分类像素点2和待分类像素点3，待分类像素点1对应的三维坐标点对为P1和P2、待分类像素点2对应的三维坐标点对为P3和P4以及待分类像素点2对应的三维坐标点对为P5和P6。服务器根据这三个三维坐标点对对待分类像素点1、待分类像素点2和待分类像素点3进行分类，最后服务器根据P1和P2判定待分类像素点1为前景像素点，服务器根据P3和P4以及P5和P6判定待分类像素点2和待分类像素点3为背景像素点。
具体的，服务器对每个三维坐标点对进行计算，得到每个待分类像素点对应的坐标点对欧式距离，生成多个坐标点对欧式距离，服务器对每个颜色向量和椭球体中心坐标点进行计算，得到每个待分类像素点对应的向量欧式距离，得到多个向量欧式距离；然后服务器判断每个待分类像素点对应的坐标点对欧式距离是否大于对应的向量欧式距离；若目标待分类像素点对应的坐标点对欧式距离大于对应的向量欧式距离，则判定目标待分类像素点为前景像素点，从而得到多个前景像素点；若目标待分类像素点对应的坐标点对欧式距离小于或者等于对应的向量欧式距离，则判定目标待分类像素点为背景像素点，得到多个背景像素点。
服务器对待分类像素点分类的具体过程如下：
Figure BDA0002451894850000101
其中，mask用于指示待分类像素点为前景像素点还是背景像素点，当mask为0时，说明待分类像素点为背景像素点，当mask为1时，说明待分类像素点为前景像素点。式中，d(yuv,C)为向量欧式距离，即任意一个待分类像素点对应的颜色向量到椭球体中心坐标点的欧式距离；d(P1,P2)*0.5为坐标点对欧式距离，即任意一个待分类像素点对应的三维坐标点对之间的欧式距离，当任意一个待分类像素点对应的坐标点对欧式距离小于或者等于向量欧式距离时，则判定对应的待分类像素点为背景像素点，当任意一个坐标点对欧式距离大于向量欧式距离时，则判定对应的待分类像素点为前景像素点。
需要说明的是，计算坐标点对欧式距离和计算向量欧式距离都为现有技术，本实施例对此不做具体说明。
本发明实施例中，将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
上面对本发明实施例中基于图像抠像的像素分类方法进行了描述，下面对本发明实施例中基于图像抠像的像素分类装置进行描述，请参阅图3，本发明实施例中基于图像抠像的像素分类装置一个实施例包括：
像素获取模块301，用于从待抠像图像中获取多个待分类像素点；
颜色向量计算模块302，用于对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
三维坐标计算模块303，用于基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；
像素分类模块304，用于基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
本发明实施例中，将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
请参阅图4，本发明实施例中基于图像抠像的像素分类装置的另一个实施例包括：
像素获取模块301，用于从待抠像图像中获取多个待分类像素点；
颜色向量计算模块302，用于对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
三维坐标计算模块303，用于基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；
像素分类模块304，用于基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
可选的，颜色向量计算模块302还可以具体用于：
从所述待抠像图像中读取多个待分类像素点的坐标，将所述多个待分类像素点的坐标一一映射到预置YUV颜色空间中，得到多个像素颜色向量，所述预置YUV颜色空间中包括颜色椭球体；
从所述颜色椭球体中读取得到椭球体中心坐标点和三个轴半径分量；
基于所述椭球体中心坐标点和每个待分类像素点对应的像素颜色向量，计算得到对应的颜色向量，生成多个颜色向量。
可选的，三维坐标计算模块303包括：
颜色分量读取单元3031，用于从每个颜色向量中读取得到对应的三个颜色分量；
中间值计算单元3032，用于基于所述三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；
三维坐标计算单元3033，用于根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对。
可选的，三维坐标计算单元3033还可以具体用于：
对所述多个第一中间值一一进行计算，得到每个待分类像素点对应的第二中间值，生成多个第二中间值，第二中间值成对出现；
对所述多个第二中间值中的每一个第二中间值和对应的颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，生成多个三维坐标点对。
可选的，像素分类模块304还可以具体用于：
对每个待分类像素点对应的三维坐标点对进行计算，得到每个待分类像素点对应的坐标点对欧式距离，生成多个坐标点对欧式距离，并根据每个待分类像素点对应的颜色向量和所述椭球体中心坐标点计算每个待分类像素点对应的向量欧式距离，得到多个向量欧式距离；
判断每个待分类像素点对应的坐标点对欧式距离是否大于对应的向量欧式距离；
若目标待分类像素点对应的坐标点对欧式距离大于对应的向量欧式距离，则判定所述目标待分类像素点为前景像素点，得到多个前景像素点；
若目标待分类像素点对应的坐标点对欧式距离小于或者等于对应的向量欧式距离，则判定所述目标待分类像素点为背景像素点，得到多个背景像素点。
本发明实施例中，将每个像素计算为颜色向量，基于颜色向量再进行三维坐标等一系列计算，得到多个三维坐标点对，根据多个三维坐标点对对多个像素进行分类，提高了对像素进行分类的准确性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于图像抠像的像素分类装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于图像抠像的像素分类设备进行详细描述。
图5是本发明实施例提供的一种基于图像抠像的像素分类设备的结构示意图，该基于图像抠像的像素分类设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于图像抠像的像素分类设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于图像抠像的像素分类设备500上执行存储介质530中的一系列指令操作。
基于图像抠像的像素分类设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于图像抠像的像素分类设备结构并不构成对基于图像抠像的像素分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于图像抠像的像素分类方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像抠像的像素分类方法，其特征在于，所述基于图像抠像的像素分类方法包括：
从待抠像图像中获取多个待分类像素点；
对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；
基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
2.根据权利要求1所述的基于图像抠像的像素分类方法，其特征在于，所述对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量包括：
从所述待抠像图像中读取多个待分类像素点的坐标，将所述多个待分类像素点的坐标一一映射到预置YUV颜色空间中，得到多个像素颜色向量，所述预置YUV颜色空间中包括颜色椭球体；
从所述颜色椭球体中读取得到椭球体中心坐标点和三个轴半径分量；
基于所述椭球体中心坐标点和每个待分类像素点对应的像素颜色向量，计算得到对应的颜色向量，生成多个颜色向量。
3.根据权利要求2所述的基于图像抠像的像素分类方法，其特征在于，所述基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对包括：
从每个颜色向量中读取得到对应的三个颜色分量；
基于所述三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；
根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对。
4.根据权利要求3所述的基于图像抠像的像素分类方法，其特征在于，所述根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对包括：
对所述多个第一中间值一一进行计算，得到每个待分类像素点对应的第二中间值，生成多个第二中间值，第二中间值成对出现；
对所述多个第二中间值中的每一个第二中间值和对应的颜色向量进行计算，得到每个待分类像素点对应的三维坐标点对，生成多个三维坐标点对。
5.根据权利要求4所述的基于图像抠像的像素分类方法，其特征在于，所述基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点包括：
对每个待分类像素点对应的三维坐标点对进行计算，得到每个待分类像素点对应的坐标点对欧式距离，生成多个坐标点对欧式距离，并根据每个待分类像素点对应的颜色向量和所述椭球体中心坐标点计算每个待分类像素点对应的向量欧式距离，得到多个向量欧式距离；
判断每个待分类像素点对应的坐标点对欧式距离是否大于对应的向量欧式距离；
若目标待分类像素点对应的坐标点对欧式距离大于对应的向量欧式距离，则判定所述目标待分类像素点为前景像素点，得到多个前景像素点；
若目标待分类像素点对应的坐标点对欧式距离小于或者等于对应的向量欧式距离，则判定所述目标待分类像素点为背景像素点，得到多个背景像素点。
6.一种基于图像抠像的像素分类装置，其特征在于，所述基于图像抠像的像素分类装置包括：
像素获取模块，用于从待抠像图像中获取多个待分类像素点；
颜色向量计算模块，用于对所述多个待分类像素点中的每一个待分类像素点进行颜色向量计算，得到每一个待分类像素点对应的颜色向量，生成多个颜色向量；
三维坐标计算模块，用于基于所述多个颜色向量，计算每一个待分类像素点对应的三维坐标点对，生成多个三维坐标点对；
像素分类模块，用于基于所述多个三维坐标点对对所述多个待分类像素点进行分类，得到多个前景像素点和多个背景像素点。
7.根据权利要求6所述的基于图像抠像的像素分类装置，其特征在于，所述颜色向量计算模块具体用于：
从所述待抠像图像中读取多个待分类像素点的坐标，将所述多个待分类像素点的坐标一一映射到预置YUV颜色空间中，得到多个像素颜色向量，所述预置YUV颜色空间中包括颜色椭球体；
从所述颜色椭球体中读取得到椭球体中心坐标点和三个轴半径分量；基于所述椭球体中心坐标点和每个待分类像素点对应的像素颜色向量，计算得到对应的颜色向量，生成多个颜色向量。
8.根据权利要求7所述的基于图像抠像的像素分类装置，其特征在于，所述三维坐标计算模块包括：
颜色分量读取单元，用于从每个颜色向量中读取得到对应的三个颜色分量；
中间值计算单元，用于基于所述三个轴半径分量和每个待分类像素点对应的三个颜色分量计算得到每个待分类像素点对应的第一中间值，生成多个第一中间值；
三维坐标计算单元，用于根据所述多个第一中间值计算每个待分类像素点的三维坐标点对，生成多个三维坐标点对。
9.一种基于图像抠像的像素分类设备，其特征在于，所述基于图像抠像的像素分类设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像抠像的像素分类设备执行如权利要求1-5中任意一项所述的基于图像抠像的像素分类方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述基于图像抠像的像素分类方法。
CN202010295130.8A 2020-04-15 2020-04-15 基于图像抠像的像素分类方法、装置、设备及存储介质 Active CN111489374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295130.8A CN111489374B (zh) 2020-04-15 2020-04-15 基于图像抠像的像素分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295130.8A CN111489374B (zh) 2020-04-15 2020-04-15 基于图像抠像的像素分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111489374A true CN111489374A (zh) 2020-08-04
CN111489374B CN111489374B (zh) 2023-06-30

Family

ID=71812915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295130.8A Active CN111489374B (zh) 2020-04-15 2020-04-15 基于图像抠像的像素分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111489374B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096347A (zh) * 2014-04-24 2015-11-25 富士通株式会社 图像处理装置和方法
CN107087123A (zh) * 2017-04-26 2017-08-22 杭州奥点科技股份有限公司 一种基于云端处理的实时高清抠像方法
JP2019046134A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像検査装置、及び画像検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096347A (zh) * 2014-04-24 2015-11-25 富士通株式会社 图像处理装置和方法
CN107087123A (zh) * 2017-04-26 2017-08-22 杭州奥点科技股份有限公司 一种基于云端处理的实时高清抠像方法
JP2019046134A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像検査装置、及び画像検査方法

Also Published As

Publication number Publication date
CN111489374B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
WO2021088473A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
Zheng et al. Segmented spherical projection-based blind omnidirectional image quality assessment
US20040190787A1 (en) Image noise reduction
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN111491149B (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN106157304A (zh) 一种基于多个相机的全景图拼接方法及系统
CN113905147A (zh) 一种船用监控视频画面去抖方法、装置以及存储介质
CN113572978A (zh) 全景视频的生成方法和装置
Hu et al. Real-time video stabilization for fast-moving vehicle cameras
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
WO2024104144A1 (zh) 图像合成方法和装置、存储介质及电子设备
US5995662A (en) Edge detecting method and edge detecting device which detects edges for each individual primary color and employs individual color weighting coefficients
CN111681271B (zh) 一种多通道多光谱相机配准方法、系统及介质
CN113298187A (zh) 图像处理方法及装置、计算机可读存储介质
CN111489374B (zh) 基于图像抠像的像素分类方法、装置、设备及存储介质
CN106791800B (zh) 全景视频的质量诊断方法及装置
KR20010024416A (ko) 정적 이미지 발생 방법 및 장치
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
Satiro et al. Super-resolution of facial images in forensics scenarios
Oskarsson Robust image-to-image color transfer using optimal inlier maximization
Spampinato et al. Advanced feature based digital video stabilization
Hsieh et al. A study of the feature‐based digital image stabilization system
CN111091513A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN110264406A (zh) 图像处理装置及图像处理的方法
JP6686890B2 (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant