CN112446820A - 一种景区照片无关人像去除的方法 - Google Patents

一种景区照片无关人像去除的方法 Download PDF

Info

Publication number
CN112446820A
CN112446820A CN202011198813.8A CN202011198813A CN112446820A CN 112446820 A CN112446820 A CN 112446820A CN 202011198813 A CN202011198813 A CN 202011198813A CN 112446820 A CN112446820 A CN 112446820A
Authority
CN
China
Prior art keywords
portrait
mask
value
area
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011198813.8A
Other languages
English (en)
Inventor
郑雅羽
张鸿锐
张天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202011198813.8A priority Critical patent/CN112446820A/zh
Publication of CN112446820A publication Critical patent/CN112446820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种景区照片无关人像去除的方法，通过固定摄像头在景点的预设拍摄区域获取背景，游客站到预设拍摄点位时，摄像机对游客抓拍，游客选取满意的照片作为原图，使用卷积神经网络进行实例分割处理后，由游客标记不同的人像区域，对相关人像判断、计算相关人像置信度、进行相关人像区域和无关人像区域筛选，对筛选的结果可视化处理；游客预处理后去除确认的无关人像，将结果图呈现给游客。本发明交互性强，游客可在游览空隙将整个过程操作完毕，并能得到完全属于有关人物的独享照片，不用担心侵犯他人隐私，得到的照片实际质量高，由于交互性强、可操作性强，游客选择服务的需求将升高，对于景区来说更能有序管理，并进行经营输出。

Description

一种景区照片无关人像去除的方法
技术领域
本发明涉及图像处理，一般的图像数据处理或产生的技术领域，特别涉及一种景区照片无关人像去除的方法。
背景技术
旅游业是当下蓬勃发展的产业之一，每逢节假日临近，都会有很多人选择通过外出旅游的方式放松心情，景区为了吸引游客，则会在一些热门景点提供拍摄服务。
然而，由于热门景点的人流量密集，很容易导致用户拍摄的照片中出现若干陌生游客，这不仅无法满足用户对照片的独享需求，还存在侵犯他人隐私的风险；同时，大多数的景区拍照服务只能实现用户拍照、取照自动化和一些基础的美颜功能，并不能对用户的照片中出现陌生的游客进行去除操作，得到的照片实际质量并不佳，而用户选择这个服务的需求也随之降低。
对于景区来说，将游客照片进行无关人像去除是一个亟待解决的问题。
申请号CN201911367741.2的专利中提及的图像处理方法是针对游乐园自动拍照服务中出现的无关人像进行处理，此方法是通过事先获取用户以及用户相关人物的人脸信息，通过这些目标人脸的特征信息从视频流中识别出目标视频帧，然后识别图像中的目标人物区域和无关人物区域，将无关人物区域用目标人物区域去替换。虽然该方法能够将图片的无关人物区域进行去除，但却是通过将目标人物区域进行替换来完成的，这会造成最后的结果图中的很多人物的区域都是重复的，大大降低使用者的用户体验感；而且该方法一开始还需要通过用户上传目标人物的人脸信息才能够进行无关人物去除，增加整个操作流程的复杂度。
综上所诉，针对景区游客照片进行无关人像去除的问题目前并没有得到很好的解决。
发明内容
本发明解决了现有技术中存在的问题，提供了一种优化的景区照片无关人像去除的方法。
为实现本发明目的，本发明所采用的技术方案为，一种景区照片无关人像去除的方法，所述方法包括以下步骤：
步骤1：背景获取：针对任一景点，固定摄像头在该景点的预设拍摄区域I，获得若干背景图；
步骤2：获取照片：当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图S进行下一步处理；
步骤3：人像分割：对游客选定的照片使用卷积神经网络进行实例分割处理；
步骤4：人像筛选：对照片进行人像分割后，进行预处理，对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理；
步骤5：用户交互：对照片进行无关人像筛选之后，将筛选结果呈现给游客，游客对筛选的结果进行编辑；
步骤6：人像去除：首先进行区域背景匹配，获得与无关人像区域Ω最为匹配的背景区域G，然后采用图像融合的算法，将无关人像区域Ω用对应的背景区域G进行替换，并无缝融合在原图S上，以实现无关人像去除；
步骤7：将人像去除的结果图呈现给游客。
优选地，所述步骤1包括以下步骤：
步骤1.1：每天经过一定的时间间隔，拍摄背景图N张，并以拍摄的时间进行命名；
步骤1.2：通过卷积神经网络进行人像分割，判断这N张图内是否含有人像，若不含有人像，则将拍摄的背景图存入该景点的背景图库中，否则将拍摄的背景图删除，若拍摄的N张图像中都含有人像，则继续拍摄N张背景图并重复步骤1.2；
步骤1.3：将M天前的背景图进行删除操作，避免内存浪费；
步骤1.4：对该拍摄点位的预设拍照区域I进行标记。
优选地，所述步骤3中，卷积神经网络为Mask-RCNN实例分割网络。
优选地，所述步骤4包括以下步骤：
步骤4.1：对照片进行人像分割后，对获得的n个掩模区域进行图像掩膜处理，n个掩模区域内的像素值使用m到m+n之间的n个数值进行赋值，图片的预设拍照区域I的像素值设为255，除此之外的其他区域的像素值设为0；n≥0，m+n＜255；
步骤4.2：进行相关人像判断，计算得到相关人像置信度；
步骤4.3：设定置信度阈值，基于置信度进行相关人像区域和无关人像区域筛选，置信度超过阈值的为相关人像区域；
步骤4.4：对认定为有关人像区域的，进行可视化处理，便于用户辨别。
优选地，所述步骤4.2包括以下步骤：
步骤4.2.1：计算掩模之间的交并比IOU，通过IOU得出各个掩模的有关人像置信度ValueIOU；
步骤4.2.2：计算各个掩模到预设拍照区域I的横向距离HorDis，通过该距离得出各个掩模的有关人像置信度Valuedis；
步骤4.2.3：对各个掩模区域进行聚类，得出各个掩模的人像置信度Valuemeans；
步骤4.2.4：对置信度ValueIOU、Valuedis、Valuemeans加权相加，得到最后的有关人像置信度Value。
优选地，所述步骤4.2.1：计算各个掩模间的交并比IOUij，
Figure BDA0002754791220000031
Figure BDA0002754791220000032
其中，pixel指代某个像素点的像素值，pixel∈(Maski∩Maskj)是指掩模Maski和掩模Maskj交集区域的像素点，pixel∈Maski是指在Maski整个区域内的像素点，IOU∈[0,1]；基于IOU获得各个掩模有关人像置信度ValueIOU，取ValueIOU的最大值；
当Maski与预设拍照区域I的交并比IOUiI大于0，则ValueIOU_i值为1；
当Maski及与其相交的其他人像区域Maskj与预设拍照区域I的交并比IOUiI和IOUjI为0，则Maski与Maskj都没有像素落在区域I内，其ValueIOU_i值为0；
Figure BDA0002754791220000041
其中，v用来判断Maski与Maskj的相交程度；
取ValueIOU的最大值。
优选地，所述步骤4.2.2中，HorDis＝|CenterX-IX|，其中，CenterX是掩模区域最小外接四边形的中心点的横坐标，IX是预设拍照区域I的中心的横坐标；
Figure BDA0002754791220000042
其中，数值D是两区域距离的阈值，设定为图像宽度的
Figure BDA0002754791220000043
优选地，所述步骤4.2.3包括以下步骤：
选择预设拍照区域I的中心点和任意一个掩模区域的中心点作为2个聚类的初始中心，令前者为有关人像类的中心，后者为无关人像类的中心；
计算掩模Maski区域到两个聚类中心的距离dis，
Figure BDA0002754791220000044
其中，(x,y)为Maski内的点的坐标，(X,Y)是聚类中心，PixelNum是Maski内的像素总个数，将Maski类别归类到距离两个聚类中心较近的中心的类；通过采用类内像素点坐标均值来迭代计算有关人像类和无关人像类的中心；
对2个聚类中心，直至迭代更新后新的聚类中心与上一次的聚类中心之间的距离变化小于阈值，认为达到稳定状态，迭代结束，否则继续迭代更新；使用稳定状态的两聚类中心进行类别判断，计算Valuemeans，
Figure BDA0002754791220000045
优选地，所述步骤6包括以下步骤：
步骤6.1：对每个无关人像掩膜取最小外接矩形[a,b,w,h]，选择进行背景匹配的对应无关人像区域Ω为[a,b,k*w,k*h]，其中，a和b是矩形的中心的横坐标和纵坐标，w和h是矩形的宽和高，k是无关人像区域的放大系数；对每个无关人像区域Ω和对应的无关人像掩膜作差，将得到的每个无关人像掩膜的周围区域确定为局部背景区域；
步骤6.2：将每个局部背景区域进行颜色空间转换，将RGB颜色空间转换到HSV颜色空间；
步骤6.3：计算HSV颜色空间直方图，并进行归一化处理；
步骤6.4：将处理后的每个局部背景区域与各个背景图中的对应区域进行直方图相关性比较，采用相关性度量公式进行相似度计算；
步骤6.5：选择相似度最高的J张背景图，将J张背景图中相似度低于阈值D的背景图排除，将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果；
步骤6.6：进行图像融合，将无关人像区域Ω用匹配的背景图的对应背景区域G进行替换，在原图S上实现无缝融合。
本发明提供了一种优化的景区照片无关人像去除的方法，通过固定摄像头在该景点的预设拍摄区域I获取背景，当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图S，对游客选定的照片使用卷积神经网络进行实例分割处理后，由游客将不同的人像区域进行标记，随后对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理；游客预处理后对确认的无关人像进行去除，最后将结果图呈现给游客。
本发明交互性强，游客可以在游览的空隙将整个过程操作完毕，并能得到完全属于有关人物的独享的照片，不用担心侵犯他人隐私，得到的照片实际质量高，由于交互性强、可操作性强，游客选择这个服务的需求将升高，对于景区来说更能有序管理，并进行经营输出。
附图说明
图1为本发明的流程图；
图2为本发明的实施例示意图，其中，a为拍摄的原图，b为经过人像分割、无关人像筛选之后的图片，c为经过人像去除之后的结果图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种景区照片无关人像去除的方法，所述方法包括以下步骤。
步骤1：背景获取：针对任一景点，固定摄像头在该景点的预设拍摄区域I，获得若干背景图。
所述步骤1包括以下步骤：
步骤1.1：每天经过一定的时间间隔，拍摄背景图N张，并以拍摄的时间进行命名；
步骤1.2：通过卷积神经网络进行人像分割，判断这N张图内是否含有人像，若不含有人像，则将拍摄的背景图存入该景点的背景图库中，否则将拍摄的背景图删除，若拍摄的N张图像中都含有人像，则继续拍摄N张背景图并重复步骤1.2；
步骤1.3：将M天前的背景图进行删除操作，避免内存浪费；
步骤1.4：对该拍摄点位的预设拍照区域I进行标记。
本发明中，预设拍摄区域一般为景区基于实际的摄影师的经验、景区的客观环境、舆情的变换等选择的“最佳”拍摄点位，此区域可能发生变化，但是短期内基本稳定。
本发明中，N和M显然为大于0的数，一般来说，N可以为5，M可以取10。
本发明中，步骤1.2的卷积神经网络包括但不限于Mask-RCNN实例分割网络。
步骤2：获取照片：当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图S进行下一步处理。
步骤3：人像分割：对游客选定的照片使用卷积神经网络进行实例分割处理。
所述步骤3中，卷积神经网络为Mask-RCNN实例分割网络。
本发明中，步骤3对分割的结果进行处理，将不同的人像区域进行标记，可以便于后续过程中游客进行选择。
本发明中，卷积神经网络包括但不限于Mask-RCNN实例分割网络。
本发明中，卷积神经网络采用Mask-RCNN实例分割网络时，选取在人像分割数据集上达到最优效果的模型进行部署，整个训练和部署的过程可采用PyTorch框架或Tensorflow框架。
步骤4：人像筛选：对照片进行人像分割后，进行预处理，对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理。
所述步骤4包括以下步骤：
步骤4.1：对照片进行人像分割后，对获得的n个掩模区域进行图像掩膜处理，n个掩模区域内的像素值使用m到m+n之间的n个数值进行赋值，图片的预设拍照区域I的像素值设为255，除此之外的其他区域的像素值设为0；n≥0，m+n＜255；
步骤4.2：进行相关人像判断，计算得到相关人像置信度；
所述步骤4.2包括以下步骤：
步骤4.2.1：计算掩模之间的交并比IOU，通过IOU得出各个掩模的有关人像置信度ValueIOU；
所述步骤4.2.1：计算各个掩模间的交并比IOUij，
Figure BDA0002754791220000071
其中，pixel指代某个像素点的像素值，pixel∈(Maski∩Maskj)是指掩模Maski和掩模Maskj交集区域的像素点，pixel∈Maski是指在Maski整个区域内的像素点，IOU∈[0,1]；基于IOU获得各个掩模有关人像置信度ValueIOU，取ValueIOU的最大值；
当Maski与预设拍照区域I的交并比IOUiI大于0，则ValueIOU_i值为1；
当Maski及与其相交的其他人像区域Maskj与预设拍照区域I的交并比IOUiI和IOUjI为0，则Maski与Maskj都没有像素落在区域I内，其ValueIOU_i值为0；
Figure BDA0002754791220000081
其中，v用来判断Maski与Maskj的相交程度；
取ValueIOU的最大值。
步骤4.2.2：计算各个掩模到预设拍照区域I的横向距离HorDis，通过该距离得出各个掩模的有关人像置信度Valuedis；
所述步骤4.2.2中，HorDis＝|CenterX-IX|，其中，CenterX是掩模区域最小外接四边形的中心点的横坐标，IX是预设拍照区域I的中心的横坐标；
Figure BDA0002754791220000082
其中，数值D是两区域距离的阈值，设定为图像宽度的
Figure BDA0002754791220000083
步骤4.2.3：对各个掩模区域进行聚类，得出各个掩模的人像置信度Valuemeans；
所述步骤4.2.3包括以下步骤：
选择预设拍照区域I的中心点和任意一个掩模区域的中心点作为2个聚类的初始中心，令前者为有关人像类的中心，后者为无关人像类的中心；
计算掩模Maski区域到两个聚类中心的距离dis，
Figure BDA0002754791220000084
其中，(x,y)为Maski内的点的坐标，(X,Y)是聚类中心，PixelNum是Maski内的像素总个数，将Maski类别归类到距离两个聚类中心较近的中心的类；通过采用类内像素点坐标均值来迭代计算有关人像类和无关人像类的中心；
对2个聚类中心，直至迭代更新后新的聚类中心与上一次的聚类中心之间的距离变化小于阈值，认为达到稳定状态，迭代结束，否则继续迭代更新；使用稳定状态的两聚类中心进行类别判断，计算Valuemeans，
Figure BDA0002754791220000091
步骤4.2.4：对置信度ValueIOU、Valuedis、Valuemeans加权相加，得到最后的有关人像置信度Value。
步骤4.3：设定置信度阈值，基于置信度进行相关人像区域和无关人像区域筛选，置信度超过阈值的为相关人像区域；
步骤4.4：对认定为有关人像区域的，进行可视化处理，便于用户辨别。
本发明中，掩模是指经过卷积神经网络后获得的区域。
本发明中，步骤4.1的n是经过卷积神经网络之后，获得的人像区域的数量，n的取值范围视图片中的人像个数而定，大于等于0，m+n＜255，255为像素点像素的最大值。
本发明中，步骤4.2.1中，
当Maski与预设拍照区域I的交并比IOUiI大于0，即Maski区域有像素落在预设拍照区域I内时，则ValueIOU_i值为1；
当Maski及与其相交的其他人像区域Maskj与预设拍照区域I的交并比IOUiI和IOUjI为0，则Maski与Maskj都没有像素落在区域I内，其ValueIOU_i值为0；
第三种情况需要先判断Maski与Maskj的相交程度，一般来说，v的取值为0至1间的数，如v取0.1，当然也可以根据实际情况在此值附近进行微调以适应不同场景，得到
Figure BDA0002754791220000092
最后，取ValueIOU的最大值。
本发明中，步骤4.2.2，其中，HorDis是Mask区域的中心点到预设拍照区域I的横向距离，通过两个区域的中心点横坐标差的绝对值计算得来；一般来说，K大于0，如K取3，且可以根据实际情况在此值附近进行微调以适应不同场景。
本发明中，步骤4.2.3先随机选取一个掩膜作为假定的无关人像，随后执行后续的操作；其中，继续迭代是从重新计算计算掩模Maski区域到两个聚类中心的距离dis开始的，随后进行再归类、重新计算两个聚类中心并确认距离变化是否小于阈值。
本发明中，步骤4.2.4对置信度ValueIOU、Valuedis、Valuemeans采用加权相加，得到最后的有关人性置信度Value，Value＝α·ValueIOU+β·Valuedis+χ·Valuemeans；其中，α+β+χ＝1，α、β、χ的值在0至1之间，本实例中，α、β、χ的值分别设置为0.5、0.3、0.2，可以根据实际情况在此值附近进行微调以适应不同场景。
本发明中，置信度阈值显然大于0，一般可以设为0.8，可以根据实际情况在此值附近进行微调以适应不同场景。
步骤5：用户交互：对照片进行无关人像筛选之后，将筛选结果呈现给游客，游客对筛选的结果进行编辑。
本发明中，游客可以通过触摸屏或其他方式对筛选的结果进行编辑，甚至可以更改人像区域所属的类别；在实际应用中，可以以不同的颜色区分无关人像区域和有关人像区域，用户通过点击红色的Mask，可以将Mask的颜色从红色转为蓝色，即改变该区域无关人像的判断；用户通过点击蓝色Mask，将其转变为红色，即将该区域认定为无关人像区域；用户对于最终结果若无更改意愿，可点击确认按钮，对于无关人像区域的筛选进行确认。
步骤6：人像去除：首先进行区域背景匹配，获得与无关人像区域Ω最为匹配的背景区域G，然后采用图像融合的算法，将无关人像区域Ω用对应的背景区域G进行替换，并无缝融合在原图S上，以实现无关人像去除。
所述步骤6包括以下步骤：
步骤6.1：对每个无关人像掩膜取最小外接矩形[a,b,w,h]，选择进行背景匹配的对应无关人像区域Ω为[a,b,k*w,k*h]，其中，a和b是矩形的中心的横坐标和纵坐标，w和h是矩形的宽和高，k是无关人像区域的放大系数；对每个无关人像区域Ω和对应的无关人像掩膜作差，将得到的每个无关人像掩膜的周围区域确定为局部背景区域；
步骤6.2：将每个局部背景区域进行颜色空间转换，将RGB颜色空间转换到HSV颜色空间；
步骤6.3：计算HSV颜色空间直方图，并进行归一化处理；
步骤6.4：将处理后的每个局部背景区域与各个背景图中的对应区域进行直方图相关性比较，采用相关性度量公式进行相似度计算；
步骤6.5：选择相似度最高的J张背景图，将J张背景图中相似度低于阈值D的背景图排除，将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果；
步骤6.6：进行图像融合，将无关人像区域Ω用匹配的背景图的对应背景区域G进行替换，在原图S上实现无缝融合。
本发明中，图像融合算法采用泊松融合的方法，可以根据实际情况使用不同的图像融合算法以适应不同场景。泊松融合能在保留原图像梯度信息的基础上，较好的消除拼接的痕迹，其核心思想是根据原图像的梯度信息以及目标图像的边界信息，利用插值的方法重新构建出合成区域内的图像像素。
本发明中，步骤6.1的k显然大于0，一般可以取2，当然也可以根据实际情况在此值附近进行微调以适应不同场景；背景匹配的区域若一侧超出图像边界，则需要在未超出图像边界的一侧增加面积与超出图像边界部分相同的区域；背景匹配的区域若两侧均超出图像边界则将整张图片作为背景匹配区域；背景匹配的区域若存在Mask，则需要将区域中的Mask区域去除进行匹配。
本发明中，步骤6.2通过RGB转换到HSV的转换公式将RGB的像素值转换到HSV空间中H、S、V三分量的值，此为本领域公知技术，本领域技术人员可以自行处理。
本发明中，步骤6.5中，J显然大于0，一般可以设为7，首先将J张背景图中相似度低于阈值D的背景图排除，相似度阈值D显然大于0，如设为0.85，可以根据实际情况在此值附近进行微调以适应不同场景，然后将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果。
步骤7：将人像去除的结果图呈现给游客。
本发明中，结合说明书附图2对实施例的效果图进行展示：
a图是拍摄的原图，图中的选框为人为设定的最佳拍摄区域I；
b图是经过人像分割、无关人像筛选之后的图片，其中左侧掩膜的区域代表无关人像区域，右侧掩膜的区域代表有关人像区域；
其中左侧掩膜的区域经过无关人像筛选之后得到的ValueIOU＝0，Valuedis＝0.671，Valuemeans＝-1，最后求得的Value＝0.0013，小于设定的阈值0.8，所以是无关人像区域，并给整个区域置为第一种颜色；
其中右侧掩膜的区域经过无关人像筛选之后得到的ValueIOU＝1，Valuedis＝0.741，Valuemeans＝1。最后求得的Value＝0.9223，大于设定的阈值0.8，所以是有关人像区域，并给整个区域置为第二种颜色；
第一种颜色和第二种颜色在实际应用中有明显区别；
c图是经过人像去除之后的结果图，防止侵犯照片中人的隐私，对照片中人物的脸部区域进行马赛克处理。

Claims (9)

1.一种景区照片无关人像去除的方法，其特征在于：所述方法包括以下步骤：
步骤1：背景获取：针对任一景点，固定摄像头在该景点的预设拍摄区域I，获得若干背景图；
步骤2：获取照片：当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图S进行下一步处理；
步骤3：人像分割：对游客选定的照片使用卷积神经网络进行实例分割处理；
步骤4：人像筛选：对照片进行人像分割后，进行预处理，对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理；
步骤5：用户交互：对照片进行无关人像筛选之后，将筛选结果呈现给游客，游客对筛选的结果进行编辑；
步骤6：人像去除：首先进行区域背景匹配，获得与无关人像区域Ω最为匹配的背景区域G，然后采用图像融合的算法，将无关人像区域Ω用对应的背景区域G进行替换，并无缝融合在原图S上，以实现无关人像去除；
步骤7：将人像去除的结果图呈现给游客。
2.根据权利要求1所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤1包括以下步骤：
步骤1.1：每天经过一定的时间间隔，拍摄背景图N张，并以拍摄的时间进行命名；
步骤1.2：通过卷积神经网络进行人像分割，判断这N张图内是否含有人像，若不含有人像，则将拍摄的背景图存入该景点的背景图库中，否则将拍摄的背景图删除，若拍摄的N张图像中都含有人像，则继续拍摄N张背景图并重复步骤1.2；
步骤1.3：将M天前的背景图进行删除操作，避免内存浪费；
步骤1.4：对该拍摄点位的预设拍照区域I进行标记。
3.根据权利要求1所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤3中，卷积神经网络为Mask-RCNN实例分割网络。
4.根据权利要求1所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1：对照片进行人像分割后，对获得的n个掩模区域进行图像掩膜处理，n个掩模区域内的像素值使用m到m+n之间的n个数值进行赋值，图片的预设拍照区域I的像素值设为255，除此之外的其他区域的像素值设为0；n≥0，m+n＜255；
步骤4.2：进行相关人像判断，计算得到相关人像置信度；
步骤4.3：设定置信度阈值，基于置信度进行相关人像区域和无关人像区域筛选，置信度超过阈值的为相关人像区域；
步骤4.4：对认定为有关人像区域的，进行可视化处理，便于用户辨别。
5.根据权利要求4所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤4.2包括以下步骤：
步骤4.2.1：计算掩模之间的交并比IOU，通过IOU得出各个掩模的有关人像置信度ValueIOU；
步骤4.2.2：计算各个掩模到预设拍照区域I的横向距离HorDis，通过该距离得出各个掩模的有关人像置信度Valuedis；
步骤4.2.3：对各个掩模区域进行聚类，得出各个掩模的人像置信度Valuemeans；
步骤4.2.4：对置信度ValueIOU、Valuedis、Valuemeans加权相加，得到最后的有关人像置信度Value。
6.根据权利要求5所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤4.2.1：计算各个掩模间的交并比IOUij，
Figure FDA0002754791210000031
其中，pixel指代某个像素点的像素值，pixel∈(Maski∩Maskj)是指掩模Maski和掩模Maskj交集区域的像素点，pixel∈Maski是指在Maski整个区域内的像素点，IOU∈[0,1]；基于IOU获得各个掩模有关人像置信度ValueIOU，取ValueIOU的最大值；
当Maski与预设拍照区域I的交并比IOUiI大于0，则ValueIOU_i值为1；
当Maski及与其相交的其他人像区域Maskj与预设拍照区域I的交并比IOUiI和IOUjI为0，则Maski与Maskj都没有像素落在区域I内，其ValueIOU_i值为0；
Figure FDA0002754791210000032
其中，v用来判断Maski与Maskj的相交程度；
取ValueIOU的最大值。
7.根据权利要求5所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤4.2.2中，HorDis＝|CenterX-IX|，其中，CenterX是掩模区域最小外接四边形的中心点的横坐标，IX是预设拍照区域I的中心的横坐标；
Figure FDA0002754791210000041
其中，数值D是两区域距离的阈值，设定为图像宽度的
Figure FDA0002754791210000042
8.根据权利要求5所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤4.2.3包括以下步骤：
选择预设拍照区域I的中心点和任意一个掩模区域的中心点作为2个聚类的初始中心，令前者为有关人像类的中心，后者为无关人像类的中心；
计算掩模Maski区域到两个聚类中心的距离dis，
Figure FDA0002754791210000043
其中，(x,y)为Maski内的点的坐标，(X,Y)是聚类中心，PixelNum是Maski内的像素总个数，将Maski类别归类到距离两个聚类中心较近的中心的类；通过采用类内像素点坐标均值来迭代计算有关人像类和无关人像类的中心；
对2个聚类中心，直至迭代更新后新的聚类中心与上一次的聚类中心之间的距离变化小于阈值，认为达到稳定状态，迭代结束，否则继续迭代更新；使用稳定状态的两聚类中心进行类别判断，计算Valuemeans，
Figure FDA0002754791210000044
9.根据权利要求1所述的一种景区照片无关人像去除的方法，其特征在于：所述步骤6包括以下步骤：
步骤6.1：对每个无关人像掩膜取最小外接矩形[a,b,w,h]，选择进行背景匹配的对应无关人像区域Ω为[a,b,k*w,k*h]，其中，a和b是矩形的中心的横坐标和纵坐标，w和h是矩形的宽和高，k是无关人像区域的放大系数；对每个无关人像区域Ω和对应的无关人像掩膜作差，将得到的每个无关人像掩膜的周围区域确定为局部背景区域；
步骤6.2：将每个局部背景区域进行颜色空间转换，将RGB颜色空间转换到HSV颜色空间；
步骤6.3：计算HSV颜色空间直方图，并进行归一化处理；
步骤6.4：将处理后的每个局部背景区域与各个背景图中的对应区域进行直方图相关性比较，采用相关性度量公式进行相似度计算；
步骤6.5：选择相似度最高的J张背景图，将J张背景图中相似度低于阈值D的背景图排除，将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果；
步骤6.6：进行图像融合，将无关人像区域Ω用匹配的背景图的对应背景区域G进行替换，在原图S上实现无缝融合。
CN202011198813.8A 2020-10-31 2020-10-31 一种景区照片无关人像去除的方法 Pending CN112446820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011198813.8A CN112446820A (zh) 2020-10-31 2020-10-31 一种景区照片无关人像去除的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011198813.8A CN112446820A (zh) 2020-10-31 2020-10-31 一种景区照片无关人像去除的方法

Publications (1)

Publication Number Publication Date
CN112446820A true CN112446820A (zh) 2021-03-05

Family

ID=74735659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011198813.8A Pending CN112446820A (zh) 2020-10-31 2020-10-31 一种景区照片无关人像去除的方法

Country Status (1)

Country Link
CN (1) CN112446820A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817991A (zh) * 2022-05-10 2022-07-29 上海计算机软件技术开发中心 一种车联网图像脱敏方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266685A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于多幅照片去除无关图像的方法
WO2019000565A1 (zh) * 2017-06-30 2019-01-03 深圳前海弘稼科技有限公司 景区拍照方法和系统
CN109905598A (zh) * 2019-02-25 2019-06-18 四川长虹电器股份有限公司 一种智能拍照方法和智能拍照系统
CN110287361A (zh) * 2019-06-28 2019-09-27 北京奇艺世纪科技有限公司 一种人物图片筛选方法及装置
CN110766645A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于人物识别与分割的目标人物复现图生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266685A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于多幅照片去除无关图像的方法
WO2019000565A1 (zh) * 2017-06-30 2019-01-03 深圳前海弘稼科技有限公司 景区拍照方法和系统
CN109905598A (zh) * 2019-02-25 2019-06-18 四川长虹电器股份有限公司 一种智能拍照方法和智能拍照系统
CN110287361A (zh) * 2019-06-28 2019-09-27 北京奇艺世纪科技有限公司 一种人物图片筛选方法及装置
CN110766645A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于人物识别与分割的目标人物复现图生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817991A (zh) * 2022-05-10 2022-07-29 上海计算机软件技术开发中心 一种车联网图像脱敏方法和系统
CN114817991B (zh) * 2022-05-10 2024-02-02 上海计算机软件技术开发中心 一种车联网图像脱敏方法和系统

Similar Documents

Publication Publication Date Title
US6909806B2 (en) Image background replacement method
JP5432714B2 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
CN101443791B (zh) 用于在数字图像中的前景和背景之间提供分离的方法和设备
US8170350B2 (en) Foreground/background segmentation in digital images
JP4074062B2 (ja) ベクトル画像シーケンスにおける意味対象物の追跡
JP4194025B2 (ja) 照明不変の客体追跡方法及びこれを用いた映像編集装置
US7024053B2 (en) Method of image processing and electronic camera
US20060257048A1 (en) System and method for producing a page using frames of a video stream
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN110349099B (zh) 一种复杂场景视频阴影检测与消除方法
CN110956681B (zh) 一种结合卷积网络和邻域相似性的人像背景自动替换方法
WO2007025578A1 (en) Image segmentation method and system
JP2006119817A (ja) 画像処理装置
DE112019007550T5 (de) Automatisches segmentieren und anpassen von bildern
JP2011054080A (ja) 画像処理装置および方法、並びにプログラム
KR101744141B1 (ko) 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
CN112446820A (zh) 一种景区照片无关人像去除的方法
EP1443458A2 (en) Image processing method, apparatus and computer program
Li et al. Optimal seamline detection in dynamic scenes via graph cuts for image mosaicking
CN114549373A (zh) Hdr图像生成方法、装置、电子设备及可读存储介质
CN112614149A (zh) 基于实例分割的语义合成方法
Ye et al. Hybrid scheme of image’s regional colorization using mask r-cnn and Poisson editing
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及系统
US20020158972A1 (en) Method of image processing an animated figure
JP2005250778A (ja) 画像の天地方向判定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination