CN112464012B - 可自动筛选照片的景区自动拍照系统及景区自动拍照方法 - Google Patents

可自动筛选照片的景区自动拍照系统及景区自动拍照方法 Download PDF

Info

Publication number
CN112464012B
CN112464012B CN202011196852.4A CN202011196852A CN112464012B CN 112464012 B CN112464012 B CN 112464012B CN 202011196852 A CN202011196852 A CN 202011196852A CN 112464012 B CN112464012 B CN 112464012B
Authority
CN
China
Prior art keywords
photos
face
matching degree
picture
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011196852.4A
Other languages
English (en)
Other versions
CN112464012A (zh
Inventor
郑雅羽
张天宇
张鸿锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202011196852.4A priority Critical patent/CN112464012B/zh
Publication of CN112464012A publication Critical patent/CN112464012A/zh
Application granted granted Critical
Publication of CN112464012B publication Critical patent/CN112464012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种可自动筛选照片的景区自动拍照系统及景区自动拍照方法，确定预设拍摄区域后相机以预设频率拍摄照片，游客在选定匹配人脸特征的指定拍摄区域内面对相机拍摄照片，生成人脸照片管理库；游客上传自拍照片，自拍照片与人脸照片管理库中的照片人脸匹配，筛选出符合预设条件的照片，对应初始拍摄区域照片、初始光照照片、初始姿态照片计算位置匹配度、光照匹配度、姿态匹配度，以综合筛选参数筛选照片，处理后供游客筛选、获取。本发明通过对景区内游客自动拍照，并通过表情、位置、光照等信息的融合，实现自动筛选出游客满意度较高的照片的目的，便于游客在景区内拍照留念，更增加游客在景区内的游览体验，有利于景区的良性运作。

Description

可自动筛选照片的景区自动拍照系统及景区自动拍照方法
技术领域
本发明涉及图像处理，一般的图像数据处理或产生的技术领域，特别涉及一种适用于智慧旅游技术的可自动筛选照片的景区自动拍照系统及景区自动拍照方法。
背景技术
随着经济的快速发展和人们生活水平的日益提高，旅游出行已经成为人们节假日必不可少的休闲方式，伴随着网络分享化和移动通信技术的快速发展，游客在游览景观的同时，喜欢拍摄自己的照片或是视频作为纪念，并通过社交网络分享给其他人。
传统的拍摄手法是用户利用自拍杆，或是他人协助进行拍照，这种拍照方式效率较低，经常导致一个景点人满为患，同时，考虑到用户的拍照水平各有高低，经常要考虑位置、光线、人物和背景带来的影响，降低了照片质量，影响了用户的游玩体验；进一步来说，现有的智能相机也无法做到融合人脸信息、位置、光照、体态等多种参数进行自动拍照。
随着景区的发展、游客需求的不断提高，拍摄照片的方法、设备如果不及时更新换代，将难以取得良好的效果，也影响了游客的体验。
在景区智能拍照上，公开号为CN110598568A的专利通过分析游客的表情与景点特色相匹配进行自动拍摄；该方法的局限性在于只考虑到游客的表情对拍摄照片效果的影响，忽略了光线、人物位置、人物体态对于照片的影响，而这些恰好是照片拍摄时重要的参考要素。
在景区照片生成的方法上，公开号为CN111177451A的专利通过识别游客的身份，然后到网络上寻找该游客的网络社交足迹和圈子，对旅游照片和旅行日记进行分析，进而分析出游客的拍照偏好，再返回给拍照单元拍照；这种方法的局限性很大，首先必须通过互联网获取用户的信息，无法确保游客具有有效的拍照信息，其次当获取到信息再进行拍照是无法做到实时性操作、交互的，效率低下，最后，由于每一个景区的特点不同，采用其他景点的拍照参数并不一定具有针对性。
除了上述缺陷外，现有相机一般根据红外等方式触发拍照，这种拍照方法无法判断出是否应该在合适的条件下拍摄高清晰、高精度的照片，从而导致拍摄多张照片效率低下。
发明内容
本发明解决了现有技术中存在的问题，提供了一种优化的可自动筛选照片的景区自动拍照系统及景区自动拍照方法，如何融合人脸、位置、光照、姿态等参数拍照，记录用户在当前景区的拍照偏好并进行迭代，能够让游客游览风景的同时，减少使用设备和选择最佳拍摄点的时间，同时保证游客获得高质量的照片，提高景区的吸引力。
为实现本发明目的，本发明所采用的技术方案为，一种可自动筛选照片的景区自动拍照方法，所述方法包括以下步骤：
步骤1：确定景区拍照点的预设拍摄区域，架设相机，配置相机，朝向预设拍摄区域以预设频率拍摄照片；
步骤2：在控制端标记初始拍摄区域照片，选定初始光照照片，设定初始姿态照片；
步骤3：基于步骤1的照片，选定匹配人脸特征的指定拍摄区域，以相机对指定拍摄区域进行高清拍照；
步骤4：提示游客在指定拍摄区域内面对相机进行拍照，游客在T时间内可拍摄N张照片；
步骤5：数据服务器对相机拍摄的照片作人脸分析，生成人脸照片管理库；
步骤6：游客通过己方终端上传一张自拍照片，后台将任一游客的自拍照片与人脸照片管理库中的照片进行人脸匹配，筛选出符合预设条件的N′张照片；
步骤7：基于步骤2的三项照片，对应步骤6得到的照片计算位置匹配度dp、光照匹配度dg、姿态匹配度dm，通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片；
步骤8：将步骤7得到的若干张照片进行处理，并在图片处理显示终端上供游客筛选，筛选成功后显示二维码，游客通过己方终端扫描二维码获取照片。
优选地，所述步骤1中，设置相机，配置相机与数据分析服务器的连接，相机朝向预设拍摄区域以低分辨率模式拍照，拍照时间间隔小于1秒。
优选地，所述步骤3包括以下步骤：
步骤3.1：基于步骤1的照片，将人脸面部划分得到S个特征点，得到两眼外侧的水平距离d1、右眼外侧眼角与鼻尖的水平距离d2、嘴巴中点与鼻尖的垂直距离d3，鼻尖与双眼连线的垂直距离d4；令k＝d1/d2， m＝d3/d4，设置k和m的范围，基于范围划分人脸的角度，得到人脸角度匹配度Valueangle，
Figure BDA0002754272500000031
其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.2：由人脸检测模型得到人脸特征向量Fi，将图像进行N等份后，由中间向两侧分别对称并逐渐递减赋予权重r，r∈(0，1)，得到人脸位置匹配度Valuelocat，
Figure BDA0002754272500000032
其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.3：对Valueangle和Valuelocat采用加权相加，得到综合拍照参数 Pic，Pic＝α·Valueangle+β·Valuelocat，α和β分别为权重，α+β＝1；
步骤3.4：设置置信度阈值T1，当Pic＞T1时，则认定为高清拍照区域。
优选地，所述步骤5包括以下步骤：
步骤5.1：提取相机中图库的照片进行分析，将截取到的人脸图像进行清晰度筛选，保留清晰度大于阈值的照片；
步骤5.2：进行人脸关键点坐标矫正，判断是否为正脸；
步骤5.3：将步骤3提取的人脸特征根据匹配度进行聚类，生成对应每个游客的人脸照片管理库，用于存储各个拍照点拍摄的当前游客的原始照片；若存在找不到匹配者的，则将为当前游客新建对应的人脸照片管理库；
步骤5.4：对人脸照片管理库中的人脸进行检测，并进行表情识别。
优选地，所述步骤6中，分别提取自拍的照片与人脸照片管理库中的照片的人脸特征，计算人脸相似度df；将自拍的照片与N张照片计算得到的人脸相似度自大到小排序，筛选其中表情识别为微笑表情的照片后，选中前N′张照片。
优选地，所述步骤7包括以下步骤：
步骤7.1：在控制端将步骤6获得的照片框出预设拍摄区域的位置，由人脸检测模型得到照片中的人脸特征点；基于步骤2的初始拍摄区域照片中的人脸特征点，得到归一化处理的人脸的位置匹配度dp，
Figure BDA0002754272500000041
Figure BDA0002754272500000042
其中，x为初始拍摄区域照片中人脸特征点的坐标，f为步骤 6获得的照片中人脸特征点的坐标，i为每张照片的每一张人脸，δ为每个i的归一化因子，n为人脸的总数；
步骤7.2：对步骤2的初始光照照片和步骤6获得的照片进行直方图数据采集，将采集的所有图像直方图归一化处理，得到归一化处理的光照匹配度dg，
Figure BDA0002754272500000043
其中，h和h′分别为步骤2的初始光照照片和步骤6获得的照片的直方图数据，i为每张照片的每一张人脸，δ为每个i的归一化因子，N为人脸的总数；
步骤7.3：dg的值由小至大为匹配程度增大，对dg的值由大到小进行排序；
步骤7.4：对步骤2的初始姿态照片和步骤6获得的照片中的姿态进行归一化处理，得到归一化处理的姿态匹配度dm，
Figure BDA0002754272500000044
其中，p为步骤2的初始姿态照片中的游客，p∈(0，M)，M为照片中游客的总数，i为步骤6获得的照片中的游客，dpi表示游客p和游客i的人物动作的欧式距离，Sp表示拍照人的尺度因子，
Figure BDA0002754272500000051
w和h分别为对应每个游客的检测框的宽和高，σ表示归一化因子；
步骤7.5：通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片。
优选地，所述步骤7.5中，基于位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，Valuesel＝α′·dp+β′·dg+χ· dm，α′、β′和χ为预设的权重，α′+β′+χ＝1；
设定筛选置信度阈值T2，当Valuesel＞T2时，则认定为是可以推荐给用户选择的高质量照片。
优选地，所述步骤8结束后，记录游客的选择结果，将选中的照片与未被选中的照片的光照匹配度dg、位置匹配度dp、姿态匹配度dm作为参数，归一化处理后调整各参数的权重，使得综合筛选参数Valuesel符合用户判断，迭代各匹配度参数的权重值，推送最优筛选照片方案。
优选地，所述迭代包括以下步骤：
步骤9.1：用户根据终端显示的照片进行选择；
步骤9.2：建立预测函数hθ(x)＝θ1·x1+θ2·x2+θ3·x3，令x1＝dp、 x2＝dg、x3＝dm，θ1＝α′、θ2＝β′、θ3＝χ；
步骤9.3：将用户选中的照片与未选中的照片分别建立标签，选中的照片设标志1，未选中的照片设标志0，得到
Figure BDA0002754272500000052
y为标志，可得到损失函数
Figure BDA0002754272500000053
其中，m为照片的总数，i为照片的序号；
步骤9.4：利用梯度下降算法进行参数的更新，
Figure BDA0002754272500000061
其中，α为学习率参数，λ为正则项参数，j为光照匹配度dg、位置匹配度dp、姿态匹配度dm之一，j＝1,2,3；
步骤9.5：经过M人次迭代调整后的权重参数重新加入到信息融合筛选条件中。
一种采用所述的可自动筛选照片的景区自动拍照方法的景区自动拍照系统，所述系统包括：
一图像采集与存储单元，用于采集游客在景区拍照点的照片并保存至数据分析服务器；
一游客分析单元，用于检测游客的人体和人脸图像，提取对应的人体和人脸特征，生成人脸照片管理库；
一融合信息匹配筛选单元，用于将图像采集与存储单元采集的照片和人脸照片管理库的数据进行匹配，获得与游客匹配的照片并进行处理；
一图片处理显示终端，用于在显示屏上显示任一游客在各个拍照点拍摄并处理后的照片，供游客筛选；
所述图像采集与存储单元、游客分析单元、融合信息匹配筛选单元和图片处理显示终端与控制端配合设置。
本发明提供了一种优化的可自动筛选照片的景区自动拍照系统及景区自动拍照方法，通过对景区内游客自动拍照，并通过表情、位置、光照等信息的融合，实现自动筛选出游客满意度较高的照片的目的，便于游客在景区内拍照留念，更增加游客在景区内的游览体验，有利于景区的良性运作。
附图说明
图1为本发明的流程图；
图2本发明的系统结构示意图，其中，箭头表示数据的传输方向。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种可自动筛选照片的景区自动拍照方法，所述方法包括以下步骤。
步骤1：确定景区拍照点的预设拍摄区域，架设相机，配置相机，朝向预设拍摄区域以预设频率拍摄照片。
所述步骤1中，设置相机，配置相机与数据分析服务器的连接，相机朝向预设拍摄区域以低分辨率模式拍照，拍照时间间隔小于1秒。
本发明中，由图像采集与存储模块在景区多个指定拍照点架设特定摄像机，预先对焦景点的特色景观作为拍照背景，对焦区域为预设拍摄区域。在服务器中对多路摄像机进行状态扫描并定时上报，告知游客在指定拍摄区域内面对摄像头拍照；游客在规定时间内可自由拍摄N张照片(N＞0)，将拍照后的图片存入服务器指定位置中。
步骤2：在控制端标记初始拍摄区域照片，选定初始光照照片，设定初始姿态照片。
本发明中，管理者首先对摄像机焦距调整，使照片画面达到拍照要求，之后对抓拍图片进行初始位置标记(标记初始拍摄区域照片)、初始光照设定、初始姿态设置。
步骤3：基于步骤1的照片，选定匹配人脸特征的指定拍摄区域，以相机对指定拍摄区域进行高清拍照。
所述步骤3包括以下步骤：
步骤3.1：基于步骤1的照片，将人脸面部划分得到S个特征点，得到两眼外侧的水平距离d1、右眼外侧眼角与鼻尖的水平距离d2、嘴巴中点与鼻尖的垂直距离d3，鼻尖与双眼连线的垂直距离d4；令k＝d1/d2， m＝d3/d4，设置k和m的范围，基于范围划分人脸的角度，得到人脸角度匹配度Valueangle，
Figure BDA0002754272500000081
其中，其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.2：由人脸检测模型得到人脸特征向量Fi，将图像进行N等份后，由中间向两侧分别对称并逐渐递减赋予权重r，r∈(0，1)，得到人脸位置匹配度Valuelocat，
Figure BDA0002754272500000082
其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.3：对Valueangle和Valuelocat采用加权相加，得到综合拍照参数 Pic，Pic＝α·Valueangle+β·Valuelocat，α和β分别为权重，α+β＝1；
步骤3.4：设置置信度阈值T1，当Pic＞T1时，则认定为高清拍照区域。
本发明中，k和m大于0；当1＜k＜1.7，角度为右侧面，当k＞3.6，角度为左侧面；当m＞1.2，角度为下侧面，m＜0.3时，则角度为上侧面；其他的k和m值则为正面。
本发明中，r在实际操作中的范围一般为[0.1，0.9]，当人脸在中间范围内时为0.9，在照片边缘则为0.1。
本发明中，α、β的值一般在0到1之间，如分别设置为0.5、0.5，当然，可以根据实际情况在此值附近进行微调以适应不同场景。
本发明中，T1大于0，一般可以设置为0.7，可以根据实际情况在此值附近进行微调以适应不同场景。
本发明中，指定拍摄区域实际为预设拍摄区域中的某个可以使得拍摄效果更好的区域，但实际拍摄取景为预设拍摄区域。
步骤4：提示游客在指定拍摄区域内面对相机进行拍照，游客在T时间内可拍摄N张照片。
本发明中，T和N的数值可以由本领域技术人员自行设置。
步骤5：数据服务器对相机拍摄的照片作人脸分析，生成人脸照片管理库。
所述步骤5包括以下步骤：
步骤5.1：提取相机中图库的照片进行分析，将截取到的人脸图像进行清晰度筛选，保留清晰度大于阈值的照片；
步骤5.2：进行人脸关键点坐标矫正，判断是否为正脸；
步骤5.3：将步骤3提取的人脸特征根据匹配度进行聚类，生成对应每个游客的人脸照片管理库，用于存储各个拍照点拍摄的当前游客的原始照片；若存在找不到匹配者的，则将为当前游客新建对应的人脸照片管理库；
步骤5.4：对人脸照片管理库中的人脸进行检测，并进行表情识别。
本发明中，步骤5通过人脸分析与聚类模块完成，数据服务器为后台中的服务器设备；通过提取摄像机图库的照片进行分析，主要进行人脸检测，将截取到的人脸图像进行清晰度筛选，并进行人脸关键点坐标矫正、判断是否为正脸、利用人脸关键点进行表情识别、闭眼检测。
本发明中，提取的人脸特征根据匹配度进行聚类生成人脸照片管理库，根据匹配度进行聚类，在照片管理库中生成个人照片集，存储各拍照点摄像机拍摄的人物原始图像；当出现与照片管理库中没有的人时即没有找到匹配者，就将该人脸加入到照片管理库中。
本发明中，人脸检测与表情识别是利用面部特征点进行判断的：
嘴巴张开距离占面部识别框宽度的比例越大，说明情绪越激动，可能是非常开心，也可能是非常惊讶；
眉毛上扬，特征点距离面部识别框顶部与识别框高度的比值越小，说明眉毛上扬越厉害，可表示惊讶、开心；
眉毛的倾斜角度，开心时眉毛一般是上扬，愤怒时皱眉，同时眉毛下压的比较厉害；
眯眼睛，人在开怀大笑的时候会不自觉的眯起眼睛，愤怒或者惊讶的时候会瞪大眼睛。
本发明中，人眼闭合检测则是将人脸视为可分的N个数据点，部分人脸数据可根据这些数据点进行检测，通过定位眼睛和眼睑的轮廓得出眼睛的长宽比，用于估计睁眼状态。
本发明中，人脸检测与表情识别为现时已经相对成熟的技术，本领域技术人员可以依据需求自行设置。
步骤6：游客通过己方终端上传一张自拍照片，后台将任一游客的自拍照片与人脸照片管理库中的照片进行人脸匹配，筛选出符合预设条件的N′张照片。
所述步骤6中，分别提取自拍的照片与人脸照片管理库中的照片的人脸特征，计算人脸相似度df；将自拍的照片与N张照片计算得到的人脸相似度自大到小排序，筛选其中表情识别为微笑表情的照片后，选中前N′张照片。
本发明中，己方终端包括但不限于图片处理显示终端、手机。
本发明中，游客在终端设备上拍摄一张自拍，进行人脸检测，人脸对齐，提取人脸特征与人脸照片管理库中初步筛选出最匹配的人脸；根据照片管理库中匹配结果，选择对应人脸库中的人脸进行匹配，选择匹配度最高的，鉴于在景区的环境下，还可以筛选其中为微笑表情的照片进行优化。
本发明中，步骤6计算人脸相似度的方式很多，包括但不限于计算自拍的照片与人脸照片管理库中的照片的人脸特征的余弦相似度，本领域技术人员可以依据需求自行设置；以计算余弦相似度为例，分别提取自拍的照片与人脸照片管理库中的照片的人脸特征，计算人脸相似度df，
Figure BDA0002754272500000101
其中，A是自拍的照片的源图像特征向量， B是人脸照片管理库中的的照片的目标特征向量，n为人数；计算后，将自拍的照片与N张照片计算得到的人脸相似度自大到小排序，筛选其中表情识别为微笑表情的照片后，选中前N′张照片；在这个过程中，筛选的阈值可以由本领域技术人员自行设置，阈值显然大于0。
步骤7：基于步骤2的三项照片，对应步骤6得到的照片计算位置匹配度dp、光照匹配度dg、姿态匹配度dm，通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片。
所述步骤7包括以下步骤：
步骤7.1：在控制端将步骤6获得的照片框出预设拍摄区域的位置，由人脸检测模型得到照片中的人脸特征点；基于步骤2的初始拍摄区域照片中的人脸特征点，得到归一化处理的人脸的位置匹配度dp，
Figure BDA0002754272500000111
Figure BDA0002754272500000112
其中，x为初始拍摄区域照片中人脸特征点的坐标，f为步骤 6获得的照片中人脸特征点的坐标，i为每张照片的每一张人脸，δ为每个i的归一化因子，n为人脸的总数；
步骤7.2：对步骤2的初始光照照片和步骤6获得的照片进行直方图数据采集，将采集的所有图像直方图归一化处理，得到归一化处理的光照匹配度dg，
Figure BDA0002754272500000113
其中，h和h′分别为步骤2的初始光照照片和步骤6获得的照片的直方图数据，i为每张照片的每一张人脸，δ为每个i的归一化因子，N为人脸的总数；
步骤7.3：dg的值由小至大为匹配程度增大，对dg的值由大到小进行排序；
步骤7.4：对步骤2的初始姿态照片和步骤6获得的照片中的姿态进行归一化处理，得到归一化处理的姿态匹配度dm，
Figure BDA0002754272500000114
其中，p为步骤2的初始姿态照片中的游客，p∈(0，M)，M为照片中游客的总数，i为步骤6获得的照片中的游客，dpi表示游客p和游客i的人物动作的欧式距离，Sp表示拍照人的尺度因子，
Figure BDA0002754272500000115
w和h分别为对应每个游客的检测框的宽和高，σ表示归一化因子；
步骤7.5：通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片。
所述步骤7.5中，基于位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，Valuesel＝α′·dp+β′·dg+χ·dm，α′、β′和χ为预设的权重，α′+β′+χ＝1；
设定筛选置信度阈值T2，当Valuesel＞T2时，则认定为是可以推荐给用户选择的高质量照片。
本发明中，在人脸匹配成功后，结合人脸位置、颜色直方图比对光照等信息综合评估进行信息融合筛选，得到精细匹配结果，并发送到终端。
本发明中，位置匹配是指由人脸检测模型得到步骤6筛选后的人物脸部的特征点坐标，与预设拍摄区域的图片比较，筛选出最佳位置照片；其中的n一般为大于0的整数。
本发明中，光照匹配是指提取一张图的色彩特征，常用的方法是提取其颜色直方图分布特征，颜色直方图匹配算法主要是基于RGB色彩空间的直方图匹配，主要是将彩色图像转成灰度图像，求出灰色直方图并将其归一化，和目标灰色直方图计算相似度；这其中，归一化后再使用巴氏系数进行计算，对每个相同i的数据点乘积开平方以后相加得出的结果即为图像相似度值(巴氏系数因子值)，范围为0到1之间；使用巴氏距离的方法比较出相似度dg，0表示极其不同，1表示极其相似；其中，N一般为大于 0的整数。
本发明中，步骤7.2对采集的各自图像直方图进行归一化到[0，1]之间包括以下步骤：
(1)对灰度直方图初始化一个大小为256的直方图数组H；
(2)根据像素值完成频率分布统计，假设像素值为124，H[124]+＝1。
本发明中，姿态匹配是指计算预设图片中的姿态和该游客在步骤6筛选后的照片中的姿态匹配并进行归一化处理，dm的算法反映出当前骨骼点对于整体的影响程度。
本发明中，信息融合筛选涉及到的α′、β′和χ一般均大于0，本实例中α′、β′和χ为设定的初始值，分别设置为0.4、0.3、0.3，可以根据实际情况在此值附近进行微调以适应不同场景。
本发明中，当Valuesel＞T2时，则认定为是可以推荐给用户选择的高质量照片，T2一般大于0，本实例中T2值设为0.5，可以根据实际情况在此值附近进行微调以适应不同场景。
步骤8：将步骤7得到的若干张照片进行处理，并在图片处理显示终端上供游客筛选，筛选成功后显示二维码，游客通过己方终端扫描二维码获取照片。
本发明中，终端可以设置人脸图片美颜与筛选模块，将人脸匹配得到的精细结果，经过磨皮、美白、瘦脸处理，通过列表的方式显示出来供游客筛选，游客根据个人喜好选择照片后生成二维码，充分考虑到景区内游客的人流量较大且来自不同地方的需求，只要游客携带一部装有可扫码装置的移动设备，便可以扫描二维码，获得与用户个人绑定的景区照片。
本发明中，步骤8的处理包括但不限于美颜，此为本领域已公开技术，本领域技术人员可以依据需求自行设置。
所述步骤8结束后，记录游客的选择结果，将选中的照片与未被选中的照片的光照匹配度dg、位置匹配度dp、姿态匹配度dm作为参数，归一化处理后调整各参数的权重，使得综合筛选参数Valuesel符合用户判断，迭代各匹配度参数的权重值，推送最优筛选照片方案。
所述迭代包括以下步骤：
步骤9.1：用户根据终端显示的照片进行选择；
步骤9.2：建立预测函数hθ(x)＝θ1·x1+θ2·x2+θ3·x3，令x1＝dp、 x2＝dg、x3＝dm，θ1＝α′、θ2＝β′、θ3＝χ；
步骤9.3：将用户选中的照片与未选中的照片分别建立标签，选中的照片设标志1，未选中的照片设标志0，得到
Figure BDA0002754272500000141
y为标志，可得到损失函数
Figure BDA0002754272500000142
其中，m为照片的总数，i为照片的序号；
步骤9.4：利用梯度下降算法进行参数的更新，
Figure BDA0002754272500000143
其中，α为学习率参数，λ为正则项参数，j为光照匹配度dg、位置匹配度dp、姿态匹配度dm之一，j＝1，2，3；
步骤9.5：经过M人次迭代调整后的权重参数重新加入到信息融合筛选条件中。
本发明中，由于景区景点的异同和实际拍摄过程中的不确定性，需要由用户完成筛选结果的优化，并在大量的拍摄结果中迭代出最优的照片参数。
本发明中，以特征参数为xi，θi为可迭代的权重参数，hθ(x)为预测值，根据设立阈值可分为两类；将用户选中的照片与未选中的照片分别建立标签，选中就设为标志1，未选中就设为标志0；其中，m≥1。
本发明中，步骤9.4的α一般设置为0.01，λ设置为0.2，步骤9.5的M 取5000。
本发明还涉及一种采用所述的可自动筛选照片的景区自动拍照方法的景区自动拍照系统，所述系统包括：
一图像采集与存储单元，用于采集游客在景区拍照点的照片并保存至数据分析服务器；
一游客分析单元，用于检测游客的人体和人脸图像，提取对应的人体和人脸特征，生成人脸照片管理库；
一融合信息匹配筛选单元，用于将图像采集与存储单元采集的照片和人脸照片管理库的数据进行匹配，获得与游客匹配的照片并进行处理；
一图片处理显示终端，用于在显示屏上显示任一游客在各个拍照点拍摄并处理后的照片，供游客筛选；
所述图像采集与存储单元、游客分析单元、融合信息匹配筛选单元和图片处理显示终端与控制端配合设置。
本发明中，融合信息匹配筛选单元将筛选的照片经过位置、光照、姿态匹配，最终精细筛选出结果。
本发明中，图片处理显示终端中的拍摄并处理后的照片是指游客筛选后，自己在各个拍照点经过美颜处理后的照片。
本发明中，控制端可以为Web服务与管理单元，用于对摄像机网络配置、状态管理、图像参数的调节，以及对特定信息的标记；在Web界面登录注册所用的用户名和密码进入管理页面，在摄像机管理目录下，可以实时看到抓拍图片。
本发明中，还可以配置移动端的微信小程序等可以扫码触发的界面，通过扫描二维码的方式，游客可以从微信小程序等界面中获取结果照片，也可以用于支付、再编辑等。

Claims (10)

1.一种可自动筛选照片的景区自动拍照方法，其特征在于：所述方法包括以下步骤：
步骤1：确定景区拍照点的预设拍摄区域，架设相机，配置相机，朝向预设拍摄区域以预设频率拍摄照片；
步骤2：在控制端标记初始拍摄区域照片，选定初始光照照片，设定初始姿态照片；
步骤3：基于步骤1的照片，选定匹配人脸特征的指定拍摄区域，以相机对指定拍摄区域进行高清拍照；
步骤4：提示游客在指定拍摄区域内面对相机进行拍照，游客在T时间内可拍摄N张照片；
步骤5：数据服务器对相机拍摄的照片作人脸分析，生成人脸照片管理库；
步骤6：游客通过己方终端上传一张自拍照片，后台将任一游客的自拍照片与人脸照片管理库中的照片进行人脸匹配，筛选出符合预设条件的N′张照片；
步骤7：基于步骤2的三项照片，对应步骤6得到的照片计算位置匹配度dp、光照匹配度dg、姿态匹配度dm，通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片；
步骤8：将步骤7得到的若干张照片进行处理，并在图片处理显示终端上供游客筛选，筛选成功后显示二维码，游客通过己方终端扫描二维码获取照片。
2.根据权利要求1所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤1中，设置相机，配置相机与数据分析服务器的连接，相机朝向预设拍摄区域以低分辨率模式拍照，拍照时间间隔小于1秒。
3.根据权利要求1或2所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤3包括以下步骤：
步骤3.1：基于步骤1的照片，将人脸面部划分得到S个特征点，得到两眼外侧的水平距离d1、右眼外侧眼角与鼻尖的水平距离d2、嘴巴中点与鼻尖的垂直距离d3，鼻尖与双眼连线的垂直距离d4；令k＝d1/d2，m＝d3/d4，设置k和m的范围，基于范围划分人脸的角度，得到人脸角度匹配度Valueangle，
Figure FDA0002754272490000021
其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.2：由人脸检测模型得到人脸特征向量Fi，将图像进行N等份后，由中间向两侧分别对称并逐渐递减赋予权重r，r∈(0，1)，得到人脸位置匹配度Valuelocat，
Figure FDA0002754272490000022
其中，i为每一张人脸，δ为每个i的归一化因子；
步骤3.3：对Valueangle和Valuelocat采用加权相加，得到综合拍照参数Pic，Pic＝α·Valueangle+β·Valuelocat，α和β分别为权重，α+β＝1；
步骤3.4：设置置信度阈值T1，当Pic＞T1时，则认定为高清拍照区域。
4.根据权利要求1所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤5包括以下步骤：
步骤5.1：提取相机中图库的照片进行分析，将截取到的人脸图像进行清晰度筛选，保留清晰度大于阈值的照片；
步骤5.2：进行人脸关键点坐标矫正，判断是否为正脸；
步骤5.3：将步骤3提取的人脸特征根据匹配度进行聚类，生成对应每个游客的人脸照片管理库，用于存储各个拍照点拍摄的当前游客的原始照片；若存在找不到匹配者的，则将为当前游客新建对应的人脸照片管理库；
步骤5.4：对人脸照片管理库中的人脸进行检测，并进行表情识别。
5.根据权利要求1所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤6中，分别提取自拍的照片与人脸照片管理库中的照片的人脸特征，计算人脸相似度df；将自拍的照片与N张照片计算得到的人脸相似度自大到小排序，筛选其中表情识别为微笑表情的照片后，选中前N′张照片。
6.根据权利要求1所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤7包括以下步骤：
步骤7.1：在控制端将步骤6获得的照片框出预设拍摄区域的位置，由人脸检测模型得到照片中的人脸特征点；基于步骤2的初始拍摄区域照片中的人脸特征点，得到归一化处理的人脸的位置匹配度dp，
Figure FDA0002754272490000031
其中，x为初始拍摄区域照片中人脸特征点的坐标，f为步骤6获得的照片中人脸特征点的坐标，i为每张照片的每一张人脸，δ为每个i的归一化因子，n为人脸的总数；
步骤7.2：对步骤2的初始光照照片和步骤6获得的照片进行直方图数据采集，将采集的所有图像直方图归一化处理，得到归一化处理的光照匹配度dg，
Figure FDA0002754272490000041
其中，h和h′分别为步骤2的初始光照照片和步骤6获得的照片的直方图数据，i为每张照片的每一张人脸，δ为每个i的归一化因子，N为人脸的总数；
步骤7.3：dg的值由小至大为匹配程度增大，对dg的值由大到小进行排序；
步骤7.4：对步骤2的初始姿态照片和步骤6获得的照片中的姿态进行归一化处理，得到归一化处理的姿态匹配度dm，
Figure FDA0002754272490000042
Figure FDA0002754272490000043
其中，p为步骤2的初始姿态照片中的游客，p∈(0，M)，M为照片中游客的总数，i为步骤6获得的照片中的游客，dpi表示游客p和游客i的人物动作的欧式距离，Sp表示拍照人的尺度因子，
Figure FDA0002754272490000044
w和h分别为对应每个游客的检测框的宽和高，σ表示归一化因子；
步骤7.5：通过位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，筛选出若干张照片。
7.根据权利要求6所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤7.5中，基于位置匹配度dp、光照匹配度dg、姿态匹配度dm得出综合筛选参数Valuesel，Valuesel＝α′·dp+β′·dg+χ·dm，α′、β′和χ为预设的权重，α′+β′+χ＝1；
设定筛选置信度阈值T2，当Valuesel＞T2时，则认定为是可以推荐给用户选择的高质量照片。
8.根据权利要求1所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述步骤8结束后，记录游客的选择结果，将选中的照片与未被选中的照片的光照匹配度dg、位置匹配度dp、姿态匹配度dm作为参数，归一化处理后调整各参数的权重，使得综合筛选参数Valuesel符合用户判断，迭代各匹配度参数的权重值，推送最优筛选照片方案。
9.根据权利要求8所述的一种可自动筛选照片的景区自动拍照方法，其特征在于：所述迭代包括以下步骤：
步骤9.1：用户根据终端显示的照片进行选择；
步骤9.2：建立预测函数hθ(x)＝θ1·x1+θ2·x2+θ3·x3，令x1＝dp、x2＝dg、x3＝dm，θ1＝α′、θ2＝β′、θ3＝χ；
步骤9.3：将用户选中的照片与未选中的照片分别建立标签，选中的照片设标志1，未选中的照片设标志0，得到
Figure FDA0002754272490000051
Figure FDA0002754272490000052
y为标志，可得到损失函数
Figure FDA0002754272490000053
Figure FDA0002754272490000054
其中，m为照片的总数，i为照片的序号；
步骤9.4：利用梯度下降算法进行参数的更新，
Figure FDA0002754272490000055
Figure FDA0002754272490000056
其中，α为学习率参数，λ为正则项参数，j为光照匹配度dg、位置匹配度dp、姿态匹配度dm之一，j＝1，2，3；
步骤9.5：经过M人次迭代调整后的权重参数重新加入到信息融合筛选条件中。
10.一种采用权利要求1～9之一所述的可自动筛选照片的景区自动拍照方法的景区自动拍照系统，其特征在于：所述系统包括：
一图像采集与存储单元，用于采集游客在景区拍照点的照片并保存至数据分析服务器；
一游客分析单元，用于检测游客的人体和人脸图像，提取对应的人体和人脸特征，生成人脸照片管理库；
一融合信息匹配筛选单元，用于将图像采集与存储单元采集的照片和人脸照片管理库的数据进行匹配，获得与游客匹配的照片并进行处理；
一图片处理显示终端，用于在显示屏上显示任一游客在各个拍照点拍摄并处理后的照片，供游客筛选；
所述图像采集与存储单元、游客分析单元、融合信息匹配筛选单元和图片处理显示终端与控制端配合设置。
CN202011196852.4A 2020-10-31 2020-10-31 可自动筛选照片的景区自动拍照系统及景区自动拍照方法 Active CN112464012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011196852.4A CN112464012B (zh) 2020-10-31 2020-10-31 可自动筛选照片的景区自动拍照系统及景区自动拍照方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011196852.4A CN112464012B (zh) 2020-10-31 2020-10-31 可自动筛选照片的景区自动拍照系统及景区自动拍照方法

Publications (2)

Publication Number Publication Date
CN112464012A CN112464012A (zh) 2021-03-09
CN112464012B true CN112464012B (zh) 2022-06-17

Family

ID=74835315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011196852.4A Active CN112464012B (zh) 2020-10-31 2020-10-31 可自动筛选照片的景区自动拍照系统及景区自动拍照方法

Country Status (1)

Country Link
CN (1) CN112464012B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239220A (zh) * 2021-05-26 2021-08-10 Oppo广东移动通信有限公司 图像推荐方法、装置、终端及可读存储介质
CN113673466B (zh) * 2021-08-27 2023-04-07 深圳市爱深盈通信息技术有限公司 基于人脸关键点提取大头贴的方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法
CN108419027A (zh) * 2018-02-28 2018-08-17 深圳春沐源控股有限公司 智能拍照方法和服务器
CN109885717A (zh) * 2019-02-25 2019-06-14 四川长虹电器股份有限公司 智能拍照服务方法、客户端及智慧照片服务方法、服务器
CN111460963A (zh) * 2020-03-27 2020-07-28 上海景域智能科技有限公司 一种基于人脸识别的景区选照方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185211B1 (en) * 2014-08-22 2021-06-02 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
US10667697B2 (en) * 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors
US11710289B2 (en) * 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法
CN108419027A (zh) * 2018-02-28 2018-08-17 深圳春沐源控股有限公司 智能拍照方法和服务器
CN109885717A (zh) * 2019-02-25 2019-06-14 四川长虹电器股份有限公司 智能拍照服务方法、客户端及智慧照片服务方法、服务器
CN111460963A (zh) * 2020-03-27 2020-07-28 上海景域智能科技有限公司 一种基于人脸识别的景区选照方法及系统

Also Published As

Publication number Publication date
CN112464012A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
US7221809B2 (en) Face recognition system and method
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US6445810B2 (en) Method and apparatus for personnel detection and tracking
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
US8300900B2 (en) Face recognition by fusing similarity probability
US8897504B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
JP3984191B2 (ja) 仮想化粧装置及びその方法
CN110738595B (zh) 图片处理方法、装置和设备及计算机存储介质
WO2005008593A1 (ja) 画像処理装置、撮像装置、画像処理方法
US20200371535A1 (en) Automatic image capturing method and device, unmanned aerial vehicle and storage medium
US20080013837A1 (en) Image Comparison
JP6207210B2 (ja) 情報処理装置およびその方法
JP2000306095A (ja) 画像照合・検索システム
JP2010508571A (ja) 顔検出と肌の色合いの情報を用いたデジタル画像処理
CN112464012B (zh) 可自动筛选照片的景区自动拍照系统及景区自动拍照方法
CN111586424B (zh) 一种实现化妆品多维动态展示的视频直播方法及装置
Tsalakanidou et al. Integration of 2D and 3D images for enhanced face authentication
JPH08287216A (ja) 顔面内部位認識方法
JPH1185988A (ja) 顔画像認識システム
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Anisetti et al. Facial identification problem: A tracking based approach.
KR20230144297A (ko) 카메라 앱기반 화상 편집 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant