CN107025437A - 基于智能构图及微表情分析的智能拍照方法及装置 - Google Patents
基于智能构图及微表情分析的智能拍照方法及装置 Download PDFInfo
- Publication number
- CN107025437A CN107025437A CN201710156337.5A CN201710156337A CN107025437A CN 107025437 A CN107025437 A CN 107025437A CN 201710156337 A CN201710156337 A CN 201710156337A CN 107025437 A CN107025437 A CN 107025437A
- Authority
- CN
- China
- Prior art keywords
- image
- expression
- micro
- intelligent
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000010195 expression analysis Methods 0.000 title claims abstract description 42
- 230000014509 gene expression Effects 0.000 claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000000059 patterning Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000002620 method output Methods 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000003643 water by type Substances 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于智能构图及微表情分析的智能拍照方法及装置,该方法通过分析相机预览图像背景,得出最佳构图视角,并建立提示信息,使得智能终端能为用户提供拍摄建议,用户即使不具备专业的摄影技巧,也能找到最佳的摄影视角。此外,通过提前训练好的模型对预览图像中的人脸微表情进行分析,抓拍出符合模型阈值的图片,避免出现人眼没有睁开,脸部表情怪异的照片。此发明一方面能够帮用户提升摄影技术,拍摄出令人满意效果的照片。另一方面,能帮助用户抓取一个更加接近自身需求的表情,同时避免手动去相册中删除不满意照片的繁琐操作,进一步提升用户的业务体验。
Description
技术领域
本发明涉及一种基于智能构图及微表情分析的智能拍照方法及装置,属于智能移动终端领域。
背景技术
随着各种移动智能设备的高速发展,终端上的摄像头像素越来越高,使得越来越多的用户倾向使用移动智能终端进行拍照。各大终端厂商为满足用户的拍照需求,对终端硬件不断更新升级,以提高终端拍照像素。但拍摄出高质量的照片,不但需要终端摄像头具备较高分辨率,而且用户自身也应具备一定的专业摄影技巧。显然,对于大多数用户不具备此项能力,这也导致大多用户即使具有高端的摄影硬件设备,也不能拍出令人满意的效果。
此外用户在使用智能终端拍照的瞬间,用户可能由于各种外部因素导致脸部表情不自然,如眼睛没有睁开,笑容比较僵硬等状况,最终拍摄的照片往往难以令用户满意,常规的解决方法是从相册中删除此类照片,重新拍摄。如此很可能需要往复多次,操作繁琐,无法为用户提供良好的业务体验。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于智能构图及微表情分析的智能拍照方法及装置。该方法首先通过对相机预览图像的背景分析,确定背景主题,通过主题库查询映射得到对应的构图方法。进而,根据构图方法中的伪主体区位置与实际拍摄主体的位置相对关系建立提示信息,实现拍摄角度的智能调整。此外,设计基于微表情分析的表情特征模型,将抓拍缓存的多帧图像数据,输入模型,得到相应输出结果即为抓拍结果,实现了人物面部表情的筛选。该方案通过实现终端与摄影者的智能交互,帮助普通摄影爱好者提升摄影的质量。此外,对人物表情的分析,帮助摄影者抓取一个更加接近其需求的表情,进一步提升了用户的使用体验。
本发明为解决上述技术问题采用以下技术方案:
一方面,本发明提供一种基于智能构图及微表情分析的智能拍照方法,包括以下具体步骤:
步骤1,获取相机的预览图像,分析预览图像的背景主题及拍摄主体,具体为:
S101,预建立图像的背景轮廓与背景主题之间的映射关系;
S102,用户执行对焦操作,触发第一次截取预览图像的操作,并由对焦焦点确定拍摄主体;
S103,缓存S102中截取的预览图像,使用图像处理技术,分析预览图像背景中各物体的基本轮廓,查询背景轮廓与背景主题之间的映射关系,得出预览图像的背景主题;
步骤2,根据步骤1获取的图像背景主题,查询主题库,若主题库中具有匹配结果,则输出该主题相应的构图方法,进入步骤3;否则,进入步骤4;具体为:
S201,预建立图像的背景主题与构图方法之间的映射关系,即所述主题库;
S202,将步骤1中获取的图像背景主题,与主题库中的主题进行匹配;
S203,若在主题库中具有匹配结果,则输出该主题对应的构图方法;否则,进入步骤4;
步骤3,根据步骤2输出的构图方法,调整拍摄位置,获取最佳拍摄视角;具体为:
S301,根据步骤2输出的构图方法,在相机预览图像中标记出伪主体区;
S302,将伪主体区与预览图像中拍摄主体的相对位置进行比较;
S303,若伪主体区与拍摄主体位置重合,则不调整拍摄位置;否则,根据伪主体区与拍摄主体相对位置关系,以拍摄主体位置为起点、伪主体区为终点,建立位置调整提示信息,根据位置调整提示信息调整拍摄位置,使得拍摄主体与伪主体区位置重合;
步骤4,用户通过触屏指令,触发抓拍模式;具体为:
S401,用户预设置相机的拍照模式为抓拍模式,点击屏幕拍照按钮,触发抓拍模式;
S402,以固定帧率,第二次截取相机的预览图像,并缓存;
步骤5,对步骤4中缓存的多帧预览图像进行微表情的分析,并选取一帧或多帧图像作为抓拍结果,并存储;具体为:
S501,用户在本地相册中挑选一组人物照片,并分别以满意度为标签;
S502,利用人脸识别技术,对初始训练集中每张照片中的人物进行微表情分析,生成对应的表情特征向量,其中,表情特征向量为x1表示脑袋是否有偏向,若是则x1=1,否则x1=-1;x2表示眼睛是否睁开,若是则x2=1,否则x2=-1;x3表示嘴角是否上扬,若是则x3=1,否则x3=-1;x4表示微笑是否露齿,若是则x4=1,否则x4=-1;x5表示眉毛是否有皱眉,若是则x5=-1,否则x5=1;
S503,基于S502中生成的表情特征向量及其对应的满意度标签,建立训练样本集;
S504,以S503建立的训练样本集,对表情特征模型进行训练学习,得到训练完成的表情特征模型,其中,表情特征模型的表达式为: 表示各特征的权重,Y表示满意度;
S505,利用人脸识别技术,对步骤4中缓存的每一帧预览图像中的拍摄主体的脸部微表情进行分析,生成对应的表情特征向量;
S506,根据S504中训练完成的表情特征模型以及S505中生成的缓存预览图像对应的表情特征向量,对步骤4中缓存的预览图像进行满意度评价,将满意度为正的图像作为抓拍结果进行存储,并同时清空缓存。
作为本发明的进一步优化方案,步骤S102中对焦操作包括自动对焦、手动对焦或多重对焦。
作为本发明的进一步优化方案,步骤2中主题库中的背景主题包括山水、动物、植物或建筑;构图方法包括黄金分割构图、三分法、对角线构图、引导线构图或三角构图。
作为本发明的进一步优化方案,步骤S303中位置调整提示信息包括文字提示与语音提示;拍摄位置调整分为拍摄主体位置调整、相机拍摄角度调整以及两者同时调整。
作为本发明的进一步优化方案,步骤4中固定帧率小于每秒30帧;所述抓拍模式的持续时长不超过3秒。
作为本发明的进一步优化方案,步骤S504中利用机器学习方法对表情特征模型进行训练学习。
另一方面,本发明还提供一种基于上述的基于智能构图及微表情分析的智能拍照方法的智能拍照装置,包括:
图像获取模块,用于获取相机的预览图像;
图像RAM模块,用于缓存相机的预览图像数据;
背景分析模块,用于分析第一次缓存的预览图像的背景,确定预览图像的背景主题,查询主题库,若主题库中存在匹配的背景主题则相应的构图方法,并触发位置调整模块;否则直接启动抓拍模式,触发图像获取模块;
位置调整模块,用于根据获取的构图方法,在相机的预览图像中标记出伪主体区,通过比较伪主体区与图像中拍摄主体的相对位置关系,以拍摄主体位置为起点、伪主体区为终点,建立位置调整提示信息;并根据提示信息进行位置的调整,调整完毕后启动抓拍模式,触发图像获取模块;
微表情分析模块,用于根据人物脸部的微表情状态以及预建立的表情特征模型,对图像RAM模块中缓存的预览图像进行筛选;筛选结束后,清空图像RAM模块;
图像ROM模块,用于保存微表情分析模块的筛选结果,并为微表情分析模块提供图像训练集。
作为本发明的进一步优化方案,背景分析模块包括:
焦点获取单元,用于获取对焦焦点,并确定拍摄主体的位置;
图像处理单元,用于对图像进行二值化处理,对图像背景中的各物体进行基本轮阔分析,确定背景轮廓;
映射单元,用于建立背景轮廓与背景主题之间的映射关系以及背景主题与构图方法之间的映射关系;
分析处理单元,用于根据背景轮廓、背景主题和构图方法之间的映射关系,确定输出构图方法。
作为本发明的进一步优化方案,位置调整模块包括:
构图标记单元,用于根据构图方法,在相机预览图像中标记出伪主体位置;
位置比较单元,用于比较伪主体位置与图像中拍摄主体的位置,并根据二者的相对位置关系生成位置调整提示信息;
位置调整单元,显示位置调整提示信息,并确定位置是否调整完毕。
作为本发明的进一步优化方案,微表情分析模块包括:
特征向量生成单元,用于生成每张图像对应的表情特征向量;
模型学习单元,用于根据图像ROM模块中的历史数据建立表情特征模型的训练集,对表情特征模型进行训练学习;
图像抓取单元,用于抓取图像RAM模块中缓存的的每帧预览图像,调用特征向量生成单元生成对应的表情特征向量,并将表情特征向量分别输入表情特征模型,将满意度为为正的图像保存到图像ROM模块,并触发模型更新单元;
模型更新单元,用于清空图像RAM模块,并更新表情特征模型的训练集,调用模型学习单元,更新表情特征模型。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明提出的基于智能构图及微表情分析的智能拍照方法及装置,通过分析相机预览图像背景,得出最佳构图视角,并建立提示信息,使得智能终端能为用户提供拍摄建议,用户即使不具备专业的摄影技巧,也能找到最佳的摄影视角。此外,通过提前训练好的模型对预览图像中的人脸微表情进行分析,抓拍出符合模型阈值的图片,避免出现人眼没有睁开,脸部表情怪异的照片。此发明一方面能够帮用户提升摄影技术,拍摄出令人满意效果的照片。另一方面,能帮助用户抓取一个更加接近自身需求的表情,同时避免手动去相册中删除不满意照片的繁琐操作,进一步提升用户的业务体验。
附图说明
图1为本发明方法中基于智能构图部分流程图。
图2为本发明方法中基于微表情分析的流程图。
图3为本发明提供的基于智能构图及微表情分析的智能拍照装置模块化结构示意图。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明:
为了更加详细的描述本发明提出的一种基于智能构图及微表情分析的智能拍照方法及装置设计,尤其需要说明的是,本方法提出的拍摄主体都指人物。
如图1和图2所示,本发明提出的一种基于智能构图及微表情分析的智能拍照方法,具体执行步骤如下:
预先构建背景轮廓与背景主题之间的映射表、图像的背景主题与构图方法之间的映射关系即主题库,其中,主题库中的背景主题可分为山水、动物、植物、建筑等多类,亦可扩展;所述构图方法包括黄金分割构图、三分法、对角线构图、引导线构图或三角构图。
步骤S101,获取相机的预览图像,此处所获取的预览图像,用于分析拍摄的环境背景。
步骤S102,从缓存区获取S101中截取的预览图像数据,对图像进行二值化处理,获取图像背景中各物体的基本轮廓,查询背景轮廓与背景主题之间的映射表,确定拍摄背景主题;
步骤S103,查询主题库,将S102获取的背景主题与主题库中已存的背景主题进行匹配;
步骤S104,若存在满足相似度阈值的背景主题,即认为匹配成功,则选择相似度最高的背景主题所对应的构图方法输出;若不存在满足相似度阈值的背景主题,即认为匹配不成功,则直接进行拍摄,不执行后续步骤。
步骤S105,根据构图方法,在相机预览图像中标记出伪主体区,判断伪主体区与图像中拍摄主体的位置是否重合;
其中,不同的构图方法,所要求的拍摄主体位置不同。如黄金分割构图,要求拍摄主体位于四个黄金分割点则最佳;三分法,将天与地按照1比2,或2比1的比例分割,拍摄主体则要求处于分割线的位置;对角线构图,要求拍摄主体位于图像的斜对角线上等。根据不同的构图方法,可以在相机的预览图像中标记出拍摄主体应位于的区域,即称之伪主体区。此外,根据对焦操作,可以获取拍摄主体在图像中的位置,进而可以判断伪主体区位置和拍摄主体位置是否重合。若重合,则不执行后续步骤,直接进入抓拍模式。
步骤S106,比较伪主体区位置和拍摄主体位置之间的相对关系,建立位置调整提示信息。
其中,位置调整提示信息分为文字提示及语音提示;文字提示直接在相机预览界面中显示提示的文字,语音提示直接通过智能终端的麦克风播放与终端进行智能交互。
步骤S107,根据提示信息,进行拍摄位置的调整,其中,位置的调整有三种方式包括拍摄主体位置调整、相机拍摄角度调整以及两者同时调整。
图2显示了本发明提供的一种基于微表情分析的拍照方法流程图,具体过程如下:
预构建表情特征模型,用以过滤不满足条件的微表情图像;具体为:首先,用户在本地挑选一组人物照片,作为模型初始训练集,该组照片中即包括用户满意的图像,也包括用户不满意的图像;使用人脸识别技术,对训练集中每张照片的人物脸部的各个部位进行定位,判断各部位的状态。
其次,根据各部位的状态,设计表情特征向量,,其中,表情特征向量为x1表示脑袋是否有偏向,若是则x1=1,否则x1=-1;x2表示眼睛是否睁开,若是则x2=1,否则x2=-1;x3表示嘴角是否上扬,若是则x3=1,否则x3=-1;x4表示微笑是否露齿,若是则x4=1,否则x4=-1;x5表示眉毛是否有皱眉,若是则x5=-1,否则x5=1。
根据表情特征向量以及各特征的权重,设计表情特征模型为其中,表示各特征的权重,Y表示满意度。
最后,利用机器学习算法中的分类算法,利用训练集中图像对应的表情特征向量对表情特征模型进行学习,得到权重向量的值。
步骤S201,用户预设置相机拍照模式为抓拍模式,并点击屏幕拍照按钮,触发抓拍模式。
步骤S202,以固定帧率抓取相机预览图像数据,并将抓取的图像缓存;其中,固定帧率小于每秒30帧;并且抓拍模式在启动一段时间后自动结束,其抓拍持续时长不超过3秒,是为了不缓存太多的图像,避免造成智能终端大量内存开销。
步骤S203,利用人脸识别技术,对每张缓存的预览图像进行微表情分析,生成对应的表情特征向量,并输入预先建立好的表情特征模型中,输出相应的满意度。
步骤S204,判断每张缓存的预览图像对应的满意度是否为正数,若为负数,不执行以下步骤,直接将该图像从缓存区删除;
步骤S205,将满意度为正的预览图像保存到终端,作为抓拍结果;同时,将该图像从缓存区删除。
步骤S206,将满意度为正的预览图像,加入模型的训练集中,形成最新的训练集;并利用最新的训练集对模型重新学习,以调整模型权重向量的值。
图3显示了本发明提供的基于智能构图及微表情分析的智能拍照装置模块化结构示意图,包括图像获取模块301、图像RAM模块302、背景分析模块303、位置调整模块304,微表情分析模块305,图像ROM模块306。
其中,图像获取模块301,用于获取相机预览图像数据;并直接和图像RAM模块交互,为其提供图像数据。
其中,图像RAM模块302,用于缓存相机预览图像数据;并为背景分析模块及微表情分析模块提供用于分析的图像数据。
其中,背景分析模块303,用于分析缓存图像的背景,确定图像的背景主题,进而查询背景主题库,当主题库中存在匹配的背景主题,则输出此主题对应的构图方法,并触发位置调整模块;当主题库中不存在匹配的背景主题,则直接触发微表情分析模块;背景分析模块具体包括:焦点获取单元30301,通过对焦点的获取,判断拍摄主体的位置;图像处理单元30302,用于对图像进行二值化处理,对除拍摄主体外的所有背景物体的基本轮阔分析,判断背景物体类型;映射单元30303,用于建立背景物体类型与背景主题映射关系,以及背景主题与构图方法之间的映射关系;分析处理单元30304,通过前后两次调用映射单元,先由背景类型映射到背景主题,再由背景主题映射到构图方法,最终输出构图方法;
其中,位置调整模块304,用于根据获取的构图方法,在相机预览图像界面标记出伪主体区,并通过比较伪主体区与图像中拍摄主体的位置关系,建立提示信息;并根据提示信息进行位置的调整,调整完毕触发微表情分析模块。位置调整模块具体包括:构图标记单元30401,根据具体构图方法,在相机预览图像中标记出伪主体位置;位置比较单元30402,比较伪主体位置与真实拍摄主题位置,根据二者相对位置关系生成提示信息;位置调整单元30403,以文本或语音方式,显示提示信息,并确定位置是否调整完毕。
其中,微表情分析模块305,用于根据人物脸部的微表情对缓存的多帧图像数据进行筛选;筛选结束后,清空图像缓存模块。微表情分析模块包括:模型学习单元30501,从图像ROM模块中选取一组图像,作为初始训练集,对训练集中每帧图像,调用特征向量生成单元,生成对应的表情特征向量,结合各特征向量共同点生成表情特征模型;特征向量生成单元30502,对每张图片生产对应的表情特征向量;图像抓取单元30503,对图像RAM模块中的每帧图像,调用特征向量生成单元,生成对应的表情特征向量,并将各特征向量输入表情特征模型,满足模型阈值的特征向量对应的图像,保存到图像ROM模块,抓取工作完毕,触发模型更新单元;模型更新单元30504,用于清空图像RAM模块,并更新模型训练集,再次调用模型学习单元,更新表情模型。
其中,图像ROM模块306,用于保存微表情分析模块的筛选结果,并为微表情分析模块提供建模数据源。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.基于智能构图及微表情分析的智能拍照方法,其特征在于,包括以下具体步骤:
步骤1,获取相机的预览图像,分析预览图像的背景主题及拍摄主体,具体为:
S101,预建立图像的背景轮廓与背景主题之间的映射关系;
S102,用户执行对焦操作,触发第一次截取预览图像的操作,并由对焦焦点确定拍摄主体;
S103,缓存S102中截取的预览图像,使用图像处理技术,分析预览图像背景中各物体的基本轮廓,查询背景轮廓与背景主题之间的映射关系,得出预览图像的背景主题;
步骤2,根据步骤1获取的图像背景主题,查询主题库,若主题库中具有匹配结果,则输出该主题相应的构图方法,进入步骤3;否则,进入步骤4;具体为:
S201,预建立图像的背景主题与构图方法之间的映射关系,即所述主题库;
S202,将步骤1中获取的图像背景主题,与主题库中的主题进行匹配;
S203,若在主题库中具有匹配结果,则输出该主题对应的构图方法;否则,进入步骤4;
步骤3,根据步骤2输出的构图方法,调整拍摄位置,获取最佳拍摄视角;具体为:
S301,根据步骤2输出的构图方法,在相机预览图像中标记出伪主体区;
S302,将伪主体区与预览图像中拍摄主体的相对位置进行比较;
S303,若伪主体区与拍摄主体位置重合,则不调整拍摄位置;否则,根据伪主体区与拍摄主体相对位置关系,以拍摄主体位置为起点、伪主体区为终点,建立位置调整提示信息,根据位置调整提示信息调整拍摄位置,使得拍摄主体与伪主体区位置重合;
步骤4,用户通过触屏指令,触发抓拍模式;具体为:
S401,用户预设置相机的拍照模式为抓拍模式,点击屏幕拍照按钮,触发抓拍模式;
S402,以固定帧率,第二次截取相机的预览图像,并缓存;
步骤5,对步骤4中缓存的多帧预览图像进行微表情的分析,并选取一帧或多帧图像作为抓拍结果,并存储;具体为:
S501,用户在本地相册中挑选一组人物照片,并分别以满意度为标签;
S502,利用人脸识别技术,对初始训练集中每张照片中的人物进行微表情分析,生成对应的表情特征向量,其中,表情特征向量为x1表示脑袋是否有偏向,若是则x1=1,否则x1=-1;x2表示眼睛是否睁开,若是则x2=1,否则x2=-1;x3表示嘴角是否上扬,若是则x3=1,否则x3=-1;x4表示微笑是否露齿,若是则x4=1,否则x4=-1;x5表示眉毛是否有皱眉,若是则x5=-1,否则x5=1;
S503,基于S502中生成的表情特征向量及其对应的满意度标签,建立训练样本集;
S504,以S503建立的训练样本集,对表情特征模型进行训练学习,得到训练完成的表情特征模型,其中,表情特征模型的表达式为: 表示各特征的权重,Y表示满意度;
S505,利用人脸识别技术,对步骤4中缓存的每一帧预览图像中的拍摄主体的脸部微表情进行分析,生成对应的表情特征向量;
S506,根据S504中训练完成的表情特征模型以及S505中生成的缓存预览图像对应的表情特征向量,对步骤4中缓存的预览图像进行满意度评价,将满意度为正的图像作为抓拍结果进行存储,并同时清空缓存。
2.根据权利要求1所述的基于智能构图及微表情分析的智能拍照方法,其特征在于,步骤S102中对焦操作包括自动对焦、手动对焦或多重对焦。
3.根据权利要求1所述的基于智能构图及微表情分析的智能拍照方法,其特征在于,步骤2中主题库中的背景主题包括山水、动物、植物或建筑;构图方法包括黄金分割构图、三分法、对角线构图、引导线构图或三角构图。
4.根据权利要求1所述的基于智能构图及微表情分析的智能拍照方法,其特征在于,步骤S303中位置调整提示信息包括文字提示与语音提示;拍摄位置调整分为拍摄主体位置调整、相机拍摄角度调整以及两者同时调整。
5.根据权利要求1所述的基于智能构图及微表情分析的智能拍照方法,其特征在于,步骤4中固定帧率小于每秒30帧;所述抓拍模式的持续时长不超过3秒。
6.根据权利要求1所述的基于智能构图及微表情分析的智能拍照方法,其特征在于,步骤S504中利用机器学习方法对表情特征模型进行训练学习。
7.基于如权利要求1至6中任一所述的基于智能构图及微表情分析的智能拍照方法的智能拍照装置,其特征在于,包括:
图像获取模块,用于获取相机的预览图像;
图像RAM模块,用于缓存相机的预览图像数据;
背景分析模块,用于分析第一次缓存的预览图像的背景,确定预览图像的背景主题,查询主题库,若主题库中存在匹配的背景主题则相应的构图方法,并触发位置调整模块;否则直接启动抓拍模式,触发图像获取模块;
位置调整模块,用于根据获取的构图方法,在相机的预览图像中标记出伪主体区,通过比较伪主体区与图像中拍摄主体的相对位置关系,以拍摄主体位置为起点、伪主体区为终点,建立位置调整提示信息;并根据提示信息进行位置的调整,使得主题位置与伪主体区重合,调整完毕后启动抓拍模式,触发图像获取模块;
微表情分析模块,用于根据人物脸部的微表情状态以及预建立的表情特征模型,对图像RAM模块中缓存的预览图像进行筛选;筛选结束后,清空图像RAM模块;
图像ROM模块,用于保存微表情分析模块的筛选结果,并为微表情分析模块提供图像训练集。
8.根据权利要求7所述的基于智能构图及微表情分析的智能拍照装置,其特征在于,背景分析模块包括:
焦点获取单元,用于获取对焦焦点,并确定拍摄主体的位置;
图像处理单元,用于对图像进行二值化处理,对图像背景中的各物体进行基本轮阔分析,确定背景轮廓;
映射单元,用于建立背景轮廓与背景主题之间的映射关系以及背景主题与构图方法之间的映射关系;
分析处理单元,用于根据背景轮廓、背景主题和构图方法之间的映射关系,确定输出构图方法。
9.根据权利要求7所述的基于智能构图及微表情分析的智能拍照装置,其特征在于,位置调整模块包括:
构图标记单元,用于根据构图方法,在相机预览图像中标记出伪主体位置;
位置比较单元,用于比较伪主体位置与图像中拍摄主体的位置,并根据二者的相对位置关系生成位置调整提示信息;
位置调整单元,显示位置调整提示信息,并确定位置是否调整完毕。
10.根据权利要求7所述的基于智能构图及微表情分析的智能拍照装置,其特征在于,微表情分析模块包括:
特征向量生成单元,用于生成每张图像对应的表情特征向量;
模型学习单元,用于根据图像ROM模块中的历史数据建立表情特征模型的训练集,对表情特征模型进行训练学习;
图像抓取单元,用于抓取图像RAM模块中缓存的的每帧预览图像,调用特征向量生成单元生成对应的表情特征向量,并将表情特征向量分别输入表情特征模型,将满意度为为正的图像保存到图像ROM模块,并触发模型更新单元;
模型更新单元,用于清空图像RAM模块,并更新表情特征模型的训练集,调用模型学习单元,更新表情特征模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710156337.5A CN107025437A (zh) | 2017-03-16 | 2017-03-16 | 基于智能构图及微表情分析的智能拍照方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710156337.5A CN107025437A (zh) | 2017-03-16 | 2017-03-16 | 基于智能构图及微表情分析的智能拍照方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107025437A true CN107025437A (zh) | 2017-08-08 |
Family
ID=59525421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710156337.5A Pending CN107025437A (zh) | 2017-03-16 | 2017-03-16 | 基于智能构图及微表情分析的智能拍照方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107025437A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107509032A (zh) * | 2017-09-08 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍照提示方法及移动终端 |
CN107635095A (zh) * | 2017-09-20 | 2018-01-26 | 广东欧珀移动通信有限公司 | 拍摄照片的方法、装置、存储介质及拍摄设备 |
CN107705307A (zh) * | 2017-11-09 | 2018-02-16 | 睿魔智能科技(东莞)有限公司 | 一种基于深度学习的拍摄构图方法和系统 |
CN107835364A (zh) * | 2017-10-30 | 2018-03-23 | 维沃移动通信有限公司 | 一种拍照辅助方法及移动终端 |
CN108234868A (zh) * | 2017-12-26 | 2018-06-29 | 五邑大学 | 一种基于案例推理的智能拍摄系统及方法 |
CN108462826A (zh) * | 2018-01-23 | 2018-08-28 | 维沃移动通信有限公司 | 一种辅助拍照的方法及移动终端 |
CN108848303A (zh) * | 2018-05-28 | 2018-11-20 | 北京小米移动软件有限公司 | 拍摄提示方法及装置 |
WO2019090901A1 (zh) * | 2017-11-10 | 2019-05-16 | 广州视源电子科技股份有限公司 | 图像显示的选择方法、装置、智能终端及存储介质 |
CN109766859A (zh) * | 2019-01-17 | 2019-05-17 | 平安科技(深圳)有限公司 | 基于微表情的校园监控方法、装置、设备及存储介质 |
CN109831618A (zh) * | 2018-12-10 | 2019-05-31 | 平安科技(深圳)有限公司 | 基于表情的拍照方法、计算机可读存储介质及终端设备 |
CN110166685A (zh) * | 2018-02-15 | 2019-08-23 | 奥多比公司 | 用来捕获与目标图像模型对准的数字图像的智能指导 |
WO2019213820A1 (zh) * | 2018-05-07 | 2019-11-14 | 合刃科技(武汉)有限公司 | 拍摄控制方法及电子装置 |
CN111614897A (zh) * | 2020-05-13 | 2020-09-01 | 南京邮电大学 | 一种基于用户偏好多维度驱动的智能拍照方法 |
CN111935393A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术(北京)有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN112580400A (zh) * | 2019-09-29 | 2021-03-30 | 华为技术有限公司 | 图像选优方法及电子设备 |
CN112640420A (zh) * | 2020-03-20 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 电子装置的控制方法、装置、设备及系统 |
CN112637487A (zh) * | 2020-12-17 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种基于时间栈表情识别的电视智能拍照方法 |
CN113206956A (zh) * | 2021-04-29 | 2021-08-03 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置、设备及存储介质 |
WO2024174626A1 (zh) * | 2023-02-23 | 2024-08-29 | 荣耀终端有限公司 | 一种图像抓拍方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516575A (zh) * | 2014-09-23 | 2016-04-20 | 中兴通讯股份有限公司 | 按照自定义模板拍照的方法和装置 |
CN105635567A (zh) * | 2015-12-24 | 2016-06-01 | 小米科技有限责任公司 | 拍照方法和装置 |
CN106203332A (zh) * | 2016-07-08 | 2016-12-07 | 北京光年无限科技有限公司 | 基于智能机器人视觉识别人脸面部表情变化的方法及系统 |
CN106341607A (zh) * | 2016-10-24 | 2017-01-18 | 深圳市金立通信设备有限公司 | 一种提醒用户调整拍照角度的方法及终端 |
-
2017
- 2017-03-16 CN CN201710156337.5A patent/CN107025437A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516575A (zh) * | 2014-09-23 | 2016-04-20 | 中兴通讯股份有限公司 | 按照自定义模板拍照的方法和装置 |
CN105635567A (zh) * | 2015-12-24 | 2016-06-01 | 小米科技有限责任公司 | 拍照方法和装置 |
CN106203332A (zh) * | 2016-07-08 | 2016-12-07 | 北京光年无限科技有限公司 | 基于智能机器人视觉识别人脸面部表情变化的方法及系统 |
CN106341607A (zh) * | 2016-10-24 | 2017-01-18 | 深圳市金立通信设备有限公司 | 一种提醒用户调整拍照角度的方法及终端 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107509032A (zh) * | 2017-09-08 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍照提示方法及移动终端 |
CN107635095A (zh) * | 2017-09-20 | 2018-01-26 | 广东欧珀移动通信有限公司 | 拍摄照片的方法、装置、存储介质及拍摄设备 |
CN107835364A (zh) * | 2017-10-30 | 2018-03-23 | 维沃移动通信有限公司 | 一种拍照辅助方法及移动终端 |
CN107705307A (zh) * | 2017-11-09 | 2018-02-16 | 睿魔智能科技(东莞)有限公司 | 一种基于深度学习的拍摄构图方法和系统 |
CN107705307B (zh) * | 2017-11-09 | 2021-01-01 | 睿魔智能科技(东莞)有限公司 | 一种基于深度学习的拍摄构图方法和系统 |
WO2019090901A1 (zh) * | 2017-11-10 | 2019-05-16 | 广州视源电子科技股份有限公司 | 图像显示的选择方法、装置、智能终端及存储介质 |
CN108234868A (zh) * | 2017-12-26 | 2018-06-29 | 五邑大学 | 一种基于案例推理的智能拍摄系统及方法 |
CN108462826A (zh) * | 2018-01-23 | 2018-08-28 | 维沃移动通信有限公司 | 一种辅助拍照的方法及移动终端 |
CN110166685B (zh) * | 2018-02-15 | 2021-06-08 | 奥多比公司 | 用来捕获与目标图像模型对准的数字图像的智能指导 |
CN110166685A (zh) * | 2018-02-15 | 2019-08-23 | 奥多比公司 | 用来捕获与目标图像模型对准的数字图像的智能指导 |
CN111279683A (zh) * | 2018-05-07 | 2020-06-12 | 合刃科技(武汉)有限公司 | 拍摄控制方法及电子装置 |
WO2019213820A1 (zh) * | 2018-05-07 | 2019-11-14 | 合刃科技(武汉)有限公司 | 拍摄控制方法及电子装置 |
CN108848303A (zh) * | 2018-05-28 | 2018-11-20 | 北京小米移动软件有限公司 | 拍摄提示方法及装置 |
CN109831618A (zh) * | 2018-12-10 | 2019-05-31 | 平安科技(深圳)有限公司 | 基于表情的拍照方法、计算机可读存储介质及终端设备 |
CN109766859A (zh) * | 2019-01-17 | 2019-05-17 | 平安科技(深圳)有限公司 | 基于微表情的校园监控方法、装置、设备及存储介质 |
CN109766859B (zh) * | 2019-01-17 | 2023-12-19 | 平安科技(深圳)有限公司 | 基于微表情的校园监控方法、装置、设备及存储介质 |
CN112580400A (zh) * | 2019-09-29 | 2021-03-30 | 华为技术有限公司 | 图像选优方法及电子设备 |
CN112580400B (zh) * | 2019-09-29 | 2022-08-05 | 荣耀终端有限公司 | 图像选优方法及电子设备 |
CN112640420A (zh) * | 2020-03-20 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 电子装置的控制方法、装置、设备及系统 |
CN112640420B (zh) * | 2020-03-20 | 2023-01-17 | 深圳市大疆创新科技有限公司 | 电子装置的控制方法、装置、设备及系统 |
CN111614897A (zh) * | 2020-05-13 | 2020-09-01 | 南京邮电大学 | 一种基于用户偏好多维度驱动的智能拍照方法 |
CN111935393A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术(北京)有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN112637487A (zh) * | 2020-12-17 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种基于时间栈表情识别的电视智能拍照方法 |
CN113206956A (zh) * | 2021-04-29 | 2021-08-03 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置、设备及存储介质 |
WO2024174626A1 (zh) * | 2023-02-23 | 2024-08-29 | 荣耀终端有限公司 | 一种图像抓拍方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107025437A (zh) | 基于智能构图及微表情分析的智能拍照方法及装置 | |
WO2019214574A1 (zh) | 图像拍摄方法、装置及电子终端 | |
WO2017016146A1 (zh) | 图像显示方法及装置 | |
WO2018120662A1 (zh) | 一种拍照方法,拍照装置和终端 | |
CN103369214A (zh) | 图像获取方法与图像获取装置 | |
CN103747180A (zh) | 照片拍摄方法及拍照终端 | |
CN105915801A (zh) | 改善抓拍效果的自学习方法及装置 | |
CN106506959A (zh) | 照相方法和照相设备 | |
US11057563B2 (en) | Image pickup device and method for controlling same | |
CN113850726A (zh) | 图像变换方法和装置 | |
CN111295875A (zh) | 拍摄控制方法及电子装置 | |
CN108282622B (zh) | 照片拍摄方法和装置 | |
KR20090064247A (ko) | 디지털 영상 촬영 방법 및 촬영 장치 | |
CN109241907A (zh) | 标注方法、装置及电子设备 | |
KR101094648B1 (ko) | 구도결정을 하는 사진사 로봇 및 그 제어방법 | |
JP4043708B2 (ja) | 画像処理方法および装置 | |
JP2013186801A (ja) | 画像処理装置 | |
CN110913120B (zh) | 图像拍摄方法及装置、电子设备、存储介质 | |
TW201339986A (zh) | 影像擷取方法與影像擷取裝置 | |
US10853929B2 (en) | Method and a system for providing feedback on improvising the selfies in an original image in real time | |
WO2019213820A1 (zh) | 拍摄控制方法及电子装置 | |
CN116600190A (zh) | 手机的拍照控制方法、设备及计算机可读存储介质 | |
WO2019205566A1 (zh) | 一种显示图片的方法和设备 | |
JP2014150348A (ja) | 撮影装置 | |
JP2009207027A (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170808 |