CN111178311A - 拍照辅助方法及终端设备 - Google Patents

拍照辅助方法及终端设备 Download PDF

Info

Publication number
CN111178311A
CN111178311A CN202010000592.2A CN202010000592A CN111178311A CN 111178311 A CN111178311 A CN 111178311A CN 202010000592 A CN202010000592 A CN 202010000592A CN 111178311 A CN111178311 A CN 111178311A
Authority
CN
China
Prior art keywords
human
image
template image
key point
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010000592.2A
Other languages
English (en)
Inventor
胡风硕
郑瑞
梁天新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010000592.2A priority Critical patent/CN111178311A/zh
Publication of CN111178311A publication Critical patent/CN111178311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种拍照辅助方法及终端设备。该方法的一具体实施方式包括:显示人体姿态模板图像;利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;显示所述相似度值。该实施方式一方面可基于显示的人体姿态模板图像对用户拍照的姿势进行指导,另一方面可精确高效地计算出用户拍照的姿势与模板的相似度量化值并据其对用户拍照的姿势进行指导。

Description

拍照辅助方法及终端设备
技术领域
本发明涉及图像处理技术领域。更具体地,涉及一种拍照辅助方法及终端设备。
背景技术
目前,智能手机等终端设备对于用户拍照体验的提升越来越重视,特别是对于人像拍照而言。若能帮助指导用户调整拍照姿势则可实现有效的拍照辅助,从而提升用户体验。
因此,需要提供一种拍照辅助方法及终端设备。
发明内容
本发明的目的在于提供一种拍照辅助方法及终端设备,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供了一种拍照辅助方法,包括:
显示人体姿态模板图像;
利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;
显示所述相似度值。
本发明第一方面提供的拍照辅助方法,一方面可基于显示的人体姿态模板图像对用户拍照的姿势进行指导,另一方面可精确高效地计算出用户拍照的姿势与模板的相似度量化值并据其对用户拍照的姿势进行指导,可显著提升用户体验,具有较高的应用价值。
可选地,所述孪生网络中的两个子网络分别为堆叠沙漏网络。
此可选方式采用的堆叠沙漏网络可精确提取图像中的人体骨架关键点信息。
可选地,所述堆叠沙漏网络为4阶堆叠沙漏网络。
此可选方式可保证堆叠沙漏网络能够充分全面地提取输入图像中包含的人体骨架关键点信息,从而保证提取图像中的人体骨架关键点信息的精确性,且可保证提取的速度在可接受范围内,实现了提取精度与速度的平衡。
可选地,在所述利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息之前,该方法还包括:
利用多个由样本取景图像和预存的模板库包含的人体姿态模板图像组成的训练数据,训练得到孪生网络。
此可选方式可训练得到有效的孪生网络,从而保证孪生网络提取图像中的人体骨架关键点信息的普适性和精确性。
可选地,所述训练数据包括标注了主观相似度值的样本取景图像和预存的模板库包含的人体姿态模板图像。
此可选方式以标注了主观相似度值的训练数据训练孪生网络,可使得训练得到的孪生网络具有基于用户主观评价的相似度评价能力,相比于利用人体骨架关键点之间的二范数距离等客观指标进行相似度评价的方式,更符合用户的期望。
可选地,所述基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值进一步包括:
根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值。
可选地,所述根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值的计算公式为:
L=α*(L11+L22)+L12
其中,L为总体损失值,L11为取景图像的人体骨架关键点信息损失值,L22为人体姿态模板图像的人体骨架关键点信息损失值,L12为取景图像的人体骨架关键点信息与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,α为权重参数。
此可选方式基于损失函数实现相似度值的计算,以基于用户主观评价的取景图像与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值为基础,结合提取的取景图像的人体骨架关键点信息与取景图像相比的损失和提取的人体姿态模板图像的人体骨架关键点信息与人体姿态模板图像相比的损失,可保证计算得到的取景图像与人体姿态模板图像的相似度值的精确性,保证对用户进行拍照指导的效果。
可选地,所述显示人体姿态模板图像进一步包括:将人体姿态模板图像半透明显示于当前取景界面。
此可选方式可进一步提升对用户进行拍照指导的效果。
可选地,在所述显示人体姿态的模板图像之前,该方法还包括:将用户上传的人体姿态模板图像作为人体姿态模板图像,或,响应于用户对预存的模板库包含的人体姿态模板图像的选择,获取人体姿态模板图像。
本发明第二方面提供了一种执行本发明第一方面提供的拍照辅助方法的终端设备,包括显示装置、图像采集装置及处理器;
所述处理器,用于分别提取所述图像采集装置的当前取景界面中的取景图像和所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;
所述显示装置,用于显示人体姿态模板图像和所述相似度值。
本发明的有益效果如下:
本发明所述技术方案一方面可基于显示的人体姿态模板图像对用户拍照的姿势进行指导,另一方面可精确高效地计算出用户拍照的姿势与模板的相似度量化值并据其对用户拍照的姿势进行指导,可显著提升用户体验,具有较高的应用价值。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1示出本发明实施例提供的拍照辅助方法的流程图。
图2示出孪生网络的网络结构示意图。
图3示出沙漏网络的网络结构示意图。
图4示出取景图像与对应的热力图的示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图1所示,本发明的一个实施例提供了一种拍照辅助方法,包括:
显示人体姿态模板图像;
利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值,其中,人体骨架关键点是指骨架上的关键部位的位置点,例如头部、肩部、肘部、手部、腰部、膝关节或者踝关节等关键部位的关键位置点;
显示所述相似度值。
本实施例提供的拍照辅助方法,一方面可基于显示的人体姿态模板图像对用户拍照的姿势进行指导,另一方面可精确高效地计算出用户拍照的姿势与模板的相似度量化值并据其对用户拍照的姿势进行指导,可显著提升用户体验,具有较高的应用价值。其中,由于采用孪生网络架构,孪生网络的两个子网络可以进行参数共享,因此在训练网络模型时可以同时训练两个子网络而不需要增加参数量。另外,由于采用计算并显示当前取景界面中的取景图像与人体姿态模板图像的相似度值的方式,而并非采用已拍摄得到的图像与人体姿态模板图像进行比较,因此,更便于用户及时根据显示的相似度值调整拍照姿势,避免拍摄得到姿势不理想的多张照片后再筛选删除,提升对用户指导的效果。
如图2所示,在本实施例的一些可选的实现方式中,所述孪生网络中的两个子网络分别为堆叠沙漏网络。
此实现方式采用的堆叠沙漏网络可精确提取图像中的人体骨架关键点信息。除此实现方式之外,孪生网络中的两个子网络也可采用其他结构的卷积神经网络。
在本实施例的一些可选的实现方式中,所述堆叠沙漏网络为4阶堆叠沙漏网络,即,堆叠沙漏网络包括串联的4个沙漏网络。
此实现方式可保证堆叠沙漏网络能够充分全面地提取输入图像中包含的人体骨架关键点信息,从而保证提取图像中的人体骨架关键点信息的精确性,且可保证提取的速度在可接受范围内,实现了提取精度与速度的平衡。
在一个具体示例中,堆叠沙漏网络中包含的每一个沙漏网络的网络结构如图3所示,沙漏网络的特点为:
(1)右边就像左边的镜像一样,倒序的复制了一份(C4b-C1b),整体上看起来就是一个沙漏;
(2)上面也复制了一份(C4a-C1a),而且每个方块还通过加号与右边对应位置的方块合并。
其中,对于C4b这个网络层,它是由C7和C4b合并来的,这里有两块操作:
(1)C7层通过上采样将分辨率扩大一倍,上采样相当于池化层(Pool层)的反操作,为了将特征图(Feature Map)的分辨率扩大,比如C7的内核尺寸(Kernel Size)为4X4,那么上采样后得到的Kernel Size为8X8。
(2)C4a层与C4层的大小保持一致,可以看作是C4层的“副本”,它的Kernel Size是C7的两倍,刚好与被上采样后的C7大小一致,可以直接将数值相加,那么就得到了C4b。
对于C3b这个网络层,同样的,先对C4b进行上采样,然后与C3a合并。后面的层不再赘述。
这样将Feature Map层层叠加后,最后一个大的Feature Map-C1b,既保留了所有层的信息,又与输入原图大小,意味着可以通过1X1卷积生成代表关键点概率的热力图(Heat Map),如图4所示,热力图中标记有图像中包含的多个骨架关键点,包含人体骨架关键点信息。
对于串联多个沙漏网络形成的堆叠沙漏网络而言,由于人体骨架关键点之间是可以互相参考预测的,例如知道双肩的位置后,可以更好的预测肘部节点,给出腰部和脚踝位置,又可以用于预测膝盖。既然热力图包含了输入图像的人体骨架关键点,那么热力图也就包含了各人体骨架关键点的相互关系,可以看作是图模型。所以将第一个沙漏网络得到的热力图作为下一个沙漏网络的输入,就意味着第二个沙漏网络可以使用关键点之间的相互关系,从而提升了人体骨架关键点的提取精度。综上,堆叠沙漏网络可利用多尺度特征来提取人体骨架关键点信息,从而能够充分全面地提取输入图像中包含的人体骨架关键点信息。
在本实施例的一些可选的实现方式中,在所述利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息之前,该方法还包括:
利用多个由样本取景图像和预存的模板库包含的人体姿态模板图像组成的训练数据,训练得到孪生网络。
此实现方式可训练得到有效的孪生网络,从而保证孪生网络提取图像中的人体骨架关键点信息的普适性和精确性。
在本实施例的一些可选的实现方式中,所述训练数据包括标注了主观相似度值(例如十分制的1-10分数值)的样本取景图像和预存的模板库包含的人体姿态模板图像。
此实现方式,以标注了主观相似度值的训练数据训练孪生网络,可使得孪生网络向着人体骨架关键点金标准训练,训练得到的孪生网络具有基于用户主观评价的相似度评价能力,相比于利用人体骨架关键点之间的二范数距离等客观指标进行相似度评价的方式,更符合用户的期望。
在本实施例的一些可选的实现方式中,所述基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值进一步包括:
根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值。
在本实施例的一些可选的实现方式中,所述根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值的计算公式为:
L=α*(L11+L22)+L12
其中,L为总体损失值,L11为取景图像的人体骨架关键点信息损失值,L22为人体姿态模板图像的人体骨架关键点信息损失值,L12为取景图像的人体骨架关键点信息与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,α为权重参数,用以调整或者说平衡各损失值的比重。可理解的是,总体损失值L的值越小,表征取景图像与人体姿态模板图像中的人体姿态的相似度越高,即显示的相似度值越小表示被拍摄用户的姿态与人体姿态模板图像中的姿态约接近。
此实现方式基于损失函数实现相似度值的计算,以基于用户主观评价的取景图像与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值为基础,结合提取的取景图像的人体骨架关键点信息与取景图像相比的损失和提取的人体姿态模板图像的人体骨架关键点信息与人体姿态模板图像相比的损失,可保证计算得到的取景图像与人体姿态模板图像的相似度值的精确性,保证对用户进行拍照指导的效果。
在本实施例的一些可选的实现方式中,所述显示人体姿态模板图像进一步包括:将人体姿态模板图像半透明显示于当前取景界面。
此实现方式可进一步提升对用户进行拍照指导的效果。
在本实施例的一些可选的实现方式中,在所述显示人体姿态的模板图像之前,该方法还包括:将用户上传的人体姿态模板图像作为人体姿态模板图像,或,响应于用户对预存的模板库包含的人体姿态模板图像的选择,获取人体姿态模板图像。
本发明的另一个实施例提供了一种终端设备,包括显示装置、图像采集装置及处理器;
所述处理器,用于分别提取所述图像采集装置的当前取景界面中的取景图像和所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;
所述显示装置,用于显示人体姿态模板图像和所述相似度值。
本实施例提供的终端设备,一方面可基于显示的人体姿态模板图像对用户拍照的姿势进行指导,另一方面可精确高效地计算出用户拍照的姿势与模板的相似度量化值并据其对用户拍照的姿势进行指导,可显著提升用户体验,具有较高的应用价值。
在本实施例的一些可选的实现方式中,所述孪生网络中的两个子网络分别为堆叠沙漏网络。
此实现方式采用的堆叠沙漏网络可精确提取图像中的人体骨架关键点信息。除此实现方式之外,孪生网络中的两个子网络也可采用其他结构的卷积神经网络。
在本实施例的一些可选的实现方式中,所述堆叠沙漏网络为4阶堆叠沙漏网络。
此实现方式可保证堆叠沙漏网络能够充分全面地提取输入图像中包含的人体骨架关键点信息,从而保证提取图像中的人体骨架关键点信息的精确性,且可保证提取的速度在可接受范围内,实现了提取精度与速度的平衡。
在本实施例的一些可选的实现方式中,所述处理器,还用于利用多个由样本取景图像和预存的模板库包含的人体姿态模板图像组成的训练数据,训练得到孪生网络。除此实现方式之外,可由服务器训练孪生网络,训练完成后服务器再将训练得到孪生网络发送至终端设备。其中,终端设备可以是各种电子设备,包括但不限于个人电脑、智能手机、智能手表、平板电脑、个人数字助理等等。服务器可以是提供各种服务的服务器,服务器可以对接收到的数据进行存储、分析等处理,并将处理结果反馈给终端设备。终端设备与服务器通过网络进行通信,该网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
此实现方式可训练得到有效的孪生网络,从而保证孪生网络提取图像中的人体骨架关键点信息的普适性和精确性。
在本实施例的一些可选的实现方式中,所述训练数据包括标注了主观相似度值的样本取景图像和预存的模板库包含的人体姿态模板图像。
此实现方式可实现端到端的基于孪生网络的主观姿态相似度衡量,以标注了主观相似度值的训练数据训练孪生网络,可使得训练得到的孪生网络具有基于用户主观评价的相似度评价能力,相比于利用人体骨架关键点之间的二范数距离等客观指标进行相似度评价的方式,更符合用户的期望。
在本实施例的一些可选的实现方式中,所述处理器进一步用于根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值。
在本实施例的一些可选的实现方式中,所述处理器进一步用于根据下述计算公式计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值:
L=α*(L11+L22)+L12
其中,L为总体损失值,L11为取景图像的人体骨架关键点信息损失值,L22为人体姿态模板图像的人体骨架关键点信息损失值,L12为取景图像的人体骨架关键点信息与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,α为权重参数。
此实现方式基于损失函数实现相似度值的计算,以基于用户主观评价的取景图像与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值为基础,结合提取的取景图像的人体骨架关键点信息与取景图像相比的损失和提取的人体姿态模板图像的人体骨架关键点信息与人体姿态模板图像相比的损失,可保证计算得到的取景图像与人体姿态模板图像的相似度值的精确性,保证对用户进行拍照指导的效果。
在本实施例的一些可选的实现方式中,所述显示装置进一步用于:将人体姿态模板图像半透明显示于图像采集装置的当前取景界面。
此实现方式可进一步提升对用户进行拍照指导的效果。
在一个具体示例中,终端设备为智能手机,用户A持有智能手机为用户B拍照时,智能手机的屏幕实时显示其摄像头的取景画面且半透明显示人体姿态模板图像,智能手机的处理器利用预存的训练得到的孪生网络中的一个子网络提取摄像头的当前取景画面中用户B的人体骨架关键点信息,利用孪生网络中的另一个子网络提取人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值,相似度值例如为百分制的分数值;智能手机的屏幕还显示相似度值,其中,可利用屏幕的区别于取景画面的显示区域显示相似度值,也可在取景画面的显示区域半通明显示相似度值。这样,用户A可基于智能手机的屏幕显示的人体姿态模板图像和相似度值提示用户B调整拍照姿势,在调整过程中,智能手机的处理器还会持续利用孪生网络中的一个子网络提取摄像头的当前取景画面中用户B的人体骨架关键点信息并通过屏幕实时显示当前的相似度值。
在本实施例的一些可选的实现方式中,所述处理器,还用于将用户上传的人体姿态模板图像作为人体姿态模板图像,或,响应于用户对预存的模板库包含的人体姿态模板图像的选择,获取人体姿态模板图像。
需要说明的是,用户上传人体姿态模板图像可理解为用户将人体姿态模板图像输入终端设备,终端设备接收用户输入的终端设备人体姿态模板图像,其中,所称的“接收”的具体实现对应于用户使用终端设备的方式,例如,用户使用触控屏向智能手机输入人体姿态模板图像,则智能手机接收用户所输入的人体姿态模板图像。另外,预存的模板库可存储于服务器,通过终端设备与服务器的交互实现用户通过终端设备选择预存的模板库包含的人体姿态模板图像,使得终端设备获取人体姿态模板图像,进一步,服务器响应于用户通过终端设备发送的选择指令后,可将预存的模板库包含的人体姿态模板图像的缩略图发送至终端设备供用户选择,终端设备响应于用户的选择操作向服务器发送获取指令后,服务器再根据获取指令将对于的人体姿态模板图像原图发送至终端设备。
需要说明的是,本实施例提供的终端设备的原理及工作流程与上述拍照辅助方法相似,相关之处可以参照上述说明,在此不再赘述。
需要说明的是,在本发明的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种拍照辅助方法,其特征在于,包括:
显示人体姿态模板图像;
利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;
显示所述相似度值。
2.根据权利要求1所述的方法,其特征在于,所述孪生网络中的两个子网络分别为堆叠沙漏网络。
3.根据权利要求2所述的方法,其特征在于,所述堆叠沙漏网络为4阶堆叠沙漏网络。
4.根据权利要求1所述的方法,其特征在于,在所述利用孪生网络中的一个子网络提取当前取景界面中的取景图像的人体骨架关键点信息,利用所述孪生网络中的另一个子网络提取所述人体姿态模板图像的人体骨架关键点信息之前,该方法还包括:
利用多个由样本取景图像和预存的模板库包含的人体姿态模板图像组成的训练数据,训练得到孪生网络。
5.根据权利要求4所述的方法,其特征在于,所述训练数据包括标注了主观相似度值的样本取景图像和预存的模板库包含的人体姿态模板图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值进一步包括:
根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值。
7.根据权利要求6所述的方法,其特征在于,所述根据所述取景图像的人体骨架关键点信息损失值、所述人体姿态模板图像的人体骨架关键点信息损失值及所述取景图像的人体骨架关键点信息与所述人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,计算得到作为所述取景图像与所述人体姿态模板图像的相似度值的总体损失值的计算公式为:
L=α*(L11+L22)+L12
其中,L为总体损失值,L11为取景图像的人体骨架关键点信息损失值,L22为人体姿态模板图像的人体骨架关键点信息损失值,L12为取景图像的人体骨架关键点信息与人体姿态模板图像的人体骨架关键点信息之间的主观相似度损失值,α为权重参数。
8.根据权利要求1所述的方法,其特征在于,所述显示人体姿态模板图像进一步包括:将人体姿态模板图像半透明显示于当前取景界面。
9.根据权利要求1所述的方法,其特征在于,在所述显示人体姿态的模板图像之前,该方法还包括:将用户上传的人体姿态模板图像作为人体姿态模板图像,或,响应于用户对预存的模板库包含的人体姿态模板图像的选择,获取人体姿态模板图像。
10.一种执行如权利要求1-9中任一项所述方法的终端设备,其特征在于,包括显示装置、图像采集装置及处理器;
所述处理器,用于分别提取所述图像采集装置的当前取景界面中的取景图像和所述人体姿态模板图像的人体骨架关键点信息,并基于所述取景图像和所述人体姿态模板图像的人体骨架关键点信息计算所述取景图像与所述人体姿态模板图像的相似度值;
所述显示装置,用于显示人体姿态模板图像和所述相似度值。
CN202010000592.2A 2020-01-02 2020-01-02 拍照辅助方法及终端设备 Pending CN111178311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010000592.2A CN111178311A (zh) 2020-01-02 2020-01-02 拍照辅助方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010000592.2A CN111178311A (zh) 2020-01-02 2020-01-02 拍照辅助方法及终端设备

Publications (1)

Publication Number Publication Date
CN111178311A true CN111178311A (zh) 2020-05-19

Family

ID=70657756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010000592.2A Pending CN111178311A (zh) 2020-01-02 2020-01-02 拍照辅助方法及终端设备

Country Status (1)

Country Link
CN (1) CN111178311A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626247A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 姿态检测的方法、装置、电子设备及存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo(重庆)智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN113781408A (zh) * 2021-08-24 2021-12-10 北京美照算算智能科技有限公司 一种图像拍摄智能指导系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056358A (ja) * 2002-07-18 2004-02-19 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法
CN109977837A (zh) * 2019-03-20 2019-07-05 常熟理工学院 基于人体姿态不变特征的行人再识别方法
CN110113523A (zh) * 2019-03-15 2019-08-09 深圳壹账通智能科技有限公司 智能拍照方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056358A (ja) * 2002-07-18 2004-02-19 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法
CN110113523A (zh) * 2019-03-15 2019-08-09 深圳壹账通智能科技有限公司 智能拍照方法、装置、计算机设备及存储介质
CN109977837A (zh) * 2019-03-20 2019-07-05 常熟理工学院 基于人体姿态不变特征的行人再识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626247A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 姿态检测的方法、装置、电子设备及存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo(重庆)智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN113781408A (zh) * 2021-08-24 2021-12-10 北京美照算算智能科技有限公司 一种图像拍摄智能指导系统及方法
CN113781408B (zh) * 2021-08-24 2024-05-28 北京美照算算智能科技有限公司 一种图像拍摄智能指导系统及方法

Similar Documents

Publication Publication Date Title
CN111178311A (zh) 拍照辅助方法及终端设备
TWI742690B (zh) 人體檢測方法、裝置、電腦設備及儲存媒體
CN103140862B (zh) 用户界面系统及其操作方法
US8659595B2 (en) Method and system for combining 2D image and 3D model and non-transitory computer readable storage medium thereof
CN109308459B (zh) 基于手指注意力模型和关键点拓扑模型的手势估计方法
WO2019114726A1 (zh) 图像识别方法、装置、电子设备以及可读存储介质
JP5525757B2 (ja) 画像処理装置、電子機器、及びプログラム
JP2012160904A (ja) 情報処理装置、情報処理方法、プログラム、及び撮像装置
CN114937125B (zh) 可重建度量信息预测方法、装置、计算机设备和存储介质
CN112287777A (zh) 基于边缘智能的学生状态课堂监测方法
JP2019175321A (ja) 画像評価装置、画像評価方法及びコンピュータプログラム
CN112102451B (zh) 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN110321452A (zh) 一种基于方向选择机制的图像检索方法
CN112633261A (zh) 图像检测方法、装置、设备及存储介质
KR100617976B1 (ko) 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
JP2015005220A (ja) 情報表示装置及び情報表示方法
JP2020198019A (ja) 骨格抽出方法、装置およびプログラム
JP2010010816A (ja) 合成画像撮影システム及び合成画像撮影方法
JP2019191933A (ja) 学習装置、撮像装置、画像処理装置、および学習方法
JP6547807B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN107016351A (zh) 拍摄指导信息的获取方法以及装置
JP7298763B2 (ja) 画像評価装置、画像評価方法及びコンピュータプログラム
JP2018005611A (ja) 情報処理装置
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
AU2020436767B2 (en) Markerless motion capture of hands with multiple pose estimation engines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination