CN113095157A - 一种基于人工智能的图像拍摄方法、装置及相关产品 - Google Patents

一种基于人工智能的图像拍摄方法、装置及相关产品 Download PDF

Info

Publication number
CN113095157A
CN113095157A CN202110309217.0A CN202110309217A CN113095157A CN 113095157 A CN113095157 A CN 113095157A CN 202110309217 A CN202110309217 A CN 202110309217A CN 113095157 A CN113095157 A CN 113095157A
Authority
CN
China
Prior art keywords
image
target
shot
action
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110309217.0A
Other languages
English (en)
Inventor
艾的梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuang Le Hui Technology Co ltd
Original Assignee
Shenzhen Chuang Le Hui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chuang Le Hui Technology Co ltd filed Critical Shenzhen Chuang Le Hui Technology Co ltd
Priority to CN202110309217.0A priority Critical patent/CN113095157A/zh
Publication of CN113095157A publication Critical patent/CN113095157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于人工智能的图像拍摄方法、装置及相关产品,所述方法包括:在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像;确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像。

Description

一种基于人工智能的图像拍摄方法、装置及相关产品
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于人工智能的图像拍摄方法、装置及相关产品。
背景技术
现在人们在进行拍摄的时候,一般会手动点击拍摄按钮触发进行单拍或者是连拍的操作。比如在拍人像的时候,可能会摆很多造型进行多次拍摄,也可能摆一种造型进行多次拍摄,一直拍到满意的照片为止。拍完之后还要一张一张地浏览照片,然后选出最满意的照片。
发明内容
本申请实施例提供基于人工智能的图像拍摄方法、装置及相关产品,可以图像拍摄的效率。
一种基于人工智能的图像拍摄方法,所述方法包括:
在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;
将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示所述摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示所述摄像头采集的包含执行第二动作的目标人体的图像,所述第一动作和所述第二动作不同;
确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;
针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;
根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;
根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像。
进一步地,所述确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类,包括:
确定每一张所述拍摄图像中包含的至少一个目标人体和每一个所述目标人体的目标动作;
根据所述拍摄图像中包含的目标人体对采集到的所有拍摄图像进行划分,得到第一级分类结果;其中,属于同一第一级分类中包含的所有拍摄图像中包含的目标人体相同;
针对各个所述第一级分类结果中的拍摄图像,根据所述拍摄图像中目标人体的目标动作对拍摄图像进行分类,得到第二级分类结果。
进一步地,所述根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分,包括:
获取第一权重和第二权重;
根据所述第一权重和第二权重确定所述动作评分和质量评分的加权和值,得到每一张所述拍摄图像的综合评分。
进一步地,所述获取第一权重和第二权重,包括:
确定各个所述第二级分类结果中拍摄图像中,包含的目标人体的数量以及包含的所有目标人体的总面积,根据所述数量和所述总面积确定该类拍摄图像对应的第二权重;
根据所述第二权重以及预先设定的权重和,得到所述第一权重。
进一步地,所述根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像,包括:
根据所述综合评分将每一类拍摄图像中的图像进行排序,从每一类排序后的拍摄图像中确定综合评分最高的拍摄图像作为所述目标拍摄图像;
将所述目标拍摄图像存储到第一图像集中,将所述目标拍摄图像之外的拍摄图像存储到第二图像集中;
在预设时长内检测到将所述第二图像集中的图像移动到所述第一图像集的指令时,将所述指令指示的图像移动到所述第一图像集中;
所述第二图像集中保存时长超过所述预设时长的图像进行删除操作。
进一步地,所述对所述摄像头采集的图像中的目标人体进行动作识别,包括:
针对所述摄像头采集的图像,通过空间流卷积神经网络提取空间交互性特征,并利用双向长短期记忆神经网络提取全局空间辨别性特征;
通过时间流卷积神经网络提取时间交互性特征,通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征;
根据所述全局时间辨别性特征进行分类处理得到第一分类结果,根据所述全局空间辨别性特征进行分类处理得到第二分类结果;
将所述第一分类结果和所述第二分类结果进行融合得到融合分类结果,根据所述融合分类结果得到对所述目标人体的动作识别结果。
进一步地,所述通过空间流卷积神经网络提取空间交互性特征,包括:
将所述拍摄图像输入行为显著检测网络模型,得到检测结果,并根据检测结果得到空间交互性特征;
根据所述拍摄图像和空间交互性特征,构建以掩膜引导的空间注意力模型,得到空间辨别性特征;
根据时间注意力权重和空间辨别性特征,确定空间交互性特征;
所述通过时间流卷积神经网络提取时间交互性特征,通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征,包括:
通过TVNet网络对所述拍摄图像进行光流计算,得到光流帧;
根据所述空间注意力权重对得到的所述光流帧进行加权,得到所述时间交互性特征;
通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征;
将全局时间特征输入到以光流引导的时间注意力模型得到时间注意力权重,并通过时间注意力加权将所述全局时间特征进行加权,得到全局时间辨别性特征;
所述将所述第一分类结果和所述第二分类结果进行融合的方法如下:
Sr=(1-C1^2)*S1+(1-(1-C1^2))*S2
其中,S1表示所述第一分类结果,S2表示所述第二分类结果,Sr表示所述融合分类结果,C1表示融合过程中定义的变量,C1小于1。
一种基于人工智能的图像拍摄装置,所述装置包括:
图像采集模块,用于在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;
图像识别模块,用于将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示所述摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示所述摄像头采集的包含执行第二动作的目标人体的图像,所述第一动作和所述第二动作不同;
图像分类模块,用于确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;
图像评分模块,用于针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;
综合评分模块,用于根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;
图像输出模块,用于根据所述综合评分从每一类拍摄图像中确定一张目标拍摄图像,并输出得到的所述目标拍摄图像。
一种电子设备,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述方法。
上述基于人工智能的图像拍摄方法、装置及相关产品,可以连续对摄像头采集的图像进行动作识别,并根据动作识别的结果确定拍摄图像。然后根据目标动作对拍摄图像进行分类,再对分类结果中的每一张图像进行综合评分,根据综合评分输出最终的拍摄图像。这样可以保证拍摄的每一个动作的图像都输出了对应的拍摄图像,又可以保证输出的是综合评分比较满意的图像,无需用户再手动挑选图像,提高了图像拍摄的效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为一个实施例中基于人工智能的图像拍摄方法的流程示意图。
图2为一个实施例中的基于人工智能的图像拍摄装置的结构示意图。
图3为一个实施例中对目标人体进行动作识别的网络结构示意图。
图4为一个实施例中基于人工智能的图像拍摄硬件组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1为一个实施例中基于人工智能的图像拍摄方法的流程示意图。该基于人工智能的图像拍摄方法包括步骤:
步骤102,在摄像头开启的情况下,对摄像头采集的图像中的目标人体进行动作识别。
在本申请提供的实施例中,可以先打开摄像头,通过摄像头对目标人体进行拍摄,得到一张或多张图像。摄像头采集的图像会缓存到电子设备中,电子设备再逐一对拍摄的图像进行人体识别,检测图像中的目标人体。
可以理解的是,图像中通常可以包含一个或多个人体,也可能不包含人体。通过对图像进行人体识别,即可得到识别结果。目标人体可以是图像中包含的所有人体,也可以是图像中包含的其中一个或多个人体,在此不做限定。
在检测到目标人体之后,可以对目标人体进行动作识别。即识别各个目标人体所做的动作,例如识别到目标人体“抬腿”、“叉腰”、“摸头”等动作,识别到的动作还可以是目标人体的动作轮廓等,在此不限定目标动作的表现形式。
步骤104,将摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示摄像头采集的包含执行第二动作的目标人体的图像,第一动作和第二动作不同。
在摄像头开启的过程中,会不断地对摄像头拍摄的图像进行动作识别。当检测到图像中包含执行第一动作的目标人体时,认为当前开始“拍摄”流程,即可认为该图像之后采集到的图像都为拍摄图像。开始拍摄之后采集的图像中,检测到包含第二动作的目标人体时,认为当前结束拍摄。然后即将开始拍摄和结束拍摄之间采集的图像,作为拍摄图像。
例如,当目标人体执行“抬腿”动作的时候,认为当前开始拍摄流程;当目标人体执行“叉腰”动作的时候,认为结束当前拍摄流程。
步骤106,确定每一张拍摄图像中目标人体的目标动作,根据目标动作对采集到的所有拍摄图像进行分类。
对每一张拍摄图像中的目标人体进行动作识别,可以得到目标人体的目标动作,然后根据目标动作对拍摄图像进行分类,这样就可以把做同一动作的图像分到一类。然后从这同一动作的拍摄图像中,选出一张最优质的图像进行输出和展示。
例如,在拍摄人像图像的时候,总共拍摄了10图像,检测到10张图像中目标人体的目标动作分别如下:A-A-A-B-B-B-B-C-D-D。那就可以把3张动作为“A”的图像归到一类,把4张动作为“B”的图像归到一类,把1张动作为“C”的图像归到一类,把2张动作为“D”的图像归到一类。
步骤108,针对每一类拍摄图像中每一张拍摄图像,对拍摄图像对应的目标动作进行打分得到动作评分,并对拍摄图像进行质量打分得到质量评分。
再将所有拍摄图像进行分类之后呢,再对每一类拍摄图像中的每一张拍摄图像进行打分,可以从动作和质量两个维度进行评分。一般的,对动作进行评分可以包括动作的幅度、动作的整体和谐度、动作的标准度等维度进行打分,图像的质量就是指图像的曝光度、灰度、饱和度以及包含的噪声量等维度进行打分。
步骤110,根据动作评分和质量评分得到每一张拍摄图像的综合评分。
得到每一张拍摄图像的动作评分和质量评分之后,可以根据动作评分和质量评分得到该拍摄图像的综合评分。例如,可以将动作评分和质量评分进行加权求和,综合评分=0.5*动作评分+0.5*质量评分。
步骤112,根据综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的目标拍摄图像。
得到综合评分之后,可以对每一类拍摄图像中的图像依据综合评分进行排序,然后根据排序结果确定最终的目标拍摄图像。这样输出的目标拍摄图像是经过筛选后确定的,得到综合度最高的一张拍摄图像。
上述基于人工智能的图像拍摄方法,可以连续对摄像头采集的图像进行动作识别,并根据动作识别的结果确定拍摄图像。然后根据目标动作对拍摄图像进行分类,再对分类结果中的每一张图像进行综合评分,根据综合评分输出最终的拍摄图像。这样可以保证拍摄的每一个动作的图像都输出了对应的拍摄图像,又可以保证输出的是综合评分比较满意的图像,无需用户再手动挑选图像,提高了图像拍摄的效率。
在一个实施例中,所述确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类,包括:确定每一张所述拍摄图像中包含的至少一个目标人体和每一个所述目标人体的目标动作;根据所述拍摄图像中包含的目标人体对采集到的所有拍摄图像进行划分,得到第一级分类结果;其中,属于同一第一级分类中包含的所有拍摄图像中包含的目标人体相同;针对各个所述第一级分类结果中的拍摄图像,根据所述拍摄图像中目标人体的目标动作对拍摄图像进行分类,得到第二级分类结果。
具体的,在连续拍摄的过程中,图像中的人物以及人物的动作可能都会随时发生改变。例如刚开始只有一个人入镜,后来有两个人入镜,最后又变成一个人入镜头。这样在筛选图像的时候,就可以先根据出现的人物对图像进行分类,再根据人物的动作来进行分类。再从同一类目标人物的同一套目标动作的图像中选取一张最佳拍摄图像。
在本申请实施例中,所述根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分,包括:获取第一权重和第二权重;根据所述第一权重和第二权重确定所述动作评分和质量评分的加权和值,得到每一张所述拍摄图像的综合评分。
在对图像进行评分的时候,可以根据不同的拍摄场景和条件,调整不同的评分规则。例如,用户可以手动调节动作评分和质量评分的评分权重,如果希望质量所占的比重更高,就可以将质量评分的权重调得更高。如果希望动作所占的比重更高,就可以将动作评分的权重调得更高,这样在计算综合评分的时候,就会更多的考虑动作的评分。
在本申请实施例中,所述获取第一权重和第二权重,包括:确定各个所述第二级分类结果中拍摄图像中,包含的目标人体的数量以及包含的所有目标人体的总面积,根据所述数量和所述总面积确定该类拍摄图像对应的第二权重;根据所述第二权重以及预先设定的权重和,得到所述第一权重。
在本申请提供的实施例中,可以根据拍摄图像中包含的目标人体的数量和所有目标人体的总面积来确定权重。具体的,可以根据拍摄的目标人体的数量和所有目标人体的总面积,来确定质量评分的第二权重。再根据第二权重和预先定义的权重和,得到第一权重。例如,第一权重=1-第二权重。
可以理解的是,因为拍摄图像中包含的目标人体的数量越多、总面积约小,拍摄图像中所包含的细节信息越多,所以对拍摄图像的质量要求也越高,那么就可以相应地将质量评分的权重也调高,这样输出的拍摄图像跟准确地符合要求。
在一个实施例中,根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像,包括:根据所述综合评分将每一类拍摄图像中的图像进行排序,从每一类排序后的拍摄图像中确定综合评分最高的拍摄图像作为所述目标拍摄图像;将所述目标拍摄图像存储到第一图像集中,将所述目标拍摄图像之外的拍摄图像存储到第二图像集中;在预设时长内检测到将所述第二图像集中的图像移动到所述第一图像集的指令时,将所述指令指示的图像移动到所述第一图像集中;所述第二图像集中保存时长超过所述预设时长的图像进行删除操作。
在根据综合评分选出目标拍摄图像之后,可以将选出的目标拍摄图像存储到第一图像集中,将未选中的拍摄图像放到第二图像集中。用户还可以浏览第二图像集中的图像,并手动将第二图像集中的图像移动到第一图像集中。如果超过预设时长(如20天)还未将存放到第二图像集中的拍摄图像移动到第一图像集中,就可以将其删除。
在一个实施例中,对所述摄像头采集的图像中的目标人体进行动作识别,包括:针对所述摄像头采集的图像,通过空间流卷积神经网络提取空间交互性特征,并利用双向长短期记忆神经网络提取全局空间辨别性特征;通过时间流卷积神经网络提取时间交互性特征,通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征;根据所述全局时间辨别性特征进行分类处理得到第一分类结果,根据所述全局空间辨别性特征进行分类处理得到第二分类结果;将所述第一分类结果和所述第二分类结果进行融合得到融合分类结果,根据所述融合分类结果得到对所述目标人体的动作识别结果。
具体的,上述动作识别过程主要是根据连续图像的时间性特征和空间性特征,得到人体动作的动作特征。然后分别通过时间性特征得到的动作识别结果和空间性特征识别得到的动作识别结果,得到最后的动作识别结果。如此得到的动作识别结构,可以综合人体动作的时间性和空间性特征,得到最后的识别结果。
具体的,通过空间流卷积神经网络提取空间交互性特征,包括:
将拍摄图像输入行为显著检测网络模型,得到检测结果,并根据检测结果得到空间交互性特征;
根据拍摄图像和空间交互性特征,构建以掩膜引导的空间注意力模型,得到空间辨别性特征;
根据时间注意力权重和空间辨别性特征,确定空间交互性特征;
通过时间流卷积神经网络提取时间交互性特征,通过三维卷积神经网络从时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据全局时间特征计算全局时间辨别性特征,包括:
通过TVNet网络对拍摄图像进行光流计算,得到光流帧;
根据空间注意力权重对得到的光流帧进行加权,得到时间交互性特征;
通过三维卷积神经网络从时间交互性特征中提取全局时间特征;
将全局时间特征输入到以光流引导的时间注意力模型得到时间注意力权重,并通过时间注意力加权将全局时间特征进行加权,得到全局时间辨别性特征;
将第一分类结果和第二分类结果进行融合的方法如下:
Sr=((1+C1^2)/(1+C2^2))*S1+(1-((1+C1^2)/(1+C2^2)))*S2
其中,S1表示第一分类结果,S2表示第二分类结果,Sr表示融合分类结果,C1和C2表示融合过程中定义的变量,C1小于或者等于C2
在本申请提供的实施例中,对目标人体进行动作识别的网络结构如图3所示,上述动作识别方法具体可以包括以下步骤:
1)获取连续拍摄图像流中的RGB拍摄图像:获得原始RGB拍摄图像
Figure BDA0002988876910000141
其中N为帧取样数,fi表示第i帧。
2)计算光流图:应用TVNet网络对RGB拍摄图像FRGB两两进行计算得到光流图
Figure BDA0002988876910000142
oi表示第i个光流帧。
3)基于Mask R-CNN分割技术训练一个特定的行为显著检测网络模型,以每一个原始拍摄图像FRGB为输入,生成检测图像
Figure BDA0002988876910000143
然后修改其输出形式,得到空间交互性特征
Figure BDA0002988876910000144
4)以原始RGB拍摄图像FRGB和空间交互性特征MRGB为输入,构建以掩膜引导的空间注意力模型,计算空间注意力权重WS,通过注意力加权生成空间辨别性特征KRGB
5)将步骤4)中计算得到的空间注意力权重WS与光流帧FOPT进行加权,计算时间交互性特征IOPT
6)以时间交互性特征IOPT为输入,使用三维卷积神经网络提取全局时间特征GOPT
7)以全局时间特征GOPT为输入,构建以光流引导的时间注意力模型,计算时间注意力权重Wt,通过注意力加权生成全局时间辨别性特征GKOPT
8)将步骤7)中计算得到的时间注意力权重Wt与空间辨别性特征KRGB进行加权,计算空间交互性特征IRGB
9)以空间交互性特征IRGB为输入,基于双向长短时记忆网络,进一步提取全局空间辨别性特征GKRGB,再通过全连接层以及Softmax分类计算第一分类结果即空间概率得分S1
10)以全局时间辨别性特征GKOPT为输入,通过全连接层以及Softmax分类计算第二分类结果即时间概率得分S2
11)对空间概率得分S1和时间概率S2得分进行融合,生成的最终预测结果得分Sr
上述流程的步骤三中针对检测图像
Figure BDA0002988876910000151
修改其输出形式,计算局部掩膜特征图
Figure BDA0002988876910000152
即仅保留被检测出的辨别区域,其余图像区域的像素灰度值置0。计算的过程表现如(公式1)。
Figure BDA0002988876910000153
其中(p,q)表示位置为(p,q)的像素点的像素值。例如,数据集每个行为都包含不同的物体和人体。通过计算局部掩膜特征图,将每个检测图像的前景和背景分开。
上述流程中RGB图像帧FRGB和空间交互性特征MRGB为输入,构建以掩膜引导的空间注意力模型。每一个空间交互性特征mi通过L-Net网络,每一个RGB图像帧fi通过G-Net网络。L-Net和G-Net拥有相同的网络结构,但是网络参数彼此之间不共享。这两个网络分别生成相应的特征,表示为FL,FG。L-Net和G-Net的执行过程可由以下数学形式表示为(公式2)-(公式5):
Ii=Inc(mi) (公式2)
FL=GAP(Ii) (公式3)
Gi=Inc(fi) (公式4)
FG=GAP(Gi) (公式5)
其中,FL和FG分别表示局部特征和全局特征;Inc表示InceptionV3网络;GAP表示全局平均池化,对于一个维度为W×H×C的特征,通过全局平均池化可以得到维度为1×1×C的输出,即获取每个特征通道的全局信息。然后将这两个特征沿通道串联为F,公式中
Figure BDA0002988876910000161
表示通道串联,获取更丰富的特征表示。
Figure BDA0002988876910000162
以F作为输入,构建一个空间注意力模型对F进行重新加权,以得到加权特征图,加权的过程可由下列公式描述所得:
WS1=γ(FCS1(GAP(F))) (公式7)
WS=σ(FCS2(WS1)) (公式8)
KRGB=F⊙WS (公式9)
其中,γ表示ReLU激活函数,σ表示Sigmoid激活函数,FCS1,FCS2表示两个全连接层;GAP表示全局平均池化;⊙表示通道级相乘;在经过GAP之后,WS1的输出大小为
Figure BDA0002988876910000163
最终权重WS的输出大小为
Figure BDA0002988876910000164
将空间注意力权重WS与原特征F进行加权乘法,有选择性地突出有效特征以及弱化无效特征。
上述流程7)以全局时间特征GOPT为输入,构建以光流引导的时间注意力模型。时间注意力权重的计算被转换成通道注意力的计算。然后,改变特征图的维度并执行全局平均池化,将全部信息压缩到通道描述符中,这些描述符的统计信息可表示整个视频。这个全局平均池化的过程可表述为:
Figure BDA0002988876910000171
其中,W,H分别表示宽度和高度,o表示通道数。将压缩后的特征图输入到由两个完全连接层组成的网络中,目的是获得时间上的相互依赖关系。第二个全连接层的大小与所输入的特征图的通道数o一致,将新学习到的权重和原始特征GOPT之间执行通道级乘法:
Wt1=γ(FCt1(Fg')) (公式11)
Wt=σ(FCt2(Wt1)) (公式12)
Figure BDA0002988876910000172
其中,Wt表示时间注意力权重;γ表示ReLU激活函数,σ表示Sigmoid激活函数;FCt1,FCt2表示两个全连接层。
上述流程的步骤11)中,将第一分类结果和第二分类结果进行融合的方法如下:
Sr=(1-C1^2)*S1+(1-(1-C1^2))*S2 (公式14)
其中,S1表示第一分类结果,S2表示第二分类结果,Sr表示融合分类结果,C1表示融合过程中定义的变量,C1小于1。C1可以是根据经验设定的变量,也可以是预先设定好的,在此不做限定。
图3为一个实施例中基于人工智能的图像拍摄装置的结构示意图。如图3所示,该基于人工智能的图像拍摄装置包括:
图像采集模块302,用于在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;
图像识别模块304,用于将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示所述摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示所述摄像头采集的包含执行第二动作的目标人体的图像,所述第一动作和所述第二动作不同;
图像分类模块306,用于确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;
图像评分模块308,用于针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;
综合评分模块310,用于根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;
图像输出模块312,用于根据所述综合评分从每一类拍摄图像中确定一张目标拍摄图像,并输出得到的所述目标拍摄图像。
上述实施例提供的基于人工智能的图像拍摄装置,可以连续对摄像头采集的图像进行动作识别,并根据动作识别的结果确定拍摄图像。然后根据目标动作对拍摄图像进行分类,再对分类结果中的每一张图像进行综合评分,根据综合评分输出最终的拍摄图像。这样可以保证拍摄的每一个动作的图像都输出了对应的拍摄图像,又可以保证输出的是综合评分比较满意的图像,无需用户再手动挑选图像,提高了图像拍摄的效率。
图4为一个实施例中基于人工智能的图像拍摄硬件组成示意图。可以理解的是,图4仅仅示出了电子设备的简化设计。在实际应用中,电子设备还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等,而所有可以实现本申请实施例的跨云平台的大数据管理方法的电子设备都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read至only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read至only memory,CD至ROM),该存储器用于相关指令及数据。
输入系统用于输入数据和/或信号,以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器还可以包括一个或多个专用处理器,专用处理器可以包括GPU、FPGA等,用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行上述方法实施例中的步骤。具体可参见方法实施例中的描述,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
以上上述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人工智能的图像拍摄方法,其特征在于,所述方法包括:
在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;
将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示所述摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示所述摄像头采集的包含执行第二动作的目标人体的图像,所述第一动作和所述第二动作不同;
确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;
针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;
根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;
根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类,包括:
确定每一张所述拍摄图像中包含的至少一个目标人体和每一个所述目标人体的目标动作;
根据所述拍摄图像中包含的目标人体对采集到的所有拍摄图像进行划分,得到第一级分类结果;其中,属于同一第一级分类中包含的所有拍摄图像中包含的目标人体相同;
针对各个所述第一级分类结果中的拍摄图像,根据所述拍摄图像中目标人体的目标动作对拍摄图像进行分类,得到第二级分类结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分,包括:
获取第一权重和第二权重;
根据所述第一权重和第二权重确定所述动作评分和质量评分的加权和值,得到每一张所述拍摄图像的综合评分。
4.根据权利要求3所述的方法,其特征在于,所述获取第一权重和第二权重,包括:
确定各个所述第二级分类结果中拍摄图像中,包含的目标人体的数量以及包含的所有目标人体的总面积,根据所述数量和所述总面积确定该类拍摄图像对应的第二权重;
根据所述第二权重以及预先设定的权重和,得到所述第一权重。
5.根据权利要求1所述的方法,其特征在于,所述根据所述综合评分从每一类拍摄图像中确定目标拍摄图像,并输出得到的所述目标拍摄图像,包括:
根据所述综合评分将每一类拍摄图像中的图像进行排序,从每一类排序后的拍摄图像中确定综合评分最高的拍摄图像作为所述目标拍摄图像;
将所述目标拍摄图像存储到第一图像集中,将所述目标拍摄图像之外的拍摄图像存储到第二图像集中;
在预设时长内检测到将所述第二图像集中的图像移动到所述第一图像集的指令时,将所述指令指示的图像移动到所述第一图像集中;
所述第二图像集中保存时长超过所述预设时长的图像进行删除操作。
6.根据权利要求1所述的方法,其特征在于,所述对所述摄像头采集的图像中的目标人体进行动作识别,包括:
针对所述摄像头采集的图像,通过空间流卷积神经网络提取所述图像的空间交互性特征,并利用双向长短期记忆神经网络提取全局空间辨别性特征;
通过时间流卷积神经网络提取所述图像的时间交互性特征,通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征;
根据所述全局时间辨别性特征进行分类处理得到第一分类结果,根据所述全局空间辨别性特征进行分类处理得到第二分类结果;
将所述第一分类结果和所述第二分类结果进行融合得到融合分类结果,根据所述融合分类结果得到对所述目标人体的动作识别结果。
7.根据权利要求6所述的方法,其特征在于,所述通过空间流卷积神经网络提取空间交互性特征,包括:
将所述拍摄图像输入行为显著检测网络模型,得到检测结果,并根据检测结果得到空间交互性特征;
根据所述拍摄图像和空间交互性特征,构建以掩膜引导的空间注意力模型,得到空间辨别性特征;
根据时间注意力权重和空间辨别性特征,确定空间交互性特征;
所述通过时间流卷积神经网络提取时间交互性特征,通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征,并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征,包括:
通过TVNet网络对所述拍摄图像进行光流计算,得到光流帧;
根据所述空间注意力权重对得到的所述光流帧进行加权,得到所述时间交互性特征;
通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征;
将全局时间特征输入到以光流引导的时间注意力模型得到时间注意力权重,并通过时间注意力加权将所述全局时间特征进行加权,得到全局时间辨别性特征;
所述将所述第一分类结果和所述第二分类结果进行融合的方法如下:
Sr=(1-C1^2)*S1+(1-(1-C1^2))*S2
其中,S1表示所述第一分类结果,S2表示所述第二分类结果,Sr表示所述融合分类结果,C1表示融合过程中定义的变量,C1小于1。
8.一种基于人工智能的图像拍摄装置,其特征在于,所述装置包括:
图像采集模块,用于在摄像头开启的情况下,对所述摄像头采集的图像中的目标人体进行动作识别;
图像识别模块,用于将所述摄像头采集的开始拍摄图像和结束拍摄图像之间的图像作为拍摄图像,其中,开始拍摄图像表示所述摄像头采集的包含执行第一动作的目标人体的图像,结束拍摄图像表示所述摄像头采集的包含执行第二动作的目标人体的图像,所述第一动作和所述第二动作不同;
图像分类模块,用于确定每一张所述拍摄图像中所述目标人体的目标动作,根据所述目标动作对采集到的所有拍摄图像进行分类;
图像评分模块,用于针对每一类拍摄图像中每一张所述拍摄图像,对所述拍摄图像对应的目标动作进行打分得到动作评分,并对所述拍摄图像进行质量打分得到质量评分;
综合评分模块,用于根据所述动作评分和质量评分得到每一张所述拍摄图像的综合评分;
图像输出模块,用于根据所述综合评分从每一类拍摄图像中确定一张目标拍摄图像,并输出得到的所述目标拍摄图像。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现权利要求1至7任一项所述的方法。
CN202110309217.0A 2021-03-23 2021-03-23 一种基于人工智能的图像拍摄方法、装置及相关产品 Pending CN113095157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110309217.0A CN113095157A (zh) 2021-03-23 2021-03-23 一种基于人工智能的图像拍摄方法、装置及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309217.0A CN113095157A (zh) 2021-03-23 2021-03-23 一种基于人工智能的图像拍摄方法、装置及相关产品

Publications (1)

Publication Number Publication Date
CN113095157A true CN113095157A (zh) 2021-07-09

Family

ID=76669072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309217.0A Pending CN113095157A (zh) 2021-03-23 2021-03-23 一种基于人工智能的图像拍摄方法、装置及相关产品

Country Status (1)

Country Link
CN (1) CN113095157A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116518868A (zh) * 2023-07-05 2023-08-01 深圳市海塞姆科技有限公司 基于人工智能的变形测量方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN110574040A (zh) * 2018-02-14 2019-12-13 深圳市大疆创新科技有限公司 自动抓拍方法及装置、无人机及存储介质
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技(深圳)有限公司 人体运动功能辅助评估方法、装置、设备、系统及介质
CN111833861A (zh) * 2019-04-19 2020-10-27 微软技术许可有限责任公司 基于人工智能的事件评估报告生成
CN111861998A (zh) * 2020-06-24 2020-10-30 浙江大华技术股份有限公司 一种人体图像质量评估方法、装置、系统和计算机设备
CN112019739A (zh) * 2020-08-03 2020-12-01 RealMe重庆移动通信有限公司 一种拍摄控制方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN110574040A (zh) * 2018-02-14 2019-12-13 深圳市大疆创新科技有限公司 自动抓拍方法及装置、无人机及存储介质
CN111833861A (zh) * 2019-04-19 2020-10-27 微软技术许可有限责任公司 基于人工智能的事件评估报告生成
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技(深圳)有限公司 人体运动功能辅助评估方法、装置、设备、系统及介质
CN111861998A (zh) * 2020-06-24 2020-10-30 浙江大华技术股份有限公司 一种人体图像质量评估方法、装置、系统和计算机设备
CN112019739A (zh) * 2020-08-03 2020-12-01 RealMe重庆移动通信有限公司 一种拍摄控制方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘娜等: "基于时空交互注意力模型的人体行为识别算法", 《激光与光电子学进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116518868A (zh) * 2023-07-05 2023-08-01 深圳市海塞姆科技有限公司 基于人工智能的变形测量方法、装置、设备及存储介质
CN116518868B (zh) * 2023-07-05 2023-08-25 深圳市海塞姆科技有限公司 基于人工智能的变形测量方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108898579B (zh) 一种图像清晰度识别方法、装置和存储介质
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
CN104424634B (zh) 对象跟踪方法和装置
US20190156157A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN111178183B (zh) 人脸检测方法及相关装置
US8750573B2 (en) Hand gesture detection
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
US20120027252A1 (en) Hand gesture detection
CN108875932A (zh) 图像识别方法、装置和系统及存储介质
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111209970A (zh) 视频分类方法、装置、存储介质及服务器
CN113569598A (zh) 图像处理方法和图像处理装置
KR20190021833A (ko) 병해충 검색을 위한 통합 시스템
CN110222718A (zh) 图像处理的方法及装置
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN114339054A (zh) 拍照模式的生成方法、装置和计算机可读存储介质
CN112529149A (zh) 一种数据处理方法及相关装置
KR100813936B1 (ko) 동영상의 동적 피사체 추출 및 영상합성 서비스 방법
CN113095157A (zh) 一种基于人工智能的图像拍摄方法、装置及相关产品
CN109117800A (zh) 基于卷积神经网络的人脸性别识别方法及系统
CN107958231A (zh) 光场图像过滤方法、人脸分析方法及电子设备
CN106874835B (zh) 一种图像处理方法及装置
CN110620877B (zh) 位置信息生成方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221207

Address after: No. 159, Dazhou Village Community, Chengyang District, Qingdao, Shandong 266000

Applicant after: Qingdao Bonuojia Biotechnology Co.,Ltd.

Address before: 518129 B608, building 15, jiayuhaoyuan, 698 Jihua Road, dafapu community, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Chuang Le Hui Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230519

Address after: 518129 B608, building 15, jiayuhaoyuan, 698 Jihua Road, dafapu community, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Chuang Le Hui Technology Co.,Ltd.

Address before: No. 159, Dazhou Village Community, Chengyang District, Qingdao, Shandong 266000

Applicant before: Qingdao Bonuojia Biotechnology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709