CN109905593B - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN109905593B
CN109905593B CN201811312554.XA CN201811312554A CN109905593B CN 109905593 B CN109905593 B CN 109905593B CN 201811312554 A CN201811312554 A CN 201811312554A CN 109905593 B CN109905593 B CN 109905593B
Authority
CN
China
Prior art keywords
image
target image
skeleton key
key point
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811312554.XA
Other languages
English (en)
Other versions
CN109905593A (zh
Inventor
李志豪
吴小飞
许松岑
刘健庄
颜友亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811312554.XA priority Critical patent/CN109905593B/zh
Publication of CN109905593A publication Critical patent/CN109905593A/zh
Priority to PCT/CN2019/107133 priority patent/WO2020093799A1/zh
Priority to US17/308,535 priority patent/US11917288B2/en
Application granted granted Critical
Publication of CN109905593B publication Critical patent/CN109905593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本申请实施例提供了一种图像处理方法，该方法主要包括：检测图像中人物的人体骨架关键点；针对待处理图像，根据人体骨架关键点和预设规则生成剪切区域，将剪切区域选定的待处理的图像作为输出对象。其中，人体骨架关键点和预设规则是基于摄影经验设定的，通过本申请实施例提供的图像处理方法能够使得不具有足够摄影经验的用户很容易地获得符合摄影美学的图像，提高用户体验。

Description

一种图像处理方法和装置
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工智能技术的拍摄方法和终端
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
近年来，智能手机的拍摄功能取得了很大的发展，越来越多人使用手机进行摄影。但是，大部分人都缺乏相关的摄影技巧。尤其在人像摄影场景中，大部分人还是随手一拍，并不了解专业摄影人士总结出来的相关拍摄技巧。因此，在他们的包含人物的照片中，会出现不少照片裁在脚踝、膝盖、手腕等人体关节点上，即人体不同部位的分界线，使得照片有较强的切断感，破坏图像中人物的美感。
发明内容
针对现有技术存在的技术问题，本申请提供了一种图像处理方法，该图像处理方法可以应用于智能手机，使得不具有足够摄影经验的用户很容易的拍摄符合摄影美学的人物照片，避免照片中的人物具有切断感，破坏人物照片的美感。
第一方面，本发明实施例提供了一种图像处理的方法，该方法包括：获取包含人物的目标图像；检测目标图像中的人物得到该人物对应的人体骨架关键点集合，其中人体骨架关键点集合包括多个人体骨架关键点；根据人体骨架关键点集合和预设规则生成剪切区域，使得剪切区域内的人体骨架关键点满足所述预设规则；将目标图像处于剪切区域内的图像部分生成目标图像文件。可以理解的，剪切区域可以看作是对目标图像的选定，也就是利用剪切区域选定目标图像的部分图像。
第一方面的一种可能的实现方式，通过以下方法检测目标图像中的人物以得到人体骨架关键点集合：利用人体骨架关键点模型检测目标图像中的人物得到人体骨架关键点集合，其中每一人体骨架关键点包括位置信息和置信度，位置信息用于指示对应的人体骨架关键点在目标图像中的位置，置信度用于指示对应的人体骨架关键点的可信程度，人体骨架关键点模型通过标注数据训练得到，标注数据为包括人物且已标记出人物的人体骨架关键点的图像。
第一方面的一种可能的实现方式，上述通过人体骨架关键点模型检测目标图像中的人物，得到所述人体骨架关键点集合包括：将目标图像输入人体骨架关键点模型得到人体骨架关键点热度图,人体骨架关键点热度图为基于目标图像标记有人体骨架关键点的图像；从人体骨架关键点热度图提取人体骨架关键点得到人体骨架关键点集合。
第一方面的一种可能的实现方式，上述根据人体骨架关键点集合和预设规则生成剪切区域包括：逐一检测人体骨架关键点集合中的人体骨架关键点是否满足所述预设规则；根据满足预设规则的人体骨架关键点的位置信息生成剪切区域。
第一方面的一种可能的实现方式，通过以下方法判断人体骨架关键点是否满足预设规则：判断人体骨架关键点A的置信度是否大于预设阈值；若人体骨架关键点A的置信度大于预设阈值，则根据人体骨架关键点A和人体骨架关键点B计算参考点的位置信息；进一步地判断参考点C是否位于目标图像内，如果参考点C位于目标图像内则表示人体骨架关键点A满足上述预设规则，如果参考点C不位于目标图像内则表示人体骨架关键点A不满足上述预设规则；其中人体骨架关键点A为待判断是否满足所述预设规则的人体骨架关键点，人体骨架关键点B为与人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点。
第一方面的一种可能的实现方式，获取目标图像包括：在拍摄模式下，通过摄像头实时获取目标图像；对应的，将目标图像处于剪切区域内的图像部分生成目标图像文件包括：响应于拍摄指令，将目标图像处于剪切区域内的图像部分生成目标图像文件。
第一方面的一种可能的实现方式，获取目标图像包括：从图库中获取目标图像；对应的，将目标图像处于剪切区域内的图像部分生成目标图像文件包括：响应于剪切指令，将目标图像处于剪切区域内的图像部分生成目标图像文件。需要指出的，这里剪切指令也可以是保存指令。
第一方面的一种可能的实现方式，在将目标图像处于剪切区域内的图像部分生成目标图像文件之前，该图像处理方法还包括：在图像预览区域显示目标图像；以及在目标图像上施加剪切区域，剪切区域将目标图像区分为区域内图像和区域外图像；对应的，将目标图像处于剪切区域内的图像部分生成目标图像文件包括：将区域内图像生成目标图像文件。
第一方面的一种可能的实现方式，在将所述目标图像处于剪切区域内的图像部分生成目标图像文件之前，该图像处理方法还包括：在图像预览区域显示目标图像；以及在目标图像上显示引导标识，其中引导标识用于引导用户调整所述摄像头；在调整后的目标图像上施加剪切区域，剪切区域将调整后的目标图像区分为区域内图像和区域外图像；对应的，将所述目标图像处于剪切区域内的图像部分生成目标图像文件包括：将区域内图像生成目标图像文件。
第一方面的一种可能的实现方式，在所述目标图像上施加剪切区域包括：在目标图像上显示剪切框，以将目标图像区分为框内图像和框外图像，其中框内图像为区域内图像，框外图像为区域外图像；或者，
通过调节目标图像的显示参数，以将目标图像区分为视觉上存在明显差异的两个区域，其中一个区域对应区域内图像，另一个区域对应区域外图像。
第一方面的一种可能的实现方式，在调整后的目标图像上施加剪切区域包括：在调整后的目标图像上显示剪切框，以将调整后的目标图像区分为框内图像和框外图像，其中框内图像为区域内图像，框外图像为区域外图像；或者，
通过调节调整后的目标图像的像素参数，以将调整后的目标图像区分为视觉上存在明显差异的两个区域，其中一个区域对应区域内图像，另一个区域对应区域外图像。
本申请实施例提供的图像处理方法，根据预设规则与待处理图像中人物的人体骨架关键点生成对应的剪切区域，并将剪切区域选定的待处理图像的部分图像作为目标图像输出，其中人体骨架关键点和预设规则是基于摄影经验设定的，因此通过本申请实施例提供的图像处理方法能够使不具有足够摄影经验的用户很容易地获得符合摄影美学的图像，提高用户体验。
第二方面，本申请实施例提供了一种终端或装置，用于图像处理，该终端或装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面，本申请实施例提供了一种装置，用于图像处理，该装置包括：处理器和存储器；该存储器用于存储计算机执行指令，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该执行功能网元执行如上述第一方面或第一方面任意一种可能实现方式的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的方法。
第五方面，本申请实施例提供了一种包含计算机操作指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的方法。
第六方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持设备实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存控制功能网元必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
第七方面，本发明实施例提供了一种拍摄方法，可以应用于具有摄像头和显示屏幕的设备上，以提高用户拍摄体验，当用户启动设备的拍摄功能后，该方法包括：在拍摄模式下，通过摄像头获取实时图像；在设备的显示屏幕上显示上述摄像头获取到的实时图像；且在上述实时图像上施加剪切框，以将上述实时图像区分为框内图像和框外图像；响应于用户的拍摄指令，将上述框内图像生成对应的图像文件。通过本发明实施例提供的拍摄方法得到的图像文件(照片或视频)不是摄像头实时获得到的图像，而是上述框内图像，即当用户打开上述生成的图像文件，显示会是上述框内图像；这种拍摄方法在一些拍摄场景下，能够提高拍摄的灵活性，提升用户体验。需要注意的，上述剪切框是一种逻辑概念，可以通过多种具体形式实现将摄像头获取的图像区分为框内图像和框外图像。
第七方面的一种可能的实现方式，通过在摄像头获取的实时图像上叠加封闭框实现施加剪切框，将上述实时图像区分为框内图像和框外图像。即上述实时图像处于上述封闭框内的图像部分是框内图像，处于上述封闭框外的图像部分是框外图像。在具体的实现时，构成上述封闭框的边可以处理成半透明，或者部分显示，以降低在实时图像上叠加封闭框对用户预览图像的影响；也可以设置构成上述封闭框的边的颜色，或者闪烁，以提醒用户注意。可选的，上述封闭框可以根据用户指令进行调整，例如用户触控封闭框左下角内滑动时，将缩小封闭框。
第七方面的一种可能的实现方式，通过调节摄像头获取的实时图像的显示参数实现施加剪切框，将上述实时图像在视觉上可以区分为框内图像和框外图像，例如，框内图像的亮度或清晰度比框外图像高。这样能够以友好的界面将摄像头获取的实时图像区分为框内图像和框外图像，并能够使得用户将注意力移到将要被保存下来的框内图像。需要注意的，通过本发明实施例保存的图像文件，在一定处理还是能够恢复到摄像头实时获取到的图像。
第七方面的一种可能的实现方式，在显示屏幕的功能显示区域显示第一拍摄控件和第二拍摄控件，当用户触控上述第二拍摄控件时，响应于上述第二拍摄控件的拍摄指令，将框内图像生成目标图像文件，进一步地保存或呈现图像。相应地，当用户触控上述第一拍摄控件时，响应于上述第一拍摄控件的拍摄指令，会将摄像头获取的实时图像生成目标图像文件，进一步地保存或呈现图像。这样能够给用户选择，根据需求获取需要的图像，提高拍摄的灵活性。功能显示区域是指在显示屏幕上用于显示与拍摄相关的控件的显示区域，可以是与图像预览区域分离设置，也可以是叠加在图像预览区域。在另一种可能实现方式，第一拍摄控件和/或第二拍摄控件是实体按键实现。
第七方面的一种可能的实现方式，在显示屏幕的功能显示区域图像比例选项，或者隐藏显示图像比例选项，当用户选定某一图像比例时，根据用户选定的图像比例施加与选定的图像比例匹配的剪切框，选定的图像比例会直接影响响应于拍摄指令根据框内图像生成的目标图像文件的大小和对应图像的长宽比例，常见图像比例有1:1,16:9，9:16,4:3等。给用户在拍摄时提供图像比例，能够提高拍摄的灵活性，提升用户体验。在AI技术的加持下，也可以根据通过识别摄像头获取的实时图像，智能为用户选定合适的图像比例，进一步提升用户体验。
第七方面的一种可能的实现方式，在拍摄指令触发前，接收到预览框内图像指令时，可以将框内图像在整个图像预览区域显示，供用户查看或者调整。用户调整后并推出预览模式后，剪切框也是随之发生变化，以使得响应于拍摄指令生成的目标图像文件再显示时是用户调整后所观看到的图像。
第七方面的一种可能的实现方式，是否在摄像头获取的实时图像上施加剪切框，可以有用户预先设置，当用户开启智能剪切功能后，才会在摄像头获取的实时图像上施加剪切框。能够更具用户的意愿实现相应功能，提升用户体验。
第七方面的一种可能的实现方式，根据预设剪切规则在摄像头获得的实时图像上施加剪切框。预设剪切规则可以是以实时图像的中心向外延伸固定距离来区分框内图像和框外图像，固定距离外的部分是框外图像，尤其是在障碍物杂乱的场景下远距离拍摄，这样可以很简单的将用户本想避免的镜头取景内的障碍物去除。也可以是基于AI技术，识别出实时图像外围区域的色彩参数与实时图像中心区域存在很大差异的，可以通过施加剪切框将外围区域划入框外图像，以实现拍摄后生成的目标图像文件中不包含外围区域的图像数据。
第八方面，本申请实施例提供了一种拍摄设备，该拍摄设备包括：处理器和存储器；该存储器用于存储计算机执行指令，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该执行功能网元执行如上述第七方面或第七方面任意一种可能实现方式的方法。
本申请实施例提供的图像处理方法，根据预设规则与待处理图像中人物的人体骨架关键点生成对应的剪切区域，并将剪切区域选定的待处理图像的部分图像作为目标图像输出，其中人体骨架关键点和预设规则是基于摄影经验设定的，因此通过本申请实施例提供的图像处理方法能够使不具有足够摄影经验的用户很容易地获得符合摄影美学的图像，提高用户体验。
附图说明
图1是本申请实施例提供的一种人工智能主体框架示意图；
图2是本申请实施例提供的一种人体骨架关键点示意图；
图3是本申请实施例提供的图像边界在人体不同处的视觉差异对照示意图；
图4是本申请实施例提供的一种图像处理的系统架构示意图；
图5是本申请实施例提供的一种图像处理方法的流程图；
图6是本申请实施例提供的判断人体骨架关键点是否满足预设规则的示意图；
图7是本申请实施例提供的剪切区域边界确定示意图；
图8是本申请实施例提供的另一中图像处理方法的流程图；
图9是本申请实施例提供的一种可用于图像处理的终端示意图；
图10是本申请实施例提供的一种可用于图像处理的装置示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请的技术方案进一步地详细描述。显然地，本申请中所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工作流程，适用于通用的人工智能领域需求。
下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。
“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。
“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施：
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶，平安城市，智能终端等。
本申请主要涉及图1所示人工智能主体框架中数据处理和通用能力部分。
为了读者更好的理解本申请实施例描述的技术方案，在此详细说明一下人体骨架关键点的概念，人体骨架关键点指人体上与摄影美学有密切关系的点，例如膝关节处、肘关节处等，需要说明的是，并不是说所有人体关节处都是本申请中的人体骨架关键点。从摄影美学来理解，如果人像照片的边界正好处于人的膝盖或者手腕处，会有一种较强的切断的视觉感受，破坏了人体图像的美感；如果人像照片的边界在非膝盖或者手腕处，使得肢体或躯干有一种延伸的视觉感受，具有人体图像美感。参见图2，如果人像图像的边界处于编号为2的线处则给人一种切断的视觉感受，影响人体图像的美感，如果人像图像的边界处于编号为1的线处则给人一种延伸的视觉感受，具有人体图像美感。本申请实施例的一个示例，将编号为1的线处某点(例如关节、骨骼突起)定义为人体骨架关键点。为了更直观的体现出图像边界处于不同处的视觉差异，请参见图3，图3左侧图像的边界处于图2中的编号为2的线，在左侧图像的横线处水平剪切，可以得到图3右侧图像，即图3右侧图像的边界处于图2中的编号为1的线，从视觉上，图3右侧图像比图3左侧图像更具有延伸性，更具有美感。本申请实施例中的人体骨架关键点是在摄影美学的经验上总结出的人体上与人物图像视觉效果有关的点，具体如何定义人体骨架关键点，与经验相关，本申请不做限制，但是本申请实施例中的人体骨架关键点的基本共性是：处于图像边界影响人体图像美感。在本申请实施例中，可以参见图2中编号为1的线对应的关节、骨骼突起等定义人体骨架关键点，也可以采用现有技术存在的与摄影美学相关的其他参考点(对应本申请实施例中的人体骨架关键点)的定义。
图4示出了一种可实现图像处理的系统100架构，系统100可以应用在拍摄、图像剪切应用场景以实现智能图像处理。
在本申请的实施例中，数据采集设备110用于采集大量的人物图像，人物图像即是图像中包含有人像，所采集的人物图像中人的姿势、表情、是否全身等不作任何限制，例如可以是某一个人的全身照片，也可以是某一个人的自拍照片，也可以是多人的合影图片。数据采集设备110采集的人物图像存储到数据库120，数据库120用于维护数据采集设备110输入的人物图像，可选地经过进行工程处理生成训练设备130所需的训练数据，在本申请实施例中，需要对数据采集设备110采集的人物图像进行人体骨架关键点的标注，具体标注的规则可选的是以关节、对骨骼突起处为依据进行标注，例如一处人体关节标注为一个人体骨架关键点。在实际实现中，对数据采集设备110采集的人物图像进行人体骨架关键点标注之前，需要根据摄影美学经验，定义人体的人体骨架关键点，根据定义完成的人体骨架关键点在上述人物图像中人物上标记出相应的人体骨架关键点。可选的，将图2中编号为1所对应的人体关节、骨骼突起、特定人体构造作为标注基准，在采集设备110采集的人物图像上标注出来得到已标注的人物图像。训练设备130从数据库120中获取已标注的人物图像——即训练数据，可选的，利用训练数据对构造的神经网络模型进行训练得到人体骨架关键点模型，例如卷积神经网络(Convolutional Neural Network,CNN)、深度神经网络(DeepNeural Network,DNN)等。训练后得到的人体骨架关键点模型可以用于预测输入的人物图像中人像的人体骨架关键点，训练设备130得到的人体骨架关键点模型可以应用在不同的系统或者设备中，在本申请实施例中，训练设备130得到的人体骨架关键点模型配置在图像处理设备140中。
图像处理设备140配置有I/O接口141，与外部设备进行数据交互，在本申请实施例中，通过摄像头150任意拍一张人物照片，例如给两个人拍一张合影，摄像头150拍摄的人物照片可以经I/O接口141输入图像处理设备140。图像处理设备140将经I/O接口141输入的人物照片输入就检测模块142进行照片中人物的人体骨架关键点进行检测。具体地，检测模块142将上述人物照片输入其配置的人体骨架关键点模型可以得到人体骨架关键点集合，人体骨架关键点集合可以使用矩阵形式呈现，也可以是热度图的形式呈现，此处不做任何限定。剪切区域生成模块143进一步地根据检测模块142得到的人体骨架关键点集合和预设规则对摄像头150拍摄的人物照片进行处理，得到针对上述人物照片的剪切区域。图像文件生成模块144将上述剪切区域对应人物照片的图像部分生成图像文件，并保存在图像存储模块145中，图像存储模块145类似于图库，既用于保存经过图像处理设备140处理后的图像，也可以保存未经处理的图像。
需要注意的，本申请实施例中的剪切区域可以是以可见的形式呈现在上述人物照片上，也可以不在上述人物照片上进行呈现。其中，呈现的有益效果是：可以将呈现有剪切区域的人物照片显示在显示屏幕，使得用户可以很直观地观看，或者调整剪切区域；不呈现的有益效果是：让用户无感知的情况可以得到处理后的图像。
上述申请实施例中描述的是通过摄像头150获取待处理的图像——即上述人物照片，在另一个本申请实施例中，可以从图像存储模块145中获取需要处理的图像，处理步骤参见上述相关描述，此处不再赘述。
图4所示的系统100可以云端协同系统，也可以是配置在一个设备内的整个系统。在具体实现上，图像处理设备140可以是本地设备，例如手机、平板电脑、个人电脑等，训练设备130和数据库120可以是布置在云端，将训练完成的人体骨架关键点模型分发给多个本地设备。图4仅是一个示例，具体系统100的物理架构不作限制。
图5示出了一种图像处理方法，该图像处理方法可以通过图4对应的实施例中描述的系统的全部或部分组成实现。该图像处理方法包括：
S110，获取待处理的图像——即目标图像，其中目标图像中包含有人物，目标图像包含的人物数量不做限制。具体地，可以通过图像采集设备获得目标图像，例如：在拍摄模式下，通过摄像头实时获取目标图像；也可以通过从存储图像的数据库中获得目标图像，例如从图库中获取目标图像。
S120，检测目标图像并得到目标图像中所包含的人物对应的人体骨架关键点集合，一般地，图像中的一个人物对应一个人体骨架关键点集合，一个人体骨架关键点集合包括多个人体骨架关键点。需要说明的，这里的人体骨架关键点是目标图像中呈现出的人物部分所检测出的人体骨架关键点组成集合，例如目标图像中人物图像是该人物的上半身，那么人体骨架关键点集合则由该目标图像中该人物上半身部分的人体骨架关键点组成。人体骨架关键点集合是一种逻辑上的概念定义，其具体的表现形式可以是数学上的表达方式，例如矩阵、集合等；也可以是与目标图像大小相同的标记有人体骨架关键点的图像。
进一步地，S120包括S121和S122，具体如下：
S121，将目标图像输入人体骨架关键点模型，人体骨架关键点模型输出标记有人体骨架关键点的热度图；
S122，从上述标记有人体骨架关键点的热度图中提取人体骨架关键点，得到人体骨架关键点集合，人体骨架关键点集合中任一人体骨架关键点包括位置信息和置信度。位置信息用于指示人体骨架关键点在图像中的位置信息，可以通过统一的坐标系中的坐标表示。置信度是指标记的人体骨架关键点为实际的人体骨架关键点的可信程度，以分数值表示。在本申请实施例中，以目标图像构建平面坐标系，针对任一个人体骨架关键点可以用(x，y，score)表示，其中x和y用于人体骨架关键点的坐标，score用于表示人体骨架关键点的置信度。进一步地，可以将人体骨架关键点集合中所有的人体骨架关键点的(x，y，score)标识在标记有人体骨架关键点位置的图像中，形成一个更为直观的示图。
在具体实现时，可以引入关键点位置跟踪技术来处理图像序列，以实现实时的获取人体骨架关键点，具体可以通过现有的任何一中关键点跟踪技术实现，本申请不作限定。
上述人体骨架关键点模型的训练可以参见图4对应实施例中的描述，对于人体骨架关键点模型的训练方法不做限制。
可选的，S120检测目标图像并得到目标图像中所包含的人物对应的人体骨架关键点集合的具体方法不限于上面所描述的通过人体骨架关键点模型实现，也可以是现有的任何一种能够识别出图像中人物的人体骨架关键点方法。
S130，根据上述得到的人体骨架关键点集合和预设规则生成剪切区域，其中剪切区域内的人体骨架关键点满足预设规则。
具体的，S130包括步骤S132和S132，如下描述：
S131,逐一检测上述得到的人体骨架关键点集合中的人体骨架关键点是否满足预设规则；
在本申请实施例中，通过以下方法判断人体骨架关键点是否满足预设规则：
针对任一个待判断是否满足预设规则的人体骨架关键点A，判断人体骨架关键点A的置信度是否大于预设阈值；若人体骨架关键点A的置信度大于上述预设阈值，则根据人体骨架关键点A和人体骨架关键点B计算参考点C，具体地计算参考点C的位置信息，其中人体骨架关键点B是指与人体骨架关键点A相邻且靠近人体心脏的一个人体骨架关键点。进一步判断上述参考点C是否落入目标图像内，如果参考点C落入目标图像内则表示人体骨架关键点A满足预设规则，反之，如果参考点C未落入目标图像内则表示人体骨架关键点A不满足预设规则。
下面以脚踝为例描述如何判断人体骨架关键点是否满足预设规则，其他人体骨架关键点类似，参见图6。
第一阶段：
Input脚踝A(x1，y1，score1)
If score1<＝threshold；
该脚踝A没有被检测出来，不作处理else：
检查该脚踝A与目标图像边界的距离是否太近；
如上过程是判断人体骨架关键点的置信度与预设阈值的关系，如果人体骨架关键点的置信度低于预设阈值，则认为该人体骨架关键点没有被检测出来，故不作处理，反之在进行第二阶段的处理。
第二阶段：
1、确定与脚踝A相邻且比脚踝A靠近人体心脏的相关人体骨架关键点，需要注意的，相邻进一步地可以定义为两个人体骨架关键点对应的人体结构是相连的，在本申请实施例中，脚踝A的相关人体骨架关键点是膝关节B(x2，y2，score2)，以此类推，与人体骨架关键点-肘关节相关的人体骨架关键点是肩关节，与人体骨架关键点-耳朵相关的人体骨架关键点是眼睛。
2、根据脚踝A(x1，y1)和膝关节B(x2，y2)计算得到参考点C(x3，y3)，具体计算公式如下：
x3＝x1+(x1-x2)*ratio1
y3＝y1+(y1-y2)*ratio1
其中ratio1是根据经验设定的数值作为系数，在实际实现上不同人体骨架关键点的ratio可以不相同。
3、判断参考点C是否落入目标图像内，即判断参考点C(x3，y3)是在目标图像边界外还是在目标图像边界内，如果参考点在目标图像边界外，则表明脚踝A离目标图像边界太近或者处于目标图像边界上，即脚踝A没有落入目标图像内，不满足预设规则，反之符合预设规则。如图6所示，参考点C为与目标图像边界外，所以脚踝A离目标图像边界太近，具体的是离目标图像下边界太近，不满足预设规则。
S132,根据满足预设规则的人体骨架关键点的位置信息生成剪切区域，剪切区域内的人体骨架关键点均满足预设规则。需要注意的是，在不同的模式下，剪切区域的确定是有所不同的，下面以脚踝A为例分两种情况进一步的说明。
如图7所示，脚踝A距离目标图像的下边界太近，脚踝A不满足预设规则，但是并不代表处理后生成的剪切区域一定不包含脚踝A。
由上面可知，脚踝A距离目标图像的下边界太近，所以在生成剪切区域时，可以通过下面的方法得到合适的剪切区域的下边界的位置，计算方式如下：
Y1＝y2+(y1-y2)*ratio2
Y2＝y1+(y1-y2)*ratio3
其中ratio2和ratio3是根据经验设定的数值作为系数。从上述公式可以看出，存在两个边界位置Y，一个是内边界Y1——即处于目标图像的下边界上面，一个是外边界Y2——即处于目标图像的下边界下面。如图所示是以脚踝为例，在没有考虑其他人体骨架关键点的情况下，以计算得到的Y值并平行于目标图像的下边界生成剪切区域的相应下边界，很明显地，这仅是一个示例，上述的前提是以目标图像的互相垂直边界构建坐标，并分别表示了A、B、C的坐标。进一步地，需要检测边界位置Y(Y1或Y2)是否可以使得位于以Y为下边界的剪切区域内全部人体骨架关键满足预设规则，如果存在至少一个人体骨架关键点不满足，则不推荐相应Y，需要按照上面方法重新确定其他下边界。其他边界的确定过程类似上述下边界的确定过程，不再赘述。
需要注意的是，虽然上面给出了一个剪切区域边界(上述的下边界)的两个可能的边界位置的计算方法，但是并不是一定需要同时计算两个可能的边界位置，下面将进一步说明。
在拍摄模式下，目标图像值是通过摄像头实时获取的图像，可选的，针对剪切区域的任一个边界计算两个边界，因为即使计算得到的边界位置(例如图7所示的Y2)在目标图像外，但是可以通过调整摄像头使得的在目标图像外的边界位置成为调整摄像头后实时获取的目标图像内。在实际实现中，是否将计算得到的边界位置确定为剪切区域的边界，仍需要按照上述描述进一步检测计算的到的边界位置是否可以使得位于以Y为下边界的剪切区域内全部人体骨架关键满足预设规则。
在离线模式，即非拍摄模式下，只需计算位于目标图像内的边界位置，因为离线模式下，例如从图库中获取目标图像，这时的目标图像大小和内容不能在增加(通过调整摄像头从新获取)。这时生成的剪切区域类似于对目标图像进行裁剪。
S140,将上述目标图像处于剪切区域内的图像部分生成目标图像文件。
进一步地，在拍摄模式下，相应于拍摄指令，将剪切区域选定的目标图像的部分生成目标图像文件，并发送或保存生成目标图像文件。
基于图5对应的本申请实施例描述，可选的，在将上述目标图像处于剪切区域内的图像部分生成目标图像文件之前，还包括：在图像预览区域显示目标图像；并在目标图像上施加剪切区域，以将目标图像区分为区域内图像和区域外图像；
则将上述目标图像处于剪切区域内的图像部分生成目标图像文件具体为：将上述区域内图像生成目标图像文件，也就是目标图像处于剪切区域内的图像部分生成目标图像文件。
可选的，在拍摄模式下，在将上述目标图像处于剪切区域内的图像部分生成目标图像文件之前，还包括：在图像预览区域显示目标图像；并在目标图像上显示引导标识，引导标识用于引导用户调整摄像头，调整摄像头目的是将计算得到的边界位置作为调整后的目标图像的边界；然后在调整后的目标图像上施加剪切区域，以将调整后的目标图像区分为区域内图像和区域外图像；
则将上述目标图像处于剪切区域内的图像部分生成目标图像文件具体为：将上述区域内图像生成目标图像文件，也就是目标图像处于剪切区域内的图像部分生成目标图像文件。
上述描述的施加剪切区域是逻辑概念，可以是显示对应的剪切框，也可以是不直接显示对应剪切框，描述施加剪切区域是为了更好地体现剪切区域与目标图像的关系。
施加剪切区域具体为：在目标图像上显示与剪切区域对应的剪切框，剪切框将目标图像区分为框内图像和框外图像，框内图像则是区域内图像，框外图像则是区域外图像。
可选的，施加剪切区域具体为：通过调节目标图像的显示参数，将目标图像区分为视觉上存在明显差异的两个区域，其中，一个区域对应区域内图像，另一个区域对应区域外图像。
本申请实施例提供的图像处理方法，根据预设规则与待处理图像中人物的人体骨架关键点生成对应的剪切区域，并将剪切区域选定的待处理图像的部分图像作为目标图像输出，其中人体骨架关键点和预设规则是基于摄影经验设定的，因此通过本申请实施例提供的图像处理方法能够使不具有足够摄影经验的用户很容易地获得符合摄影美学的图像，提高用户体验。
图8示出了一种图像处理方法，本发明应用于拍摄场景，具体步骤如下：
S210，通过摄像头实时获取图像，其中获取的图像包含人物且作为目标图像；
S220，在显示屏幕上实时显示获取的目标图像；
S230，将获取的目标图像输入配置的人体骨架关键点模型中得到对应的人体骨架关键点集合，具体方法可参见上述相关描述；
S240，根据得到的人体骨架关键点集合和预设规则输出剪切区域，具体方法可参见上述相关描述；
S250,在显示屏幕显示的目标图像上显示对应剪切区域的剪切框，剪切框将目标图像区分为框内图像和框外图像。
S260,响应拍摄指令，将目标图像处于剪切框内的图像生成目标图像文件。
作为另一可选方案，上述步骤S250可选的是：在显示屏幕显示的目标图像上显示引导标识，引导标识用于引导用户调整摄像头使得剪切区域对应的剪切框完整的显示在显示屏幕显示的目标图像上，例如，上面本申请实施例中的Y2作为剪切区域的下边界，则可以显示向下调整摄像头或后移摄像头以使得Y2显示在显示屏幕上。需要注意的是，如果用户选择根据引导标识调整摄像头，对应的，步骤S260中的目标图像很显然是指调整后的摄像头所获取的图像。
作为另一可选方案，上述步骤S250可选的是：在显示屏幕直接显示目标图像处于剪切区域内的图像部分，对应的，步骤S260可选的是：将显示屏幕显示的图像生成目标图像文件。在本可选的方案中，能够在用户无任何注意的情况得到经过处理的图像，提高用户无感体验。可选的，可以不执行步骤S220，进一步提升用户无感体验。在现在技术操作简洁化的发展趋势下，无感体验是设备或终端智能的一种呈现。
需要注意的，步骤S220、步骤S230。步骤S240不限定其先后顺序。
图9示出了一种终端300，用于图像处理，该终端300能够实现图5对应的实施例中描述的全部或部分方法，具体的该终端300包括：
获取目标图像的获取模块310，目标图像包括人物；
检测目标图像中的人物得到人体骨架关键点集合的检测模块320，人体骨架关键点集合包括多个人体骨架关键点；
根据人体骨架关键点集合和预设规则生成剪切区域的剪切区域生成模块330，其中剪切区域内的人体骨架关键点满足预设规则；
将目标图像处于上述剪切区域内的图像部分生成目标图像文件的图像文件生成模块340。
进一步地，上述检测模块320配置有人体骨架关键点模型，其中检测模块320具体用于通过人体骨架关键点模型检测目标图像中的人物得到人体骨架关键点集合，其中，人体骨架关键点集合中的每一人体骨架关键点包括位置信息和置信度，其中位置信息用于指示对应的人体骨架关键点在目标图像中的位置，置信度用于指示对应的人体骨架关键点的可信程度，人体骨架关键点模型通过标注数据训练得到，标注数据为包括人物且已标记出人物的人体骨架关键点的图像，训练人体骨架关键点模型的方法可以参见上述实施例中相关描述，此处不再赘述。
更为具体的，检测模块320包括模型单元321和提取单元322。其中模型单元321用于将目标图像输入其配置的人体骨架关键点模型得到人体骨架关键点热度图；提取单元322用于从人体骨架关键点热度图提取人体骨架关键点得到人体骨架关键点集合。
进一步地，剪切区域生成模块330包括规则判断单元331和生成单元332。其中规则判断单元331用于逐一检测人体骨架关键点集合中的人体骨架关键点是否满足预设规则；生成单元332用于根据满足预设规则的人体骨架关键点的位置信息生成剪切区域。
具体的，上述规则判断单元331具体用于判断人体骨架关键点A的置信度是否大于预设阈值；若人体骨架关键点A的置信度大于预设阈值，则根据人体骨架关键点A和人体骨架关键点B计算参考点C，参考点C包括位置信息；再判断参考点C是否为位于目标图像内，其中，参考点C位于目标图像内表示人体骨架关键点A满足预设规则，参考点C不位于目标图像内表示人体骨架关键点A不满足预设规则。人体骨架关键点A为待判断是否满足预设规则的人体骨架关键点，人体骨架关键点B为人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点。
进一步地，该终端300还包括摄像头350，上述获取模块310具体用于在拍摄模式下通过摄像头350实时获取目标图像；图像文件生成模块340具体用于响应于拍摄指令将目标图像处于剪切区域内的图像部分生成目标图像文件。
可选的，终端300包括图库360，上述获取模块310具体从图库360中获取目标图像；图像文件生成模块340具体用于响应于剪切指令将目标图像处于剪切区域内的图像部分生成目标图像文件。
进一步地，终端300还包括：显示屏幕370和显示模块380，显示模块380用于控制在显示屏幕370的图像预览区域显示目标图像，并在目标图像上施加剪切区域以将目标图像区分为区域内图像和区域外图像；图像文件生成模块340具体用于将区域内图像生成目标图像文件。
可选的，显示模块380用于控制在显示屏幕370的图像预览区域显示目标图像；并且在目标图像上显示引导标识，其中引导标识用于引导用户调整摄像头；并且在调整后的目标图像上施加剪切区域以将调整后的目标图像区分为区域内图像和区域外图像；图像文件生成模块340具体用于将区域内图像生成目标图像文件。
进一步地，显示模块380具体用于在目标图像上显示剪切框以将目标图像区分为框内图像和框外图像，其中框内图像对应区域内图像，框外图像对应区域外图像；或者，通过调节目标图像的显示参数以将目标图像区分为视觉上存在明显差异的两个区域，其中一个区域对应区域内图像，另一个区域对应区域外图像。
针对显示引导标识引导用户调整摄像头的情况，显示模块380具体用于在调整后的目标图像上显示剪切框以将调整后的目标图像区分为框内图像和框外图像，其中，框内图像对应区域内图像，框外图像对应区域外图像；或者，通过调节调整后的目标图像的像素参数以将调整后的目标图像区分为视觉上存在明显差异的两个区域，其中一个区域对应区域内图像，另一个区域对应区域外图像。
图10示出了一种装置400，用于图像处理，该装置400：
第一处理器401，存储器402，收发器403，第二处理器404，通信总线405。
通信总线405用于实现这些组件之间的连接通信。
收发器403用于与外部进行数据传输。
存储器402可以包括只读存储器和随机存取存储器，并向第一处理器401和第二处理器404提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器(NVRAM)，例如RAM、ROM、EEPROM、CD-ROM、光盘、硬盘、磁性存储装置等等；存储器402可以用来存储计算机程序指令、预设的参数、计算机中间运算得到的数据等中间的一个或多个。
第一处理器401和第二处理器404可以是一个中央处理单元(central processingunit，CPU)，或者为数字处理单元等等。
在本发明实施例中，可选的，第一处理器401包括片内存储器，例如TCM,Cache,SRAM，片内存储器中存储有指令，第一处理器401与片内存储器耦合，用于实现图3和图7对应的本发明实施例中描述的方法，或者，第一处理器401与片内存储器耦合调用片内存储器中的指令，并与存储器402耦合获取数据，以用于实现图5和图8对应的本申请实施例中描述的方法。在实际中，第一处理器401可能是一个独立出售的芯片，也可能集成在某一芯片上，该芯片包括第一处理器401。
可选的，通过调用存储器502存储的程序或指令，第二处理器404用于实现图5和图8对应的本发明实施例中描述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (24)

1.一种图像处理方法，其特征在于，包括：
获取目标图像，所述目标图像包括人物；
检测所述目标图像中的人物得到人体骨架关键点集合，所述人体骨架关键点集合包括多个人体骨架关键点；
根据所述人体骨架关键点集合和预设规则生成剪切区域，所述剪切区域内的人体骨架关键点满足所述预设规则；
所述预设规则包括：对于任意一个人体骨架关键点A，根据所述人体骨架关键点A和人体骨架关键点B获得参考点C，所述参考点C位于所述目标图像内；其中，所述人体骨架关键点B为与所述人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点；
将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件。
2.根据权利要求1所述的图像处理方法，其特征在于，所述检测所述目标图像中的人物得到人体骨架关键点集合包括：
利用人体骨架关键点模型检测所述目标图像中的人物，得到所述人体骨架关键点集合，其中，所述人体骨架关键点集合中的每一人体骨架关键点包括位置信息和置信度，所述位置信息用于指示对应的人体骨架关键点在所述目标图像中的位置，所述置信度用于指示对应的人体骨架关键点的可信程度，所述人体骨架关键点模型通过标注数据训练得到，所述标注数据为包括人物且已标记出人物的人体骨架关键点的图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述利用人体骨架关键点模型检测所述目标图像中的人物，得到所述人体骨架关键点集合包括：
将所述目标图像输入所述人体骨架关键点模型，得到人体骨架关键点热度图，所述人体骨架关键点热度图为基于所述目标图像标记有人体骨架关键点的图像；
从所述人体骨架关键点热度图提取人体骨架关键点，得到所述人体骨架关键点集合。
4.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述人体骨架关键点集合和预设规则生成剪切区域包括：
逐一检测所述人体骨架关键点集合中的人体骨架关键点是否满足所述预设规则；
根据满足所述预设规则的人体骨架关键点的位置信息生成所述剪切区域。
5.根据权利要求4所述的图像处理方法，其特征在于，通过以下方法判断人体骨架关键点是否满足所述预设规则：
判断人体骨架关键点A的置信度是否大于预设阈值；
若所述人体骨架关键点A的置信度大于所述预设阈值，则根据所述人体骨架关键点A和人体骨架关键点B计算参考点C，所述参考点C包括位置信息；
判断所述参考点C是否位于所述目标图像内，其中，所述参考点C位于所述目标图像内表示所述人体骨架关键点A满足所述预设规则，所述参考点C不位于所述目标图像内表示所述人体骨架关键点A不满足所述预设规则；
其中，所述人体骨架关键点A为待判断是否满足所述预设规则的人体骨架关键点，所述人体骨架关键点B为与所述人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点。
6.根据权利要求1所述的图像处理方法，其特征在于，所述获取目标图像包括：
在拍摄模式下，通过摄像头实时获取所述目标图像；
所述将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件包括：
响应于拍摄指令，将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件。
7.根据权利要求1所述的图像处理方法，其特征在于，所述获取目标图像包括：
从图库中获取所述目标图像；
所述将所述目标图像处于所述剪切区域内的图像部分生成所述目标图像文件包括：
响应于剪切指令，将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件。
8.根据权利要求1-7任一项所述的图像处理方法，其特征在于，在所述将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件之前，还包括：
在图像预览区域显示所述目标图像；
在所述目标图像上施加所述剪切区域，将所述目标图像区分为区域内图像和区域外图像；
所述将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件包括：
将所述区域内图像生成所述目标图像文件。
9.根据权利要求6所述的图像处理方法，其特征在于，在所述将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件之前，还包括：
在图像预览区域显示所述目标图像；
在所述目标图像上显示引导标识，所述引导标识用于引导用户调整所述摄像头；
在调整后的所述目标图像上施加所述剪切区域，将调整后的所述目标图像区分为区域内图像和区域外图像；
所述将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件包括：
将所述区域内图像生成所述目标图像文件。
10.根据权利要求8所述图像处理方法，其特征在于，所述在所述目标图像上施加所述剪切区域，将所述目标图像区分为区域内图像和区域外图像包括：
在所述目标图像上显示剪切框，将所述目标图像区分为框内图像和框外图像，其中，所述框内图像为所述区域内图像，所述框外图像为所述区域外图像；或者，
通过调节所述目标图像的显示参数，将所述目标图像区分为视觉上存在明显差异的两个区域，其中，一个区域对应所述区域内图像，另一个区域对应所述区域外图像。
11.根据权利要求9所述图像处理方法，其特征在于，所述在调整后的所述目标图像上施加所述剪切区域，将调整后的所述目标图像区分为区域内图像和区域外图像包括：
在调整后的所述目标图像上显示剪切框，将调整后的所述目标图像区分为框内图像和框外图像，其中，所述框内图像为所述区域内图像，所述框外图像为所述区域外图像；或者，
通过调节调整后的所述目标图像的像素参数，将调整后的所述目标图像区分为视觉上存在明显差异的两个区域，其中，一个区域对应所述区域内图像，另一个区域对应所述区域外图像。
12.一种终端，用于图像处理，其特征在于，包括：
获取模块，用于获取目标图像，所述目标图像包括人物；
检测模块，用于检测所述目标图像中的人物得到人体骨架关键点集合，所述人体骨架关键点集合包括多个人体骨架关键点；
剪切区域生成模块，用于根据所述人体骨架关键点集合和预设规则生成剪切区域，所述剪切区域内的人体骨架关键点满足所述预设规则；
所述预设规则包括：对于任意一个人体骨架关键点A，根据所述人体骨架关键点A和人体骨架关键点B获得参考点C，所述参考点C位于所述目标图像内；其中，所述人体骨架关键点B为与所述人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点；
图像文件生成模块，用于将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件。
13.根据权利要求12所述的终端，其特征在于，所述检测模块配置有人体骨架关键点模型；
所述检测模块，具体用于利用人体骨架关键点模型检测所述目标图像中的人物，得到所述人体骨架关键点集合，其中，所述人体骨架关键点集合中的每一人体骨架关键点包括位置信息和置信度，所述位置信息用于指示对应的人体骨架关键点在所述目标图像中的位置，所述置信度用于指示对应的人体骨架关键点的可信程度，所述人体骨架关键点模型通过标注数据训练得到，所述标注数据为包括人物且已标记出人物的人体骨架关键点的图像。
14.根据权利要求13所述的终端，其特征在于，所述检测模块包括：模型单元和提取单元；
所述模型单元，用于将所述目标图像输入所述人体骨架关键点模型，得到人体骨架关键点热度图；
所述提取单元，用于从所述人体骨架关键点热度图提取人体骨架关键点，得到所述人体骨架关键点集合。
15.根据权利要求13所述的终端，其特征在于，所述剪切区域生成模块包括：规则判断单元和生成单元；
所述规则判断单元，用于逐一检测所述人体骨架关键点集合中的人体骨架关键点是否满足所述预设规则；
所述生成单元，用于根据满足所述预设规则的人体骨架关键点的位置信息生成所述剪切区域。
16.根据权利要求15所述的终端，其特征在于，所述规则判断单元具体用于:
判断人体骨架关键点A的置信度是否大于预设阈值；
若所述人体骨架关键点A的置信度大于所述预设阈值，则根据所述人体骨架关键点A和人体骨架关键点B计算参考点C，所述参考点C包括位置信息；
判断所述参考点C是否为位于所述目标图像内，其中，所述参考点C位于所述目标图像内表示所述人体骨架关键点A满足所述预设规则，所述参考点C不位于所述目标图像内表示所述人体骨架关键点A不满足所述预设规则；
其中，所述人体骨架关键点A为待判断是否满足所述预设规则的人体骨架关键点，所述人体骨架关键点B为所述人体骨架关键点A相邻且靠近人体心脏的人体骨架关键点。
17.根据权利要求12所述的终端，其特征在于，获取模块，具体用于在拍摄模式下，通过摄像头实时获取所述目标图像；
所述图像文件生成模块，具体用于响应于拍摄指令，将所述目标图像处于所述剪切区域内的图像部分生成目标图像文件。
18.根据权利要求12所述的终端，其特征在于，获取模块，具体从图库中获取所述目标图像；
所述图像文件生成模块，具体用于响应于剪切指令，将所述目标图像处于所述剪切区域内的图像部分生成所述目标图像文件。
19.根据权利要求12-18任一项所述的终端，其特征在于，还包括：显示模块，用于：
控制在显示屏幕的图像预览区域显示所述目标图像；
在所述目标图像上施加所述剪切区域，将所述目标图像区分为区域内图像和区域外图像；
所述图像文件生成模块，具体用于将所述区域内图像生成所述目标图像文件。
20.根据权利要求17所述的终端，其特征在于，还包括：显示模块，具体用于：
控制在显示屏幕的图像预览区域显示所述目标图像；
在所述目标图像上显示引导标识，所述引导标识用于引导用户调整所述摄像头；
在调整后的所述目标图像上施加所述剪切区域，将调整后的所述目标图像区分为区域内图像和区域外图像；
所述图像文件生成模块，具体用于将所述区域内图像生成所述目标图像文件。
21.根据权利要求19所述的终端，其特征在于，所述显示模块，具体用于：
在所述目标图像上显示剪切框，将所述目标图像区分为框内图像和框外图像，其中，所述框内图像为所述区域内图像，所述框外图像为所述区域外图像；或者，
通过调节所述目标图像的显示参数，将所述目标图像区分为视觉上存在明显差异的两个区域，其中，一个区域对应所述区域内图像，另一个区域对应所述区域外图像。
22.根据权利要求20所述的终端，其特征在于，所述显示模块，具体用于：
在调整后的所述目标图像上显示剪切框，将调整后的所述目标图像区分为框内图像和框外图像，其中，所述框内图像为所述区域内图像，所述框外图像为所述区域外图像；或者，
通过调节调整后的所述目标图像的像素参数，将调整后的所述目标图像区分为视觉上存在明显差异的两个区域，其中，一个区域对应所述区域内图像，另一个区域对应所述区域外图像。
23.一种终端，用于图像处理，其特征在于，包括：处理器；
所述处理器用于与存储器耦合，并调用所述存储器中存储的指令并根据所述指令执行如权利要求1-11任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-11任一项所述的方法。
CN201811312554.XA 2018-11-06 2018-11-06 一种图像处理方法和装置 Active CN109905593B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811312554.XA CN109905593B (zh) 2018-11-06 2018-11-06 一种图像处理方法和装置
PCT/CN2019/107133 WO2020093799A1 (zh) 2018-11-06 2019-09-21 一种图像处理方法和装置
US17/308,535 US11917288B2 (en) 2018-11-06 2021-05-05 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811312554.XA CN109905593B (zh) 2018-11-06 2018-11-06 一种图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN109905593A CN109905593A (zh) 2019-06-18
CN109905593B true CN109905593B (zh) 2021-10-15

Family

ID=66943315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811312554.XA Active CN109905593B (zh) 2018-11-06 2018-11-06 一种图像处理方法和装置

Country Status (3)

Country Link
US (1) US11917288B2 (zh)
CN (1) CN109905593B (zh)
WO (1) WO2020093799A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905593B (zh) * 2018-11-06 2021-10-15 华为技术有限公司 一种图像处理方法和装置
CN113014793A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 一种视频处理方法及电子设备
CN111126272B (zh) * 2019-12-24 2020-11-10 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN112749609B (zh) * 2020-07-23 2024-03-19 腾讯科技（深圳）有限公司 人体图像分割方法、装置、计算机设备及存储介质
CN112949439A (zh) * 2021-02-19 2021-06-11 中国石油天然气集团有限公司 一种油罐车重点区域人员入侵监测方法和系统
CN113762115B (zh) * 2021-08-27 2024-03-15 国网浙江省电力有限公司 一种基于关键点检测的配网作业人员行为检测方法
CN113856186B (zh) * 2021-09-02 2022-08-09 中国人民解放军陆军工程大学 一种引体向上动作判定与计数的方法、系统及装置
CN113907775A (zh) * 2021-10-13 2022-01-11 瓴域影诺(北京)科技有限公司 一种髋关节影像质量判断方法及系统
CN117480772A (zh) * 2022-05-25 2024-01-30 北京小米移动软件有限公司 视频显示方法及装置、终端设备及计算机存储介质
CN116895043B (zh) * 2023-06-13 2024-01-26 郑州宝冶钢结构有限公司 一种施工现场智能安全监控预警方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717413A (zh) * 2013-12-12 2015-06-17 北京三星通信技术研究有限公司 拍照辅助方法及设备
CN105657249A (zh) * 2015-12-16 2016-06-08 东莞酷派软件技术有限公司 一种图像处理方法及用户终端
JP2016212688A (ja) * 2015-05-11 2016-12-15 日本電信電話株式会社 関節位置推定装置、方法、及びプログラム
CN107749952A (zh) * 2017-11-09 2018-03-02 睿魔智能科技（东莞）有限公司 一种基于深度学习的智能无人摄影方法和系统
CN107835373A (zh) * 2017-12-06 2018-03-23 深圳天珑无线科技有限公司 一种移动终端及其拍照美化方法和系统
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN108537203A (zh) * 2018-04-22 2018-09-14 广州麦仑信息科技有限公司 一种基于卷积神经网络的手掌关键点定位方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228320B2 (ja) 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2391982B1 (en) * 2009-01-28 2020-05-27 Hewlett-Packard Development Company, L.P. Dynamic image collage
JP4947136B2 (ja) * 2009-12-25 2012-06-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5408205B2 (ja) * 2011-08-25 2014-02-05 カシオ計算機株式会社 制御点設定方法、制御点設定装置及びプログラム
KR102367828B1 (ko) * 2015-06-05 2022-02-25 삼성전자주식회사 이미지 운용 방법 및 이를 지원하는 전자 장치
CN105100625B (zh) 2015-08-27 2018-06-12 华南理工大学 一种基于图像美学的人物图像辅助拍摄方法和系统
CN106210510B (zh) * 2016-06-28 2019-04-30 Oppo广东移动通信有限公司 一种基于图像调整的拍照方法、装置及终端
US10796403B2 (en) * 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
CN109960962B (zh) 2017-12-14 2022-10-21 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
CN108460362B (zh) * 2018-03-23 2021-11-30 成都品果科技有限公司 一种检测人体部位的系统及方法
CN108510491B (zh) * 2018-04-04 2020-07-24 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN109905593B (zh) * 2018-11-06 2021-10-15 华为技术有限公司 一种图像处理方法和装置
CN109660719A (zh) 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN109788191A (zh) 2018-12-21 2019-05-21 中国科学院自动化研究所南京人工智能芯片创新研究院 拍照方法、装置、计算机设备和存储介质
CN109872340B (zh) 2019-01-03 2023-06-27 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
CN110147833B (zh) 2019-05-09 2021-10-12 北京迈格威科技有限公司 人像处理方法、装置、系统和可读存储介质
JP7095002B2 (ja) 2020-02-19 2022-07-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717413A (zh) * 2013-12-12 2015-06-17 北京三星通信技术研究有限公司 拍照辅助方法及设备
JP2016212688A (ja) * 2015-05-11 2016-12-15 日本電信電話株式会社 関節位置推定装置、方法、及びプログラム
CN105657249A (zh) * 2015-12-16 2016-06-08 东莞酷派软件技术有限公司 一种图像处理方法及用户终端
CN107749952A (zh) * 2017-11-09 2018-03-02 睿魔智能科技（东莞）有限公司 一种基于深度学习的智能无人摄影方法和系统
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN107835373A (zh) * 2017-12-06 2018-03-23 深圳天珑无线科技有限公司 一种移动终端及其拍照美化方法和系统
CN108537203A (zh) * 2018-04-22 2018-09-14 广州麦仑信息科技有限公司 一种基于卷积神经网络的手掌关键点定位方法

Also Published As

Publication number Publication date
WO2020093799A1 (zh) 2020-05-14
CN109905593A (zh) 2019-06-18
US11917288B2 (en) 2024-02-27
US20210258506A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN109905593B (zh) 一种图像处理方法和装置
US11973732B2 (en) Messaging system with avatar generation
RU2714096C1 (ru) Способ, оборудование и электронное устройство для обнаружения витальности лица
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
US11521339B2 (en) Machine learning in augmented reality content items
US11508087B2 (en) Texture-based pose validation
KR20220149503A (ko) 이미지 촬영 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
KR20200132569A (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
CN114267041B (zh) 场景中对象的识别方法及装置
CN112927259A (zh) 基于多相机的裸手追踪显示方法、装置及系统
EP4315265A1 (en) True size eyewear experience in real-time
EP3218896A1 (en) Externally wearable treatment device for medical application, voice-memory system, and voice-memory-method
CN112887615B (zh) 拍摄的方法及装置
CN111723758B (zh) 视频信息的处理方法、装置、电子设备及存储介质
CN103353879B (zh) 图像处理方法及设备
US20230120037A1 (en) True size eyewear in real time
WO2023220163A1 (en) Multi-modal human interaction controlled augmented reality
WO2023154544A1 (en) Interactively defining an object segmentation
US11770621B2 (en) Customized image reprocessing system using a machine learning model
US20230388659A1 (en) Customized image reprocessing system using a machine learning model
CN115223238A (zh) 信息提示方法、装置、存储介质及电子设备
KR20220075984A (ko) 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템
CN116205200A (zh) 视频封面的生成方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant