CN103513890B - 一种基于图片的交互方法、装置和服务器 - Google Patents

一种基于图片的交互方法、装置和服务器 Download PDF

Info

Publication number
CN103513890B
CN103513890B CN201210216274.5A CN201210216274A CN103513890B CN 103513890 B CN103513890 B CN 103513890B CN 201210216274 A CN201210216274 A CN 201210216274A CN 103513890 B CN103513890 B CN 103513890B
Authority
CN
China
Prior art keywords
label
frame
label information
human face
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210216274.5A
Other languages
English (en)
Other versions
CN103513890A (zh
Inventor
郑志昊
梁柱
王慧星
马佳
吴昊
甘晖明
周怡婷
刘真
张�浩
陈波
饶丰
刘海龙
林淦雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210216274.5A priority Critical patent/CN103513890B/zh
Priority to JP2015518814A priority patent/JP6236075B2/ja
Priority to US14/410,875 priority patent/US20150169527A1/en
Priority to PCT/CN2013/077999 priority patent/WO2014000645A1/zh
Publication of CN103513890A publication Critical patent/CN103513890A/zh
Application granted granted Critical
Publication of CN103513890B publication Critical patent/CN103513890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction

Abstract

本发明实施方式提出了一种基于图片的交互方法、装置和服务器。方法包括：在图片中识别出人脸区域；生成对应该人脸区域的人脸框；生成与该人脸框相关联的标签框，从服务器获取与该人脸区域相关联的标签信息，并且在标签框中呈现从服务器获取的该标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在标签框中呈现用户输入的标签信息。本发明实施方式可以基于服务器或用户所提供的标签信息，自定义圈出区域的关联信息，还可以将这些关联信息推送到相关的好友。本发明实施方式提高了与好友的互动程度，从而提高了交互成功率。

Description

一种基于图片的交互方法、装置和服务器
技术领域
本发明实施方式涉及互联网应用技术领域，更具体地，涉及一种基于图片的交互方法、装置和服务器。
背景技术
随着计算机技术和网络技术的飞速发展，互联网（Internet）和即时通信技术在人们的日常生活、学习和工作中发挥的作用也越来越大。而且，随着移动互联网的发展，互联网即时通信也在向移动化发展。
在层出不穷的互联网应用中，已经出现了一些圈人的应用。圈人应用通常出现于社会交友类型的网站中，通过在图片上标记出一个人的位置，向被标记者本人或好友展示被标记者在照片中的行为。具体而言，圈人是指在一张图片中，用户可圈出图片中人脸区域，并将这块区域关联到用户好友关系链中的某个用户。而且，还可以同时提供关于该关联用户的链接，点击该链接可以查看被关联用户的信息。
然而，在现有的各种圈人应用中，对于检测出的人脸，仅限于由用户自行将其标出姓名，并将姓名信息推送到相关联的好友。用户并不能基于服务器的下发信息，自定义圈出区域的关联信息（比如评论信息等），因此这种圈人方式与图片本身的互动方式不足。而且，由于用户无法自定义圈出区域的关联信息，自然也不能将这些关联信息推送到相关的好友，因此这种圈人方式与好友的互动也不足。因此，现有的各种圈人应用方式交互单一，无法实现充分交互，因此不能保证交互成功率，并显著影响了用户体验。
另外，现有技术中对与圈人相关的各种信息的展示比较单一，不能动态调整和运营，同时自动人脸识别区域也不能手工调整，操作起来很繁琐。
发明内容
本发明实施方式提出一种基于图片的交互方法，以提高交互成功率。
本发明实施方式还提出一种基于图片的交互装置，以提高交互成功率。
本发明实施方式还提出一种服务器，以提高交互成功率。
本发明实施方式的具体方案如下：
一种基于图片的交互方法，该方法包括：
在图片中识别出人脸区域；
生成对应该人脸区域的人脸框；
生成与该人脸框相关联的标签框；
从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息。
一种基于图片的交互装置，该装置包括人脸区域识别单元、人脸框生成单元和标签信息处理单元，其中：
人脸区域识别单元，用于在图片中识别出人脸区域；
人脸框生成单元，用于生成对应该人脸区域的人脸框；
标签信息处理单元，用于生成与该人脸框相关联的标签框，并从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息。
一种服务器，该服务器包括标签信息存储单元和标签信息发送单元，其中：
标签信息存储单元，用于存储预先设置的标签信息；
标签信息发送单元，用于向客户端发送与人脸区域相关联的标签信息，并由客户端在标签框中呈现该标签信息，其中该人脸区域由客户端在图片中识别出，该标签框与对应该人脸区域的人脸框相关联。
从上述技术方案可以看出，在本发明实施方式中，首先在图片中识别出人脸区域；然后生成对应该人脸区域的人脸框；再生成与该人脸框相关联的标签框；从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息，或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息。由此可见，应用本发明实施方式之后，可以在标签框中基于服务器下发的标签信息或用户输入的自定义标签信息呈现标签信息，而不仅限于只标出姓名。本发明实施方式可以自定义圈出区域的关联信息（比如评论信息等），还可以将这些关联信息推送到相关的好友，因此本发明实施方式提高了与好友的互动程度，从而提高了交互成功率。
附图说明
图1为根据本发明实施方式的基于图片的交互方法流程图；
图2为根据本发明实施方式的选择人脸区域示意图；
图3为根据本发明实施方式的标签信息生成示意图；
图4为根据本发明实施方式的基于图片的圈人应用方法示范性流程图；
图5为根据本发明实施方式的基于图片的交互装置结构图；
图6为根据本发明实施方式的服务器结构图；
图7为根据本发明实施方式的标签信息展示第一示范性示意图；
图8为根据本发明实施方式的标签信息展示第二示范性示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
在本发明实施方式中，用户可以将图片中的人脸区域关联到其关系链中的好友或非好友，同时结合人脸检测技术，可以添加自定义的人脸框，从而能够最大限度地减少操作。
圈人应用主要是指在一张图片中，用户可圈出图片中人脸区域，并将这块人脸区域的相关信息推送到用户好友关系链中的某个关联用户。而且，还可以同时提供关于该关联用户的链接，点击该链接可以查看被关联用户的信息。具体地，当将本发明实施方式应用到圈人应用中时，可以选择从关系链中寻找好友，然后将服务器下发的标签信息推送到这些好友，还可选择由用户自定义输入标签信息，再将用户自定义输入的标签信息推送到这些好友。
优选地，服务器下发的标签信息具体可以是由服务器预先设置的趣味标签。针对用户输入的自定义输入标签信息和服务器下发的趣味标签，可以在展示上予以区分。同时，趣味标签的表现可通过服务器动态配置，从而能够丰富标签的展示形式。
图1为根据本发明实施方式的基于图片的交互方法流程图。
如图1所示，该方法包括：
步骤101：在图片中识别出人脸区域。
在这里，可以接收用户的输入在图片中识别出人脸区域，或者应用一些人脸识别算法由机器在图片中自动识别出人脸区域。
本发明实施方式优选采用人脸识别算法自动识别人脸区域。
人脸识别特指分析比较人脸视觉特征信息进行身份鉴别的计算机技术。一般来说，人脸识别系统包括图像摄取、人脸定位、图像预处理、以及人脸识别（身份确认或者身份查找），等等。
目前常用的人脸识别算法包括下列分类：基于人脸特征点的识别算法；基于整幅人脸图像的识别算法；基于模板的识别算法；利用神经网络进行识别的算法，等等。更具体地，可以应用到本发明实施方式的人脸识别算法具体可以包括：主成分分析算法（PrincipalComponentAnalysis，PCA）、独立成分分析算法（IndependentComponentAnalysis，ICA）、等测距映射（IsometricFeatureMapping，ISOMAP）、核主成分分析算法（KernelPrincipalComponentsAnalysis，KPCA）或线性主成分分析算法（LinearPrincipalComponentAnalysis，LPCA），等等。
本领域技术人员可以意识到，虽然以上详细罗列了人脸识别算法的一些示范性实例，本发明实施方式并不局限于此。
图2为根据本发明实施方式的选择人脸区域示意图。用户可以自行在图片中识别出人脸区域，或者应用人脸识别算法由机器在图片中自动识别出人脸区域。在图2中呈现有框住人脸的框架，可以将该框架命令为人脸框，在下面的步骤102中将描述人脸框的生成过程。
步骤102：生成对应该人脸区域的人脸框。
当应用人脸识别算法由机器在图片中自动识别出人脸区域时，可以利用人脸检测技术，通过存储在客户端本地或者网络侧的人脸检测库，对输入的图片进行人脸检测，然后输出人脸在该图中的位置信息。这些信息可以通过边框的形式初始化显示在图片上供用户调整。
当用户自行在图片中识别出人脸区域时，可以根据用户在该图中通过拖拽等方式确定的位置信息而生成人脸框。
同时，用户可以对生成的人脸框进行编辑操作。具体编辑过程可以包括：拖动人脸框、按着人脸框右下角缩放、长按人脸框内区域出现删除按钮；和/或删除人脸框，等等。
优选地，当生成有多个人脸框的时候，需要进一步对各个人脸框的位置进行规范，使得人脸框之间不会重叠，而且尽量将各个人脸框保持在显示区域之内。
步骤103：生成与该人脸框相关联的标签框，并从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息。
在这里，当产生人脸框之后，紧接着生成与该人脸框相关联的标签框。标签框用于展示标签信息。
在一个实施方式中，可以由位于网络侧的服务器向客户端提供标签框背景信息，然后客户端根据标签框背景信息生成标签框。这样，服务器通过在后台调整标签框背景信息，可以向用户提供具有多种表现形式的标签框。比如：服务器提供的标签框背景信息具体可以包括标签框形状、标签框展现方式和/或标签框颜色，等等。
可选地，也可以由用户根据自身爱好，在本地自行设置生成标签框。比如：用户可以预先在本地设置标签框形状、标签框展现方式和/或标签框颜色，然后客户端基于所设置的标签框形状、标签框展现方式和/或标签框颜色自动生成标签框。
在一个实施方式中，客户端从服务器获取与该人脸区域相关联的标签信息，并且在生成的标签框中呈现该标签信息。与人脸区域相关联的标签信息，优选是针对人脸区域的评论信息。比如，假如在人脸区域识别出姓名为张三的人脸，则标签信息可以是“潇洒哥”等带有直接评论色彩的评论信息，也可以是“三岁得奖者”等带有间接评论色彩的评论信息。
可以在服务器中预先存储一组预先设置的标签信息候选词汇（比如最近的网络热门关键字）以构成标签信息列表，然后服务器将标签信息列表发送给用户，由用户从标签信息列表中选择出合适的标签信息候选词汇以作为标签信息，并显示在标签框中。其中，标签信息列表中的标签信息候选词汇优选是可以编辑的，
优选地，标签信息列表的生成与发送过程具体包括：服务器计算标签信息候选词汇的使用频率，并对标签信息候选词汇基于所述使用频率从大到小进行排序；服务器按照排序结果生成标签信息列表，其中在所述标签信息列表中存储预定数目的标签信息候选词汇。服务器下发该标签信息列表到客户端；客户端从标签信息列表中解析出标签信息候选词汇，并从标签信息候选词汇中选择与该人脸区域相关联的词汇，并且在标签框中呈现该与人脸区域相关联的词汇。
在一个实施方式中，还可以由用户直接在客户端的标签框中自行编辑用户自定义标签信息。用户自定义标签信息可以是与识别出的人脸区域相关的评论信息，也可以是任意表达用户心情的评论信息，等等。
当由服务器向客户端提供标签信息时，标签信息是可以由服务器后台运营的，通过统计自定义词的使用情况，整理当前网络流行语而生成。后台运行的标签信息优选为一些带有趣味性的趣味标签。趣味标签可以由后台运营的，通过统计自定义词的使用情况，整理当前网络流行语而生成，并且还可根据视觉师设计，自动配置各个标签展现形式，颜色等内容，使展现更加生动。
图3为根据本发明实施方式的标签信息生成示意图。
优选地，标签框设计为可编辑形式的。具体编辑方式可以包括：调整标签框的颜色；拖动标签框；按着标签框右下角缩放；长按标签框内区域出现删除按钮；删除标签框；等等。
优选的，还可以进一步检索该人脸区域所对应用户的用户标识，在标签框中显示该人脸区域所对应用户的用户标识，并向该用户标识所对应的用户推送所述图片、标签框和标签信息。比如，假如在人脸区域识别出姓名为张三的人脸，而且标签信息是“潇洒哥”等带有直接评论色彩的评论信息，则可以在标签框中进一步显示张三的ID（比如：张三的即时通信号码），并向该用户标识所对应的用户（即张三）推送该图片、标签框和标签信息。
优选地，还可以进一步检索该人脸区域所对应的用户标识，在标签框中显示该人脸区域所对应用户的用户标识，并向该用户标识所对应用户的好友关系链中的用户推送所述图片、标签框和标签信息。比如，假如在人脸区域识别出姓名为张三的人脸，标签信息是“潇洒哥”等带有直接评论色彩的评论信息，而且张三的好友包括李四和王五，则可以在标签框中进一步显示张三的ID（比如：张三的即时通信号码），并向该用户标识所对应的用户（即张三）的好友（即李四和王五）推送该图片、标签框和标签信息。
本发明实施方式所提出的图片交互方法可以应用到多种具体应用中，尤其适合于目前非常受欢迎的圈人应用。
图4为根据本发明实施方式的基于图片的圈人应用方法示范性流程图。
如图4所示，该方法包括：
步骤401：判断是否执行手动圈人，如果是则执行步骤402及其后续步骤，如果不是则执行步骤403及其后续步骤。手动圈人即客户端接收用户根据肉眼判断出的人脸区域位置信息。
步骤402：客户端接收用户根据肉眼判断出的人脸区域位置信息，并基于该人脸区域位置信息生成人脸框，并执行步骤404及其后续步骤。
步骤403：应用人脸自动识别算法在图片中自动识别出人脸区域，并添加人脸框，人脸框包含该识别出的人脸区域。在这里，具体可以采用主成分分析算法（PCA）、独立成分分析算法（ICA）、等测距映射（ISOMAP）、核主成分分析算法（KPCA）或线性主成分分析（LPCA）等算法来自动识别人脸区域，并执行步骤404及其后续步骤。
步骤404：判断是否定制标签信息，如果是则执行步骤405及其后续步骤；如果不是则执行步骤410及其后续步骤。在这里，定制标签信息即由服务器后台提供标签信息。
步骤405：从服务器下载标签框背景信息和标签信息。
步骤406：根据标签框背景信息生成标签框，并将标签信息显示在标签框中。
步骤407：判断是否需要关联到用户，如果是则执行步骤408及其后续步骤，否则执行步骤409及其后续步骤。在这里，关联用户即将标签信息关联到需要关联的用户。
步骤408：向关联用户推送图片、标签框以及标签框中的标签信息，并结束本流程。
步骤409：将图片、标签框和标签框中的标签信息上传到服务器，并结束本流程。
步骤410：生成标签框，选择该人脸区域所对应的用户标识，并且在标签框中显示该用户标识。
步骤411：向该用户标识所对应的用户推送图片、标签框以及标签框中标识出的用户标识。
基于上述详细分析，本发明实施方式还提出了一种基于图片的交互装置。
图5为根据本发明实施方式的基于图片的交互装置结构图。
如图5所示，该装置包括人脸区域识别单元501、人脸框生成单元502和标签信息处理单元503。
人脸区域识别单元501，用于在图片中识别出人脸区域；
人脸框生成单元502，用于生成对应该人脸区域的人脸框；
标签信息处理单元503，用于生成与该人脸框相关联的标签框，从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息。
在一个实施方式中，人脸区域识别单元501，用于应用人脸自动识别算法在图片中识别出人脸区域。而且，人脸自动识别算法优选包括：应用主成分分析算法（PCA）、独立成分分析算法（ICA）、等测距映射（ISOMAP）、核主成分分析算法（KPCA）或线性主成分分析算法（LPCA），等等。
在一个实施方式中，该装置进一步包括人脸框编辑单元504；
人脸框编辑单元504，用于对人脸框生成单元502所生成的人脸框进行编辑，其中对人脸框进行编辑包括：
拖动人脸框；
按着人脸框右下角缩放；
长按人脸框内区域出现删除按钮；和/或
删除人脸框。
优选地，标签信息处理单元503，用于从服务器获取标签框背景信息，并根据所述标签框背景信息生成标签框；其中所述标签框背景信息包括：
标签框形状；
标签框展现方式；
和/或标签框颜色。
在一个实施方式中，标签信息处理单元503，用于从服务器获取标签框背景信息，并根据所述标签框背景信息生成标签框。
标签信息处理单元503，还用于接收用户输入的用户自定义标签信息，并在所述标签框中呈现所述用户输入的用户自定义标签信息。
基于上述详细分析，本发明实施方式还提出了一种服务器。
图6为根据本发明实施方式的服务器结构图。如图6所示，该服务器包括标签信息存储单元601和标签信息发送单元602。其中：
标签信息存储单元601，用于存储预先设置的标签信息；
标签信息发送单元602，用于向客户端发送与人脸区域相关联的标签信息，并由客户端在标签框中呈现该标签信息，其中该人脸区域由客户端在图片中识别出，该标签框与对应该人脸区域的人脸框相关联。
在一个实施方式中，该服务器进一步包括标签框背景信息发送单元603。
标签框背景信息发送单元603，用于向客户端提供标签框背景信息，从而客户端根据所述标签框背景信息生成所述标签框。
优选地，所述服务器进一步包括标签信息推送单元604，其中：
标签信息推送单元604，用于检索该人脸区域所对应用户的用户标识，并向该用户标识所对应的用户推送所述图片、标签框和标签信息。比如，假如在人脸区域识别出姓名为张三的人脸，而且标签信息是“潇洒哥”等带有直接评论色彩的评论信息，则客户端可以在标签框中进一步显示张三的ID（比如：张三的即时通信号码），而标签信息推送单元604向该用户标识所对应的用户（即张三）推送该图片、标签框和标签信息。
可选地，标签信息推送单元604，可以进一步检索该人脸区域所对应的用户标识，在标签框中显示该人脸区域所对应用户的用户标识，并向该用户标识所对应用户的好友关系链中的用户推送所述图片、标签框和标签信息。比如，假如在人脸区域识别出姓名为张三的人脸，标签信息是“潇洒哥”等带有直接评论色彩的评论信息，而且张三的好友包括李四和王五，则客户端可以在标签框中进一步显示张三的ID（比如：张三的即时通信号码），标签信息推送单元604则向该用户标识所对应的用户（即张三）的好友（即李四和王五）推送该图片、标签框和标签信息。
在一个实施方式中，标签信息存储单元601，用于计算预先设置的标签信息候选词汇的使用频率，并对所述标签信息候选词汇基于所述使用频率从大到小进行排序；并按照排序结果生成标签信息列表，其中在所述标签信息列表中存储预定数目的标签信息候选词汇。
图7为根据本发明实施方式的标签信息展示第一示范性示意图；图8为根据本发明实施方式的标签信息展示第二示范性示意图。
比如，可以将图片、标签框和标签信息直接在Feeds中展示，并且可以根据服务器的配置显示标签。在Feeds的显示这些图片、标签框和标签信息，可以更加多元化，更富趣味性。
而且，图片中好友或者标签信息会可以在用户上传图片时以辅助信息的形式存储在服务器上面，并在当用户好友登录服务器时访问好友动态时，将该用户图片中的这些辅助信息予以下发，从而可以在移动终端上面进行根据这些信息在图片上面进行绘制。
综上所述，在本发明实施方式中，首先在图片中识别出人脸区域；然后生成对应该人脸区域的人脸框；再从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现该标签信息。由此可见，应用本发明实施方式之后，可以在标签框中呈现服务器的下发标签信息，而不仅限于标出姓名，因此本发明实施方式可以自定义圈出区域的关联信息（比如评论信息等），还可以将这些关联信息推送到相关的好友，因此本发明实施方式提高了与好友的互动程度，从而提高了交互成功率。
而且，本发明实施方式将人脸检测技术与好友互动有效结合，让体验更具趣味性；还优选通过推送消息的方式，让图片与关系链在互通上更直接，并且当关系链中无选择对象时，可以提供手动编辑输入标签信息的方式，让互动不仅局限于好友关系链。本发明实施方式还可以在服务器上动态配置流行标签，减少在客户端上的修改，而且还能够将将圈出的人或标签信息直接显示在Feed中，让图片的表现形式更为丰富。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于图片的交互方法，其特征在于，该方法包括：
在图片中识别出人脸区域；
生成对应该人脸区域的人脸框；
生成与该人脸框相关联的标签框；
从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息；
该方法进一步包括：
服务器计算预先设置的标签信息候选词汇的使用频率，并对所述标签信息候选词汇基于所述使用频率从大到小进行排序；
服务器按照排序结果生成标签信息列表，其中在所述标签信息列表中存储预定数目的标签信息候选词汇；
所述从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息包括：
服务器下发该标签信息列表；
从所述标签信息列表中解析出标签信息候选词汇；
从所述标签信息候选词汇中选择与该人脸区域相关联的词汇，并且在所述标签框中呈现该与人脸区域相关联的词汇。
2.根据权利要求1所述的基于图片的交互方法，其特征在于，所述在图片中识别出人脸区域包括：
应用主成分分析算法PCA、独立成分分析算法ICA、等测距映射ISOMAP、核主成分分析算法KPCA或线性主成分分析算法LPCA在图片中识别出人脸区域。
3.根据权利要求1所述的基于图片的交互方法，其特征在于，该方法进一步包括：对生成的所述人脸框进行编辑，所述对人脸框进行编辑包括：
拖动人脸框；
按着人脸框右下角缩放；
长按人脸框内区域出现删除按钮；和/或
删除人脸框。
4.根据权利要求1所述的基于图片的交互方法，其特征在于，所述生成与该人脸框相关联的标签框包括：从服务器获取标签框背景信息，并根据所述标签框背景信息生成标签框；其中所述标签框背景信息包括：
标签框形状；
标签框展现方式；
和/或标签框颜色。
5.根据权利要求1-4中任一项所述的基于图片的交互方法，其特征在于，该方法进一步包括：
检索该人脸区域所对应用户的用户标识；
在标签框中显示该人脸区域所对应用户的用户标识，并向该用户标识所对应的用户推送所述图片、标签框和标签信息。
6.根据权利要求1-4中任一项所述的基于图片的交互方法，其特征在于，该方法进一步包括：
检索该人脸区域所对应用户的用户标识；
在标签框中显示该人脸区域所对应用户的用户标识，并向该用户标识所对应用户的关系链中的用户推送所述图片、标签框和标签信息。
7.一种基于图片的交互装置，其特征在于，该装置包括人脸区域识别单元、人脸框生成单元和标签信息处理单元，其中：
人脸区域识别单元，用于在图片中识别出人脸区域；
人脸框生成单元，用于生成对应该人脸区域的人脸框；
标签信息处理单元，用于生成与该人脸框相关联的标签框，从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在所述标签框中呈现所述用户输入的标签信息；
服务器计算预先设置的标签信息候选词汇的使用频率，并对所述标签信息候选词汇基于所述使用频率从大到小进行排序；服务器按照排序结果生成标签信息列表，其中在所述标签信息列表中存储预定数目的标签信息候选词汇；
从服务器获取与该人脸区域相关联的标签信息，并且在所述标签框中呈现从服务器获取的标签信息包括：
服务器下发该标签信息列表；
从所述标签信息列表中解析出标签信息候选词汇；
从所述标签信息候选词汇中选择与该人脸区域相关联的词汇，并且在所述标签框中呈现该与人脸区域相关联的词汇。
8.根据权利要求7所述的基于图片的交互装置，其特征在于，
人脸区域识别单元，用于应用主成分分析算法PCA、独立成分分析算法ICA、等测距映射ISOMAP、核主成分分析算法KPCA或线性主成分分析算法LPCA在图片中识别出人脸区域。
9.根据权利要求7所述的基于图片的交互装置，其特征在于，
该装置进一步包括人脸框编辑单元；
人脸框编辑单元，用于对生成的所述人脸框进行编辑，其中对人脸框进行编辑包括：
拖动人脸框；
按着人脸框右下角缩放；
长按人脸框内区域出现删除按钮；和/或
删除人脸框。
10.根据权利要求7所述的基于图片的交互装置，其特征在于，标签信息处理单元，用于从服务器获取标签框背景信息，并根据所述标签框背景信息生成标签框；其中所述标签框背景信息包括：
标签框形状；
标签框展现方式；
和/或标签框颜色。
11.一种服务器，其特征在于，该服务器包括标签信息存储单元和标签信息发送单元，其中：
标签信息存储单元，用于存储预先设置的标签信息；
标签信息发送单元，用于向客户端发送与人脸区域相关联的标签信息，并由客户端在标签框中呈现该标签信息，其中该人脸区域由客户端在图片中识别出，该标签框与对应该人脸区域的人脸框相关联；
标签信息存储单元，用于计算预先设置的标签信息候选词汇的使用频率，并对所述标签信息候选词汇基于所述使用频率从大到小进行排序；并按照排序结果生成标签信息列表，其中在所述标签信息列表中存储预定数目的标签信息候选词汇；
所述向客户端发送与人脸区域相关联的标签信息，并由客户端在标签框中呈现该标签信息，包括：下发该标签信息列表，从所述标签信息列表中解析出标签信息候选词汇；从所述标签信息候选词汇中选择与该人脸区域相关联的词汇，并且在所述标签框中呈现该与人脸区域相关联的词汇。
12.根据权利要求11所述的服务器，其特征在于，进一步包括标签框背景信息发送单元；
标签框背景信息发送单元，用于向客户端提供标签框背景信息，从而客户端根据所述标签框背景信息生成所述标签框。
13.根据权利要求11或12所述的服务器，其特征在于，所述服务器进一步包括标签信息推送单元，其中：
所述标签信息推送单元，用于检索该人脸区域所对应用户的用户标识，并向该用户标识所对应的用户推送所述图片、标签框和标签信息。
14.根据权利要求11或12所述的服务器，其特征在于，所述服务器进一步包括标签信息推送单元，其中：
所述标签信息推送单元，用于检索该人脸区域所对应用户的用户标识；并向该用户标识所对应用户的关系链中的用户推送所述图片、标签框和标签信息。
CN201210216274.5A 2012-06-28 2012-06-28 一种基于图片的交互方法、装置和服务器 Active CN103513890B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210216274.5A CN103513890B (zh) 2012-06-28 2012-06-28 一种基于图片的交互方法、装置和服务器
JP2015518814A JP6236075B2 (ja) 2012-06-28 2013-06-26 インタラクティブ方法、インタラクティブ装置及びサーバー
US14/410,875 US20150169527A1 (en) 2012-06-28 2013-06-26 Interacting method, apparatus and server based on image
PCT/CN2013/077999 WO2014000645A1 (zh) 2012-06-28 2013-06-26 一种基于图片的交互方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210216274.5A CN103513890B (zh) 2012-06-28 2012-06-28 一种基于图片的交互方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN103513890A CN103513890A (zh) 2014-01-15
CN103513890B true CN103513890B (zh) 2016-04-13

Family

ID=49782249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210216274.5A Active CN103513890B (zh) 2012-06-28 2012-06-28 一种基于图片的交互方法、装置和服务器

Country Status (4)

Country Link
US (1) US20150169527A1 (zh)
JP (1) JP6236075B2 (zh)
CN (1) CN103513890B (zh)
WO (1) WO2014000645A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970830B (zh) * 2014-03-31 2017-06-16 小米科技有限责任公司 信息推荐方法和装置
CN104022943A (zh) * 2014-06-26 2014-09-03 北京奇虎科技有限公司 交互式消息的处理方法、装置及系统
CN104881287B (zh) * 2015-05-29 2018-03-16 广东欧珀移动通信有限公司 截图方法及装置
CN105100449B (zh) * 2015-06-30 2018-01-23 广东欧珀移动通信有限公司 一种图片分享方法及移动终端
CN105117108B (zh) * 2015-09-11 2020-07-10 百度在线网络技术（北京）有限公司 信息处理方法、装置及系统
CN106126053B (zh) * 2016-05-27 2019-08-27 努比亚技术有限公司 移动终端控制装置及方法
CN106327546B (zh) * 2016-08-24 2020-12-08 北京旷视科技有限公司 人脸检测算法的测试方法和装置
CN106548502B (zh) * 2016-11-15 2020-05-15 迈普通信技术股份有限公司 图像处理方法及装置
CN107194817B (zh) * 2017-03-29 2023-06-23 腾讯科技（深圳）有限公司 用户社交信息的展示方法、装置和计算机设备
CN107315524A (zh) * 2017-07-13 2017-11-03 北京爱川信息技术有限公司 一种人机交互方法及其系统
CN107391703B (zh) * 2017-07-28 2019-11-15 北京理工大学 图像库的建立方法及系统、图像库和图像分类方法
CN109509109A (zh) * 2017-09-15 2019-03-22 阿里巴巴集团控股有限公司 社交信息的获取方法及装置
CN107895153A (zh) * 2017-11-27 2018-04-10 唐佐 一种多方向识别标记系统
CN107958234A (zh) * 2017-12-26 2018-04-24 深圳云天励飞技术有限公司 基于客户端的人脸识别方法、装置、客户端及存储介质
CN109726330A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种信息推荐方法及相关设备
CN110045892B (zh) * 2019-04-19 2021-04-02 维沃移动通信有限公司 显示方法及终端设备
US11954605B2 (en) * 2020-09-25 2024-04-09 Sap Se Systems and methods for intelligent labeling of instance data clusters based on knowledge graph
CN112699311A (zh) * 2020-12-31 2021-04-23 上海博泰悦臻网络技术服务有限公司 信息推送方法、存储介质及电子设备
CN115857769A (zh) 2021-09-24 2023-03-28 广州腾讯科技有限公司 消息的显示方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238362A (zh) * 2011-05-09 2011-11-09 苏州阔地网络科技有限公司 一种社区网络中图像传输方法及系统
CN102265612A (zh) * 2008-12-15 2011-11-30 坦德伯格电信公司 用于加速人脸检测的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP2004206544A (ja) * 2002-12-26 2004-07-22 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2007293399A (ja) * 2006-04-21 2007-11-08 Seiko Epson Corp 画像交換装置および画像交換方法ならびに画像交換処理プログラム
KR100701163B1 (ko) * 2006-08-17 2007-03-29 (주)올라웍스 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법
JP5121285B2 (ja) * 2007-04-04 2013-01-16 キヤノン株式会社 被写体メタデータ管理システム
KR100768127B1 (ko) * 2007-04-10 2007-10-17 (주)올라웍스 가독성 데이터로부터 인간 관계를 추론하는 방법과 가독성데이터를 이용하여 디지털 데이터 내의 인물 식별을 통해태그를 부여하는 방법 및 시스템
US8600120B2 (en) * 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
WO2010067675A1 (ja) * 2008-12-12 2010-06-17 コニカミノルタホールディングス株式会社 情報処理システム、情報処理装置および情報処理方法
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
US20100191728A1 (en) * 2009-01-23 2010-07-29 James Francis Reilly Method, System Computer Program, and Apparatus for Augmenting Media Based on Proximity Detection
CN101533520A (zh) * 2009-04-21 2009-09-16 腾讯数码（天津）有限公司 一种人像标记方法及装置
CN101877737A (zh) * 2009-04-30 2010-11-03 深圳富泰宏精密工业有限公司 通讯装置及其分享照片的方法
JP5403340B2 (ja) * 2009-06-09 2014-01-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8824748B2 (en) * 2010-09-24 2014-09-02 Facebook, Inc. Auto tagging in geo-social networking system
US8891832B2 (en) * 2011-06-03 2014-11-18 Facebook, Inc. Computer-vision-assisted location check-in
US8756278B2 (en) * 2011-07-10 2014-06-17 Facebook, Inc. Audience management in a social networking system
CN102368746A (zh) * 2011-09-08 2012-03-07 宇龙计算机通信科技(深圳)有限公司 图片信息推送方法及装置
WO2013089662A1 (en) * 2011-12-12 2013-06-20 Intel Corporation Scene segmentation using pre-capture image motion
US9030502B2 (en) * 2012-04-05 2015-05-12 Ancestry.Com Operations Inc. System and method for organizing documents
US9405771B2 (en) * 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265612A (zh) * 2008-12-15 2011-11-30 坦德伯格电信公司 用于加速人脸检测的方法
CN102238362A (zh) * 2011-05-09 2011-11-09 苏州阔地网络科技有限公司 一种社区网络中图像传输方法及系统

Also Published As

Publication number Publication date
JP2015535351A (ja) 2015-12-10
CN103513890A (zh) 2014-01-15
JP6236075B2 (ja) 2017-11-22
US20150169527A1 (en) 2015-06-18
WO2014000645A1 (zh) 2014-01-03

Similar Documents

Publication Publication Date Title
CN103513890B (zh) 一种基于图片的交互方法、装置和服务器
JP6785305B2 (ja) 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
US10679063B2 (en) Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
US10341461B2 (en) System and method for automatically recreating personal media through fusion of multimodal features
CN112015949B (zh) 视频生成方法和装置、存储介质及电子设备
CN109996091A (zh) 生成视频封面的方法、装置、电子设备和计算机可读存储介质
US20210365628A1 (en) Extracting audiovisual features from digital components
CN103827913B (zh) 用于在便携式终端中剪辑和共享内容的装置和方法
CN110266879A (zh) 播放界面显示方法、装置、终端及存储介质
CN108156522A (zh) 主页内容推送方法、装置及计算机可读存储介质
CN104956357A (zh) 在网络内创建和共享内联媒体评论
CN109508423A (zh) 基于语义识别的房源推荐方法、装置、设备及存储介质
CN105491126A (zh) 基于人工智能的服务提供方法及装置
CN110677685B (zh) 网络直播显示方法及装置
CN108737903B (zh) 一种多媒体处理系统及多媒体处理方法
CN110995569A (zh) 一种智能互动方法、装置、计算机设备和存储介质
CN110209810A (zh) 相似文本识别方法以及装置
CN113641859A (zh) 脚本生成方法、系统、计算机存储介质及计算机程序产品
CN112445389A (zh) 分享提示方法、装置、客户端、服务端和存储介质
CN105611050A (zh) 用于品牌所有者的可选择文本消息传递样式
CN107924545A (zh) 信息处理系统和信息处理方法
CN113660526B (zh) 脚本生成方法、系统、计算机存储介质及计算机程序产品
CN116595438A (zh) 图片创作方法、装置、设备及存储介质
CN113590851A (zh) 建议在线系统中的实体创建内容并向内容添加标签
CN105611049A (zh) 用于文本消息传递系统的出版商的可选择样式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant