CN107527033A - 摄像头模组和社交系统 - Google Patents

摄像头模组和社交系统 Download PDF

Info

Publication number
CN107527033A
CN107527033A CN201710742787.2A CN201710742787A CN107527033A CN 107527033 A CN107527033 A CN 107527033A CN 201710742787 A CN201710742787 A CN 201710742787A CN 107527033 A CN107527033 A CN 107527033A
Authority
CN
China
Prior art keywords
camera module
camera
module
call number
main frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710742787.2A
Other languages
English (en)
Inventor
张茜
姚艳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710742787.2A priority Critical patent/CN107527033A/zh
Priority to PCT/CN2017/106559 priority patent/WO2019037217A1/zh
Publication of CN107527033A publication Critical patent/CN107527033A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Abstract

本发明公开了一种摄像头模组和社交系统。该摄像头模组包括摄像头模块、图像识别模块和通信模块；所述摄像头模块用于将采集到的图像信息传输至图像识别模块；所述图像识别模块用于存储肢体动作和/或面部表情对应的索引号的检索表格、识别所述图像信息中的人物的肢体动作和/或面部表情、并将识别出的肢体动作和/或面部表情在检索表格查找对应的索引号；所述通信模块用于将所述对应的索引号发送至与所述摄像头模组配合的主机。本发明提供的摄像头模组降低了对主机传输的数据量,且有利于保护用户隐私。

Description

摄像头模组和社交系统
技术领域
本发明涉及图像处理领域，更具体地，涉及一种摄像头模组和社交系统。
背景技术
用户通过社交软件进行视频社交，当与陌生人进行视频聊天时，摄像头采集到的用户的真实图像被传送至聊天的对方。这样存在泄露个人隐私的风险。而如果不进行视频交流，聊天过程又过于单一。
发明内容
本发明的一个目的是提供一种摄像头模组的新技术方案。
根据本发明的第一方面，提供了一种摄像头模组，包括摄像头模块、图像识别模块和通信模块；所述摄像头模块用于将采集到的图像信息传输至图像识别模块；所述图像识别模块用于存储肢体动作和/或面部表情对应的索引号的检索表格、识别所述图像信息中的人物的肢体动作和/或面部表情、并将识别出的肢体动作和/或面部表情在检索表格查找对应的索引号；所述通信模块用于将所述对应的索引号发送至与所述摄像头模组配合的主机。
可选地，所述摄像头模块包括可测深度摄像头和/或用于获取二维坐标信息的摄像头。
可选地，所述摄像头模块包括可测深度摄像头，所述图像信息包括包含深度信息的图像信息。
可选地，所述可测深度摄像头的数量为M，M为大于等于2的整数；所述图像识别模块还用于将所述M个可测深度摄像头获取的多张图像信息拼接成一张图像信息,以供识别。
可选地，所述摄像头模块包括用于获取二维坐标信息的摄像头；所述用于获取二维坐标信息的摄像头的数量为N，N为大于等于2的整数；所述图像识别模块还用于将所述N个用于获取二维坐标信息的获取的多张图像信息拼接成一张图像信息，以供识别。
可选地，所述摄像头模块还包括用于获取二维坐标信息的摄像头；还包括开关模块；所述开关模块用于供用户设置所述摄像头模组输出所述索引号或输出所述二维坐标信息。
根据本发明的第二方面，提供一种社交系统，包括前述的摄像头模组和主机；所述主机存储所述索引号对应的虚拟人物模型；用于从所述摄像头模组获取所述索引号，将该索引号发送至社交用户的主机；以及用于根据从社交用户的主机获取到的索引号，在所述主机显示所述索引号对应的虚拟人物。
本发明的发明人发现，在现有技术中，并无将图像处理模块、通信模块和摄像头模块集成为一个整体，并对外输出索引号的技术方案。因此，本发明所要实现的技术任务或者所要解决的技术问题是本领域技术人员从未想到的或者没有预期到的，故本发明是一种新的技术方案。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本发明实施例提供的摄像头模组的框图。
图2是本发明另外一个实施例提供的摄像头模组的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
参见图1所示的摄像头模组，包括摄像头模块1、图像识别模块2和通信模块3。
摄像头模块1用于将采集到的图像信息传输至图像识别模块2。摄像头模块1可以包括可测深度摄像头或者用于获取二维坐标信息的摄像头(例如CMOS摄像头)，或者二者均包括。利用可测深度摄像头可以获得包含深度信息的图像信息，用于获取二维坐标的摄像头则可以提供平面的图像信息。
图像识别模块2用于存储肢体动作和/或面部表情对应的索引号的检索表格、识别所述图像信息中的人物的肢体动作和/或面部表情、并将识别出的肢体动作和/或面部表情在检索表格查找对应的索引号。
具体地，对人物的面部表情和/或肢体动作进行建模，本发明对建模的具体算法不做限定。
在一个例子中，采集不同人的站、坐、躺、弯腰等肢体动作，经过机器学习的方式建立肢体动作的数据库。
肢体动作的模型可以是二维的，也可以是三维的，取决于建模是采用的摄像头模块是用于获取二维坐标的摄像头还是可测深度摄像头。
每一种肢体动作对应一个索引号。肢体动作建模完成后即可获得不同肢体动作与对应索引号的检索表格。
例如0001代表站立、0002代表坐、0003代表躺、0004代表弯腰等等。
建立面部表情的检索表格的方法与建立肢体动作的检索表格的原理相同，不做赘述。
将上述检索表格存储于图像识别模块2中。图像识别模块2对摄像头模块1输入的图像中识别出图像中人物的肢体动作和/或面部表情，并在前述检索表格中查找到对应的索引号。
图像识别模块2将该索引号通过通信模块3发送出去。例如发送至与该摄像头模组配合的主机。主机可以是诸如计算机、手机、平板电脑或头戴显示设备的主机。头戴显示设备诸如虚拟现实设备、增强现实设备、混合现实设备等。
主机一端存储有与该摄像头模组中存储的前述检索表格相同的检索表格。并且在主机一端，对应于不同的索引号能够对应生成不同的虚拟的人物肢体动作或是面部表情。主机一端同样可以将该索引号发送至另外一台主机，供另外一台主机上生成对应的虚拟人物。
例如图像识别模块2识别出图像中的人物此时处理站立姿态，则在检索表格中找到对应的索引号为0001。图像识别模块2通过通信模块3将索引号0001发送至主机。主机通过查找索引号0001对应的肢体动作模型，即可在主机一端展现出一个平面的或者立体的站立姿态的虚拟人物。主机可以在本机上展示这个站立姿态的虚拟人物，主机同样可以把这个索引号0001发送至与本机联网的进行聊天、会议等的另外一个用户(社交用户)的主机，在另外一个用户的主机上展现站立姿态的虚拟人物。
本实施例提供的摄像头模组在采集图像之后，对图像中的人物进行肢体动作或者面部表情进行识别，并对应生成识别出的肢体动作或者面部表情的索引号，向主机发送索引号。如此设置，摄像头模组向主机发送的数据量小，且有利于保护用户个人隐私。
而本实施例提供的摄像头模组与主机共同构成的社交系统，则可以实现虚拟人物同步展现真实人物的肢体动作或面部表情。除了具有数据传输量小的优点，还有利于保护个人隐私。
在一个优化的例子中，摄像头模块1包括多个可测深度摄像头，多个可测深度摄像头采集到的图像信息在图像识别模块2中被首先拼接成一个完整的图像，然后对这个完整的图像进行肢体动作或面部表情的识别。
在另一个优化的例子中，摄像头模块1包括多个用于获取二维坐标信息的摄像头，例如多个CMOS摄像头。多个CMOS摄像头采集到的多个平面图像在图像识别模块2中被拼接成一个完整的平面图像，然后对这个完整的平面图像进行肢体动作或面部表情的识别。
在这两个优化的例子中，由于多个摄像头采集的图像拼接成一个图像，扩大的视野面积。
在前述的所有例子中，摄像头模组均可以被设置为供用户选择是向主机传输真实图像信息还是仅传输前述的索引号。
图2所示的摄像头模组包括可测深度摄像头11、CMOS摄像头12、开关模块4、图像识别模块2、通信模块3。
图像识别模块2和通信模块3与图1所示实施例中所起作用相同。
开关模块4用于供用户选择是将可测深度摄像头11采集的图像信息发送至图像识别模块2，以通过通信模块3对外输出前述的索引号，还是将CMOS摄像头12采集到的真实的平面图像发送至图像识别模块2，以供通信模块3对外输出真实的平面图像。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种摄像头模组，其特征在于，
包括摄像头模块、图像识别模块和通信模块；
所述摄像头模块用于将采集到的图像信息传输至图像识别模块；
所述图像识别模块用于存储肢体动作和/或面部表情对应的索引号的检索表格、识别所述图像信息中的人物的肢体动作和/或面部表情、并将识别出的肢体动作和/或面部表情在检索表格查找对应的索引号；
所述通信模块用于将所述对应的索引号发送至与所述摄像头模组配合的主机。
2.根据权利要求1所述的摄像头模组，其特征在于，
所述摄像头模块包括可测深度摄像头和/或用于获取二维坐标信息的摄像头。
3.根据权利要求2所述的摄像头模组，其特征在于，
所述摄像头模块包括可测深度摄像头，所述图像信息包括包含深度信息的图像信息。
4.根据权利要求3所述的摄像头模组，其特征在于，
所述可测深度摄像头的数量为M，M为大于等于2的整数；
所述图像识别模块还用于将所述M个可测深度摄像头获取的多张图像信息拼接成一张图像信息,以供识别。
5.根据权利要求2所述的摄像头模组，其特征在于，
所述摄像头模块包括用于获取二维坐标信息的摄像头；
所述用于获取二维坐标信息的摄像头的数量为N，N为大于等于2的整数；
所述图像识别模块还用于将所述N个用于获取二维坐标信息的获取的多张图像信息拼接成一张图像信息，以供识别。
6.根据权利要求3所述的摄像头模组，其特征在于，
所述摄像头模块还包括用于获取二维坐标信息的摄像头；
还包括开关模块；
所述开关模块用于供用户设置所述摄像头模组输出所述索引号或输出所述二维坐标信息。
7.一种社交系统，其特征在于，
包括根据权利要求1所述的摄像头模组和主机；
所述主机存储所述索引号对应的虚拟人物模型；用于从所述摄像头模组获取所述索引号，将该索引号发送至社交用户的主机；以及用于根据从社交用户的主机获取到的索引号，在所述主机显示所述索引号对应的虚拟人物。
CN201710742787.2A 2017-08-25 2017-08-25 摄像头模组和社交系统 Pending CN107527033A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710742787.2A CN107527033A (zh) 2017-08-25 2017-08-25 摄像头模组和社交系统
PCT/CN2017/106559 WO2019037217A1 (zh) 2017-08-25 2017-10-17 摄像头模组和社交系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710742787.2A CN107527033A (zh) 2017-08-25 2017-08-25 摄像头模组和社交系统

Publications (1)

Publication Number Publication Date
CN107527033A true CN107527033A (zh) 2017-12-29

Family

ID=60682466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710742787.2A Pending CN107527033A (zh) 2017-08-25 2017-08-25 摄像头模组和社交系统

Country Status (2)

Country Link
CN (1) CN107527033A (zh)
WO (1) WO2019037217A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038330A1 (en) * 2018-08-22 2020-02-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, computer-readable storage medium, and electronic apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技（北京）有限公司 人机互动系统和方法
CN103218843A (zh) * 2013-03-15 2013-07-24 苏州跨界软件科技有限公司 虚拟人物通讯系统和方法
CN203311825U (zh) * 2012-08-03 2013-11-27 甲壳虫（上海）网络科技有限公司 动态显示图像的电子设备
CN105190700A (zh) * 2013-06-04 2015-12-23 英特尔公司 基于化身的视频编码
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107066081A (zh) * 2016-12-23 2017-08-18 歌尔科技有限公司 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
CN100464332C (zh) * 2007-03-20 2009-02-25 北京中星微电子有限公司 一种图片查询方法及系统
CN101753850B (zh) * 2008-12-03 2011-06-15 华晶科技股份有限公司 情感式的影像处理装置及影像处理方法
TWI411935B (zh) * 2009-12-25 2013-10-11 Primax Electronics Ltd 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
CN103186767A (zh) * 2011-12-30 2013-07-03 牟颖 一种基于手机识别的聊天表情生成方法
US9232247B2 (en) * 2012-09-26 2016-01-05 Sony Corporation System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user
CN104063683B (zh) * 2014-06-06 2017-05-17 北京搜狗科技发展有限公司 一种基于人脸识别的表情输入方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技（北京）有限公司 人机互动系统和方法
CN203311825U (zh) * 2012-08-03 2013-11-27 甲壳虫（上海）网络科技有限公司 动态显示图像的电子设备
CN103218843A (zh) * 2013-03-15 2013-07-24 苏州跨界软件科技有限公司 虚拟人物通讯系统和方法
CN105190700A (zh) * 2013-06-04 2015-12-23 英特尔公司 基于化身的视频编码
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107066081A (zh) * 2016-12-23 2017-08-18 歌尔科技有限公司 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038330A1 (en) * 2018-08-22 2020-02-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, computer-readable storage medium, and electronic apparatus
US11145071B2 (en) 2018-08-22 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, non-transitory computer-readable storage medium, and electronic apparatus

Also Published As

Publication number Publication date
WO2019037217A1 (zh) 2019-02-28

Similar Documents

Publication Publication Date Title
CN110335343A (zh) 基于rgbd单视角图像人体三维重建方法及装置
CN106652590B (zh) 教学方法、教学识别体及教学系统
CN109815776B (zh) 动作提示方法和装置、存储介质及电子装置
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN107835367A (zh) 一种图像处理方法、装置及移动终端
CN109145788A (zh) 基于视频的姿态数据捕捉方法和系统
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN102859991A (zh) 实时剪切视频序列中记录的真实实体的方法
CN111009031B (zh) 一种人脸模型生成的方法、模型生成的方法及装置
CN106846497A (zh) 应用于终端的呈现三维地图的方法和装置
CN108668050A (zh) 基于虚拟现实的视频拍摄方法和装置
CN108664884A (zh) 一种虚拟试妆方法及装置
CN110298326A (zh) 一种图像处理方法及装置、存储介质与终端
CN109272473A (zh) 一种图像处理方法及移动终端
CN107610239A (zh) 一种脸谱的虚拟试戴方法及装置
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
CN109859857A (zh) 身份信息的标注方法、装置和计算机可读存储介质
CN111597928A (zh) 三维模型处理方法及装置、电子设备、存储介质
CN108376234A (zh) 用于视频图像的情感识别系统及方法
CN106875478A (zh) 体验手机3d效果的ar装置
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合系统、方法、装置
CN107527033A (zh) 摄像头模组和社交系统
CN109685911B (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法
JP3854229B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20171229

RJ01 Rejection of invention patent application after publication