CN106488197A - 一种智能人物识别机器人 - Google Patents
一种智能人物识别机器人 Download PDFInfo
- Publication number
- CN106488197A CN106488197A CN201611220005.0A CN201611220005A CN106488197A CN 106488197 A CN106488197 A CN 106488197A CN 201611220005 A CN201611220005 A CN 201611220005A CN 106488197 A CN106488197 A CN 106488197A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- object identification
- robot
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能人物识别机器人,包括图像采集模块、图像预处理模块和物体识别模块,所述图像采集模块利用CMOS Sensor采集物体视频,利用内存映射的方式获取YUV格式的图片再将其转换成png格式,图像采集模块连接图像预处理模块,图像预处理模块通过http post方式与物体识别模块建立通讯,本发明的有益效果是:该方法是让机器人利用摄像头的视频图像采集,把采集到图片处理并传输到远端的物体识别服务器进行识别,最后服务器把识别结果发送给机器人,通过对物体图像进行噪声消减,解决实际图像由于噪声干扰导致图像质量下降的问题,有效地提高图像质量,增大信噪比,更好的体现原来图像所携带的信息。
Description
技术领域
本发明涉及一种机器人,具体是一种智能人物识别机器人。
背景技术
智能机器人是工业机器人从无智能发展到有智能,从低智能发展到高智能的产物,而机器人视觉被认为是机器人最重要的感觉能力。其中物体识别是一项热门的计算机技术研究领域。物体识别特指计算机自动地把图像中的物体分类,使用者给机器人发送物体识别指令,机器人把要识别的图片进行预处理后发送给远端的物体识别服务器去识别,然后把识别结果展示给使用者。机器人传统的人物识别方式是通过摄像头采集物品的图像,根据图像信息在互联网中匹配相似物品的图像来识别出物品,传统的人物识别方式需要在互联中搜寻的信息过多且较复杂,会出现无法识别的状况,识别出的效果也不够理想。
发明内容
本发明的目的在于提供一种智能人物识别机器人,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种智能人物识别机器人,包括图像采集模块、图像预处理模块和物体识别模块,所述图像采集模块利用CMOS Sensor采集物体视频,利用内存映射的方式获取YUV格式的图片再将其转换成png格式,图像采集模块连接图像预处理模块,图像预处理模块通过http post方式与物体识别模块建立通讯。
作为本发明进一步的方案:所述物体识别模块分为前端和后端,前端通过SDK异步接口与后端通讯连接。
一种智能人物识别机器人的识别方法,包括以下步骤:
步骤1,首先将机器人采集到的视频截取成可用于识别的原始图片,对图像进行变换,将图像从空间域转换到变换域,再对变换域中的变换系数进行处理,再进行反变换将图像从变换域转换到空间域实现去除图像嗓声;
步骤2,然后通过等比缩放把原始图片缩放成448x448的分辨率,使其符合物体识别的规格,最后将完成预处理的图像发送到物体识别模块;
步骤3,物体识别模块接收到完成预处理的图像后,对图像分别进行前端和后端处理,前端调用SDK异步接口发送函数发送图片数据到后端处理;后端处理使用轮询的方式调用SDK异步接口的接收函数接收前端发送过来的图片数据之后,使用zmq的DEALER模式按格式把数据发送zmq router,发送完后结束函数、zmq router接收请求并转发到tensorflow服务,tensorflow服务把数据输入到物体检测网络,得到结果后发送到解析模块、解析物体检测网路的输出结果,按照约定的格式发送到zmq router、最后zmq router把数据发送到物体识别的前端,输出识别结果。
与现有技术相比,本发明的有益效果是:该方法是让机器人利用摄像头的视频图像采集,把采集到图片处理并传输到远端的物体识别服务器进行识别,最后服务器把识别结果发送给机器人。通过对物体图像进行噪声消减,解决实际图像由于噪声干扰导致图像质量下降的问题,有效地提高图像质量,增大信噪比,更好的体现原来图像所携带的信息。图像到达识别服务器,使用深度卷积神经网络对图像进行处理,得到多个物体的位置,种类和概率,更有效地获得物体信息。
附图说明
图1为一种智能人物识别机器人的原理图。
图2为一种智能人物识别机器人的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1~2,本发明实施例中,一种智能人物识别机器人,包括图像采集模块、图像预处理模块和物体识别模块,所述图像采集模块利用CMOS Sensor采集要识别的物体视频,利用内存映射的方式获取YUV格式的图片再将其转换成png格式,以供下一步物体识别使用,图像采集模块连接图像预处理模块,图像预处理模块将要识别的物体的视频截取成可用于识别的图片,并处理成要识别的分辨率,并把处理过的图片数据同步http post方式发送到远端的物体识别模块,物体识别模块用于对传输过来的图像数据进行识别,并反馈结果。
所述物体识别模块分为前端和后端,前端通过SDK异步接口与后端通讯连接,前端通过调用SDK异步接口发送函数发送图片数据到后端处理;后端通过轮询的方式调用SDK异步接口的接收函数接收前端发送过来的图片数据,然后使用zmq的DEALER模式按格式把数据发送zmq router,发送完后结束函数、zmq router接收请求并转发到tensorflow服务、tensorflow服务把数据输入到物体检测网络,得到结果后发送到解析模块并解析物体检测网路的输出结果,将结果按照约定的格式发送到zmq router、最后zmq router把数据发送到前端。
一种智能人物识别机器人的识别方法,包括以下步骤:
(1)首先将机器人采集到的视频截取成可用于识别的原始图片,对图像进行变换,将图像从空间域转换到变换域,再对变换域中的变换系数进行处理,再进行反变换将图像从变换域转换到空间域实现去除图像嗓声;
(2)然后通过等比缩放把原始图片缩放成448x448的分辨率,使其符合物体识别的规格,最后将完成预处理的图像发送到物体识别模块;
(3)物体识别模块接收到完成预处理的图像后,对图像分别进行前端和后端处理,前端调用SDK异步接口发送函数发送图片数据到后端处理;后端处理使用轮询的方式调用SDK异步接口的接收函数接收前端发送过来的图片数据之后,使用zmq的DEALER模式按格式把数据发送zmq router,发送完后结束函数、zmq router接收请求并转发到tensorflow服务,tensorflow服务把数据输入到物体检测网络,得到结果后发送到解析模块、解析物体检测网路的输出结果,按照约定的格式发送到zmq router、最后zmq router把数据发送到物体识别的前端,输出识别结果。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种智能人物识别机器人,包括图像采集模块、图像预处理模块和物体识别模块,其特征在于,所述图像采集模块利用CMOS Sensor采集物体视频,利用内存映射的方式获取YUV格式的图片再将其转换成png格式,图像采集模块连接图像预处理模块,图像预处理模块通过http post方式与物体识别模块建立通讯。
2.根据权利要求1所述的一种智能人物识别机器人,其特征在于,所述物体识别模块分为前端和后端,前端通过SDK异步接口与后端通讯连接。
3.根据权利要求1所述的一种智能人物识别机器人的识别方法,其特征在于,包括以下步骤:
步骤1,首先将机器人采集到的视频截取成可用于识别的原始图片,对图像进行变换,将图像从空间域转换到变换域,再对变换域中的变换系数进行处理,再进行反变换将图像从变换域转换到空间域实现去除图像嗓声;
步骤2,然后通过等比缩放把原始图片缩放成448x448的分辨率,使其符合物体识别的规格,最后将完成预处理的图像发送到物体识别模块;
步骤3,物体识别模块接收到完成预处理的图像后,对图像分别进行前端和后端处理,前端调用SDK异步接口发送函数发送图片数据到后端处理;后端处理使用轮询的方式调用SDK异步接口的接收函数接收前端发送过来的图片数据之后,使用zmq的DEALER模式按格式把数据发送zmq router,发送完后结束函数、zmq router接收请求并转发到tensorflow服务,tensorflow服务把数据输入到物体检测网络,得到结果后发送到解析模块、解析物体检测网路的输出结果,按照约定的格式发送到zmq router、最后zmq router把数据发送到物体识别的前端,输出识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611220005.0A CN106488197A (zh) | 2016-12-26 | 2016-12-26 | 一种智能人物识别机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611220005.0A CN106488197A (zh) | 2016-12-26 | 2016-12-26 | 一种智能人物识别机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106488197A true CN106488197A (zh) | 2017-03-08 |
Family
ID=58285523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611220005.0A Pending CN106488197A (zh) | 2016-12-26 | 2016-12-26 | 一种智能人物识别机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106488197A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729923A (zh) * | 2017-09-19 | 2018-02-23 | 浙江师范大学 | 一种基于TensorFlow的商品计算机视觉识别方法 |
CN108776663A (zh) * | 2018-04-17 | 2018-11-09 | 深圳市赛亿科技开发有限公司 | 智能镜子及其控制方法、计算机可读存储介质 |
CN111382737A (zh) * | 2018-12-29 | 2020-07-07 | 深圳光启空间技术有限公司 | 多路负载均衡异步目标检测方法、存储介质及处理器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002041254A1 (fr) * | 2000-11-17 | 2002-05-23 | Sony Corporation | Dispositif robot et procede d'identification faciale, et dispositif et procede d'identification d'images |
US8447863B1 (en) * | 2011-05-06 | 2013-05-21 | Google Inc. | Systems and methods for object recognition |
CN106254458A (zh) * | 2016-08-04 | 2016-12-21 | 山东大学 | 一种基于云机器人视觉的图像处理方法、平台及系统 |
-
2016
- 2016-12-26 CN CN201611220005.0A patent/CN106488197A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002041254A1 (fr) * | 2000-11-17 | 2002-05-23 | Sony Corporation | Dispositif robot et procede d'identification faciale, et dispositif et procede d'identification d'images |
US8447863B1 (en) * | 2011-05-06 | 2013-05-21 | Google Inc. | Systems and methods for object recognition |
CN106254458A (zh) * | 2016-08-04 | 2016-12-21 | 山东大学 | 一种基于云机器人视觉的图像处理方法、平台及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729923A (zh) * | 2017-09-19 | 2018-02-23 | 浙江师范大学 | 一种基于TensorFlow的商品计算机视觉识别方法 |
CN108776663A (zh) * | 2018-04-17 | 2018-11-09 | 深圳市赛亿科技开发有限公司 | 智能镜子及其控制方法、计算机可读存储介质 |
CN111382737A (zh) * | 2018-12-29 | 2020-07-07 | 深圳光启空间技术有限公司 | 多路负载均衡异步目标检测方法、存储介质及处理器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106488197A (zh) | 一种智能人物识别机器人 | |
CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
EP1533746A3 (en) | Image processing apparatus and method for converting image data to predetermined format | |
CN109948721A (zh) | 一种基于视频描述的视频场景分类方法 | |
US20230335148A1 (en) | Speech Separation Method, Electronic Device, Chip, and Computer-Readable Storage Medium | |
CN109841217A (zh) | 一种基于语音识别的ar交互系统和方法 | |
CN100592783C (zh) | 一种视频通信系统及方法 | |
CN111144284A (zh) | 深度人脸图像的生成方法、装置、电子设备及介质 | |
CN103841358B (zh) | 低码流的视频会议系统及方法、发送端设备、接收端设备 | |
CN111461000A (zh) | 一种基于cnn和小波分析的办公室垃圾智能分类方法 | |
CN106385568A (zh) | 一种视频监控系统 | |
CN111222515B (zh) | 一种基于上下文感知注意力的图像翻译方法 | |
CN109003247A (zh) | 彩色图像混合噪声的去除方法 | |
CN108260012A (zh) | 电子装置、视频播放控制方法及相关产品 | |
CN115661906B (zh) | 一种多模态融合的人脸活体检测方法及系统 | |
CN110163489B (zh) | 一种戒毒运动锻炼成效评价方法 | |
CN116604151A (zh) | 一种基于视听双模态的mig焊焊缝状态监测系统与方法 | |
CN115798051A (zh) | 基于3d-cnn的动态手势识别方法、装置、设备以及存储介质 | |
CN111161397B (zh) | 人脸三维重建方法、装置、电子设备及可读存储介质 | |
CN110275455B (zh) | 一种基于脑电信号的控制方法、中央控制设备、云服务器及系统 | |
CN107221332A (zh) | 机器人的交互方法及系统 | |
CN209002066U (zh) | 一种摄像机、网络摄像机以及网络摄像机系统 | |
CN117319886B (zh) | 降低Android系统音频通路时延的方法及系统 | |
US20230274403A1 (en) | Depth-based see-through prevention in image fusion | |
CN114666706B (zh) | 音效增强方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170308 |