CN107632598A - 一种具有场景记忆供的机器人 - Google Patents
一种具有场景记忆供的机器人 Download PDFInfo
- Publication number
- CN107632598A CN107632598A CN201610570346.4A CN201610570346A CN107632598A CN 107632598 A CN107632598 A CN 107632598A CN 201610570346 A CN201610570346 A CN 201610570346A CN 107632598 A CN107632598 A CN 107632598A
- Authority
- CN
- China
- Prior art keywords
- robot
- cmos image
- image sensor
- characteristic point
- episodic memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种具有场景记忆供的机器人,所述机器人包括:景深摄像头,包括间隔一定距离设置的一对CMOS图像传感器,用于捕捉前方障碍物的光信号;移动装置,用于驱动所述机器人进行移动,微处理器,根据所述障碍物的每一特征点在每一所述CMOS图像传感器的像素阵列中所对应的像素位置计算特征点与每一所述CMOS图像传感器的连线和所述一对CMOS图像传感器连线之间的角度,并根据该角度以及所述一对CMOS图像传感器之间的距离计算出机器人与障碍物的特征点之间的距离;其中,随着所述移动装置驱动机器人不断进行移动,并不断计算出前方障碍物与机器人之间的距离,进而对当前环境进行地图建模。
Description
技术领域
本发明涉及图像处理领域,具体涉及到一种具有场景记忆供的机器人。
背景技术
随着信息通信技术的发展,获取图像的方法不仅仅限于使用各种摄像机、照相机等只能得到物体的平面图像,即物体的二维信息的图像扫描手段。在许多领域,需要获得物体的三维信息。三维扫描用于创建物体几何表面,是实现三维信息数字化的一种极为有效的工具。三维扫描的扫描点可用来插补成物体的表面形状,越密集的点云可以创建更精确的模型。三维扫描仪可模拟为照相机,它们的视线范围都体现圆锥状,信息的搜集皆限定在一定的范围内。两者不同之处在于相机所抓取的是颜色信息,而三维扫描仪测量的是距离。
另外,随着家庭经济水平的提高,家长对婴幼儿的经济投入越来越大,同时由于二胎政策的放开,中国出生率在未来几年会得到显著增长,因此孩童所需物品的市场前景巨大。若能够借助早教机机器人实现场景记忆功能,使得早教机机器人能够记住当前环境的地图,前景是非常巨大的。
发明内容
本发明提供了一种具有场景记忆供的机器人,所述机器人包括:
景深摄像头,包括间隔一定距离设置的一对CMOS图像传感器,用于捕捉前方障碍物的光信号;
移动装置,用于驱动所述机器人进行移动,
微处理器,根据所述障碍物的每一特征点在每一所述CMOS图像传感器的像素阵列中所对应的像素位置计算特征点与每一所述CMOS图像传感器的连线 和所述一对CMOS图像传感器连线之间的角度,并根据该角度以及所述一对CMOS图像传感器之间的距离计算出机器人与障碍物的特征点之间的距离;其中,
随着所述移动装置驱动机器人不断进行移动,并不断计算出前方障碍物与机器人之间的距离,进而对当前环境进行地图建模。
上述的具有场景记忆供的机器人,其中,微处理器包括数字信号处理器,用于将每一所述特征点的光信号转换为数字信号。
上述的具有场景记忆供的机器人,其中,所述微处理器根据每一所述特征点所处入射光线的路径将每一所述特征点的光信号经转换后的数字信号对应至每一所述CMOS图像传感器的像素阵列中的像素位置。
上述的具有场景记忆供的机器人,其中,所述微处理器包括寄存器,用于储存每一所述CMOS图像传感器的像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系。
上述的具有场景记忆供的机器人,其中,所述机器人设置有可充电电池。
上述的具有场景记忆供的机器人,其中,所述移动装置包括转动轮、驱动电机和万向轮,所述转动轮和驱动电机相连。
本发明提供的机器人,借助设置的双目景深摄像头,可以计算出其与前方障碍物之间的距离,并通过移动终端不断驱动机器人的移动,进而完成对移动范围的场景进行地图重建。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图,重点在于示出本发明的主旨。
图1为本发明提供的一种具有场景记忆供的机器人的示意图;
图2为借助本发明的景深摄像头计算出景深的原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种具有场景记忆供的机器人,如图1所示,所述机器人包括:
景深摄像头100,包括间隔一定距离设置的一对CMOS图像传感器101和102,用于捕捉前方障碍物的光信号;
移动装置110,用于驱动所述机器人进行移动,
微处理器120,根据所述障碍物的每一特征点在每一所述CMOS图像传感器的像素阵列中所对应的像素位置计算特征点与每一所述CMOS图像传感器的连线和所述一对CMOS图像传感器连线之间的角度,并根据该角度以及所述一对CMOS图像传感器之间的距离计算出机器人与障碍物的特征点之间的距离;其中,
随着所述移动装置110驱动机器人不断进行移动,并不断计算出前方障碍物与机器人之间的距离,进而对当前环境进行地图建模。
CMOS图像传感器作为核心传感器部件,是捕捉被测物体影像的重要介面,其分辨率和精度直接决定着被测物体的识别精度。在本实施例中,CMOS图像传感器101和102的像素要求为200万像素以上,即包括横向1920个像素、纵向1080个像素的像素阵列。另外,为了能在各种环境光照强度下都能有效识别被测物体的景深,对CMOS图像传感器101和102的动态范围和灵敏度也有一定的要求。在本实施例中,CMOS图像传感器101和102的动态范围要求达到55dB以上,灵敏度要求达到5V/lux-s以上。对于200万像素的CMOS图像传感器来说,其分辨率为横向1920个像素阵列、纵向1080个像素阵列。因此,当CMOS图像传感器通过镜头捕捉前方障碍物以后,将通过自带的广角镜头,以横向1920个像素位置、纵向1080个像素位置的精度对被测物体进 行区域定位。需要说明的是,本实施例中200万像素的CMOS图像传感器101和102仅为示例,本发明并不限于使用200万像素(分辨率1920*1080)的CMOS图像传感器,而是可以使用任意分辨率的CMOS图像传感器。
对于CMOS图像传感器来说,其广角镜头的范围内每一个待测点根据该待测点所处的入射光线路径,都在CMOS图像传感器像素阵列中具有对应的一个像素位置。本实施例中,微处理器120可包括数字信号处理器,其将每个特征点的光信号转换为数字信号,然后微处理器120再将该特征点经转换后的数字信号对应到每一个CMOS图像传感器的像素阵列中的像素位置。
由于CMOS图像传感器的广角镜头是预设的,不同角度的入射光经广角镜头折射后将进入对应的像素位置,因此广角镜头范围内位于同一条入射光线上的待测点都会对应到同一个像素位置,而位于该入射光线上的这些待测点与CMOS图像传感器的连线和两个CMOS图像传感器连线之间都具有一个固定的角度θ,这个角度也即是该入射光线的入射角度。换言之,像素阵列中的像素位置与角度θ呈一一对应关系。
由于像素阵列中的像素位置与角度θ具有一一对应关系,因此,本实施例中微处理器120根据被测物体的特征点所处入射光的路径将该特征点的数字信号对应至每一个CMOS图像传感器像素阵列的特定像素位置,并根据特定像素位置与入射角度的对应关系,就可获得该特征点分别对应于每个CMOS图像传感器的角度θ。微处理器120可具有寄存器,该寄存器可以数据表的形式将像素位置与进入该像素位置的入射光线的入射角θ的对应关系储存,当广角镜头捕捉到被测物体时,微处理器120即可根据该被测物体的特征点所对应的特定像素位置查表获得特征点与CMOS图像传感器101(或102)的连线与一对图像传感器101和102连线的角度,如图2所示,特征点A与CMOS图像传感器101的连线和CMOS图像传感器101、102连线之间的角度为α,特征点A与CMOS图像传感器102的连线和CMOS图像传感器101、102连线之间的角度为β。
如图2所示为被测物体某一特征点与每个CMOS图像传感器的连线和两个 CMOS图像传感器连线的角度α、β以及被测物体景深z之间的关系示意图。如图2所示,两个图像传感器101和102以及被测物体之间形成的三角形关系。微处理器120根据角度α和β,两个CMOS图像传感器之间的距离s可以计算出特征点的景深z(即机器人和障碍物之间的距离),即z=s/(1/tgα+1/tgβ)。
两个CMOS图像传感器101和102遍历化地捕捉被测物体的每一特征点,对于横向1920个像素阵列、纵向1080个像素阵列的图像传感器来说,遍历的像素点包括(xi,yj),其中i=0,1,2,…,1919,j=0,1,2,…,1079。微处理器120则通过上述计算将对应每个像素点的特征点的景深值计算出来。而最后处理完的每个特征点的三维信息,即每一个特征点分别在每一个CMOS图像传感器的像素阵列中所对应的像素位置的信息(x,y)和景深信息z都会被存储起来。进一步的,由于机器人的不断移动,进而可以实现对场景地图的重建,为后续开发其他功能提供可能性。
在本发明一可选的实施例中,所述机器人设置有可充电电池,通过该可充电电池实现对各个电子元器件进行供电。
在本发明一可选的实施例中,所述移动装置110包括转动轮、驱动电机和万向轮,所述转动轮和驱动电机相连,例如,在机器人底部前方设置有两个万向轮,在机器人底部后设置有两个受驱动电机驱动的转动轮,使得机器人移动更加灵活,同时也提高了稳定性,移动过程中不易摔倒。同时在另一可选的实施例中,我们也可以设置为履带式的传动装置,进而带动机器人机器人进行移动。
以上对本发明的较佳实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施;任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例,这并不影响本发明的实质内容。因此,凡是未脱离本发明技术方案的内容,依据本发明 的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。
Claims (6)
1.一种具有场景记忆供的机器人,其特征在于,所述机器人包括:
景深摄像头,包括间隔一定距离设置的一对CMOS图像传感器,用于捕捉前方障碍物的光信号;
移动装置,用于驱动所述机器人进行移动,
微处理器,根据所述障碍物的每一特征点在每一所述CMOS图像传感器的像素阵列中所对应的像素位置计算特征点与每一所述CMOS图像传感器的连线和所述一对CMOS图像传感器连线之间的角度,并根据该角度以及所述一对CMOS图像传感器之间的距离计算出机器人与障碍物的特征点之间的距离;其中,
随着所述移动装置驱动机器人不断进行移动,并不断计算出前方障碍物与机器人之间的距离,进而对当前环境进行地图建模。
2.如权利要求1所述的具有场景记忆供的机器人,其特征在于,微处理器包括数字信号处理器,用于将每一所述特征点的光信号转换为数字信号。
3.如权利要求1所述的具有场景记忆供的机器人,其特征在于,所述微处理器根据每一所述特征点所处入射光线的路径将每一所述特征点的光信号经转换后的数字信号对应至每一所述CMOS图像传感器的像素阵列中的像素位置。
4.如权利要求1所述的具有场景记忆供的机器人,其特征在于,所述微处理器包括寄存器,用于储存每一所述CMOS图像传感器的像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系。
5.如权利要求1所述的具有场景记忆供的机器人,其特征在于,所述机器人设置有可充电电池。
6.如权利要求1所述的具有场景记忆供的机器人,其特征在于,所述移动装置包括转动轮、驱动电机和万向轮,所述转动轮和驱动电机相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610570346.4A CN107632598A (zh) | 2016-07-19 | 2016-07-19 | 一种具有场景记忆供的机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610570346.4A CN107632598A (zh) | 2016-07-19 | 2016-07-19 | 一种具有场景记忆供的机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107632598A true CN107632598A (zh) | 2018-01-26 |
Family
ID=61112358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610570346.4A Withdrawn CN107632598A (zh) | 2016-07-19 | 2016-07-19 | 一种具有场景记忆供的机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107632598A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110275538A (zh) * | 2019-06-27 | 2019-09-24 | 广东利元亨智能装备股份有限公司 | 智能巡航车导航方法及系统 |
CN111474932A (zh) * | 2020-04-23 | 2020-07-31 | 大连理工大学 | 一种集成情景经验的移动机器人建图与导航方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN204904359U (zh) * | 2015-08-25 | 2015-12-23 | 上海集成电路研发中心有限公司 | 一种基于双摄像头的三维景深识别装置 |
-
2016
- 2016-07-19 CN CN201610570346.4A patent/CN107632598A/zh not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN204904359U (zh) * | 2015-08-25 | 2015-12-23 | 上海集成电路研发中心有限公司 | 一种基于双摄像头的三维景深识别装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110275538A (zh) * | 2019-06-27 | 2019-09-24 | 广东利元亨智能装备股份有限公司 | 智能巡航车导航方法及系统 |
CN111474932A (zh) * | 2020-04-23 | 2020-07-31 | 大连理工大学 | 一种集成情景经验的移动机器人建图与导航方法 |
CN111474932B (zh) * | 2020-04-23 | 2021-05-11 | 大连理工大学 | 一种集成情景经验的移动机器人建图与导航方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Scaramuzza et al. | Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes | |
CN105286871B (zh) | 一种基于视频处理的人体身高测量方法 | |
CN102927908A (zh) | 机器人手眼系统结构光平面参数标定装置及方法 | |
El-laithy et al. | Study on the use of Microsoft Kinect for robotics applications | |
CN102692214B (zh) | 一种狭窄空间双目视觉测量定位装置及方法 | |
CN104034269B (zh) | 一种单目视觉测量方法与装置 | |
CN103245322B (zh) | 一种基于双目立体视觉的测距方法及系统 | |
CN101999972B (zh) | 一种基于立体视觉的盲人辅助行走装置及其辅助方法 | |
CN103903222B (zh) | 三维感测方法与三维感测装置 | |
CN104346829A (zh) | 基于pmd相机和摄像头的彩色三维重建系统及其方法 | |
CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
CN105277144A (zh) | 基于双目视觉的土地面积快速检测方法及其检测装置 | |
CN101894366A (zh) | 一种获取标定参数的方法、装置及一种视频监控系统 | |
CN104154898B (zh) | 一种主动测距方法及系统 | |
CN103712604B (zh) | 一种光学多目标三维空间定位方法及系统 | |
CN207488823U (zh) | 一种移动电子设备 | |
CN104615978A (zh) | 视线方向跟踪方法及装置 | |
CN101329764A (zh) | 采用两个任意共面圆进行摄像机标定的方法 | |
CN102519434A (zh) | 一种用于立体视觉三维恢复数据精度测量的试验验证方法 | |
CN104079916A (zh) | 一种全景三维视觉传感器及使用方法 | |
CN105466397A (zh) | 多尺度双轴旋转激光影像三维重构系统及其方法 | |
CN103003666A (zh) | 用于三维空间测量的平行的在线-离线重构 | |
CN106096207A (zh) | 一种基于多目视觉的旋翼无人机抗风评估方法及系统 | |
CN104330075B (zh) | 栅格化极坐标系目标定位方法 | |
CN204863196U (zh) | 一种三维人体扫描装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210120 Address after: 318015 Zhejiang Taizhou Jiaojiang District, Hong Jia Shang Jin line 88. Applicant after: ZHEJIANG XINGXING REFRIGERATION Co.,Ltd. Address before: 318015 Zhejiang Taizhou Jiaojiang District, Hong Jia Shang Jin line 88. Applicant before: ZHEJIANG XINGXING REFRIGERATION Co.,Ltd. Applicant before: Sun Zeju |
|
TA01 | Transfer of patent application right | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180126 |
|
WW01 | Invention patent application withdrawn after publication |