CN107622523A - 一种智能机器人 - Google Patents
一种智能机器人 Download PDFInfo
- Publication number
- CN107622523A CN107622523A CN201710862290.4A CN201710862290A CN107622523A CN 107622523 A CN107622523 A CN 107622523A CN 201710862290 A CN201710862290 A CN 201710862290A CN 107622523 A CN107622523 A CN 107622523A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- msub
- mfrac
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims description 69
- 238000011156 evaluation Methods 0.000 claims description 51
- 238000001914 filtration Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 7
- 230000005603 centrifugal distortion Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种智能机器人，包括机器人本体，所述机器人本体设有语音系统、图像系统、数据库处理系统和显示屏，所述数据库处理系统分别与语音系统和图像系统相连，所述图像系统用于对周围场景进行采集和处理，得到三维场景，所述语音系统用于对用户发出的语音进行采集和识别，得到语音指令，所述数据库处理系统用于存储现实场景并根据语音指令对三维场景进行调用，所述显示屏用于显示调用的三维场景。本发明有益效果为：实现了用户语音识别和环境场景获取。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种智能机器人。
背景技术
机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作。近年来，机器人取得了广阔的应用市场，但现有机器人存在场景获取能力差，无法进行有效语音识等问题。
发明内容
针对上述问题，本发明旨在提供一种智能机器人。
本发明的目的采用以下技术方案来实现：
提供了一种智能机器人，包括机器人本体，所述机器人本体设有语音系统、图像系统、数据库处理系统和显示屏，所述数据库处理系统分别与语音系统和图像系统相连，所述图像系统用于对周围场景进行采集和处理，得到三维场景，所述语音系统用于对用户发出的语音进行采集和识别，得到语音指令，所述数据库处理系统用于存储现实场景并根据语音指令对三维场景进行调用，所述显示屏用于显示调用的三维场景。
本发明有益效果为：实现了用户语音识别和环境场景获取。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
机器人本体1、语音系统11、图像系统12、数据库处理系统13、显示屏14。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种智能机器人，包括机器人本体1，所述机器人本体1设有语音系统11、图像系统12、数据库处理系统13和显示屏14，所述数据库处理系统13分别与语音系统11和图像系统12相连，所述图像系统12用于对周围场景进行采集和处理，得到三维场景，所述语音系统11用于对用户发出的语音进行采集和识别，得到语音指令，所述数据库处理系统13用于存储现实场景并根据语音指令对三维场景进行调用，所述显示屏14用于显示调用的三维场景。
本实施例实现了用户语音识别和环境场景获取。
优选的，所述显示屏14为高清显示屏。
本优选实施例场景显示更加清晰。
优选的，所述语音系统11包括语音识别模块，用于将采集的语音信号转化为数据处理系统13能够识别的语音指令。
本优选实施例提高了语音识别能力。
优选的，所述图像系统12包括相同的两台摄像机和与所述摄像机相连的图像处理子系统，所述相同的两台摄像机分别安装于机器人本体1两侧，记为左摄像机和右摄像机，所述图像处理子系统包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，所述第一处理模块用于对相同的两台摄像机进行标定，所述第二处理模块采用经过标定的两台摄像机获取图像，所述第三处理模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述第四处理模块用于根据视差图对三维场景进行重建。
本优选实施例实现了三维场景获取准确，提高了智能机器人的服务水平。
优选的，采用以下方式对相同的两台摄像机进行标定：
第一步、确定透镜的畸变模型：
其中，
在式子里，p1、p2为离心畸变参数，xd、yd为实际的图像坐标，xu、yu为理想的图像坐标，k1、k2为径向畸变参数；
第二步、采用以下方式确定左、右摄像机待标定参数的值：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
第三步：采用以下方式确定左、右摄像机构成的立体系统参数的值：
在式子里，DTi l和DTi r分别表示左、右摄像机在第i个世界坐标系下的平移向量，RU和DT表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，n表示世界坐标系的个数,RUi l和RUi r分别表示左、右摄像机在第i个世界坐标系下的旋转矩阵。
本优选实施例第一处理模块对摄像机进行标定，保证了后续计算的准确性，该透镜畸变模型更加符合透镜成像规律，提高了标定水平，同时对两个摄像机构成的系统进行标定，为后续立体图像的采集和匹配奠定了良好的基础，。
优选的，所述第三处理模块包括第一处理单元、第二处理单元和第三处理单元，所述第一处理单元对图像进行滤波处理，所述第二处理单元用于根据滤波后的图像求取视差图，所述第三处理单元根据视差图对匹配情况进行评价。
本优选实施例第三处理模块实现了来自不同摄像机的图像匹配，得到了准确的视差图像。
优选的，所述第一处理单元包括一次评价子单元、二次评价子单元和三次评价子单元，所述一次评价子单元对图像进行一次滤波处理，所述二次评价子单元对图像进行二次滤波处理，所述三次评价子单元对两次滤波结果进行融合；
采用以下方式对图像进行一次滤波处理：
设MH(x,y)为图像函数，滤波后的图像可表示为：
在式子里，MH1(x,y)表示经过一次滤波处理后的图像，σ表示滤波尺度参数；
采用以下方式对图像进行二次滤波处理：
设MH(x,y)为图像函数，滤波后的图像可表示为：
在式子里，MH2(x,y)表示经过二次滤波处理后的图像；
采用以下方式对两次滤波结果进行融合：
在式子里，MH3(x,y)表示滤波后的图像。
本优选实施例第一处理单元对图像进行滤波处理，降低了滤波处理时间，取得了良好的滤波效果，有助于提高后续立体匹配的效率和精度，有助于提高机器人服务水平。
优选的，所述第三处理单元包括一次评价子单元、二次评价子单元和三次评价子单元，所述一次评价子单元用于确定立体匹配情况的第一评价因子，所述二次评价子单元用于确定立体匹配情况的第二评价因子，所述三次评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
本优选实施例第三处理单元实现了图像立体匹配的客观评价。
优选的，采用以下方式确定输出图像的第一评价因子：
在式子里，RX1表示立体匹配情况的第一评价因子，A表示视差图像中的平坦区域，NA表示平坦区域包含的像素个数，FNj(x,y)表示视差图像显示的视差值，FNs(x,y)表示手工实测的真实视差值；
采用以下方式确定输出图像的第二评价因子：
在式子里，RX2表示立体匹配情况的第二评价因子，Z表示视差图像中的遮挡区域，Nz表示平坦区域包含的像素个数；
采用以下方式对立体匹配情况进行综合评价：根据第一评价因子和第二评价因子计算综合评价因子RX：综合评价因子越大，立体匹配效果越好。
本优选实施例第三处理单元对于立体匹配效果进行定量描述，且该评价模块综合考虑多方面评价因素，评价的可信度高,从而保证了机器人服务水平。
采用本发明智能机器人对进行场景获取，选取5个机器人，分别为机器人1、机器人2、机器人3、机器人4、机器人5，对场景获取准确度和场景获取时间进行统计，同现有技术相比，产生的有益效果如下表所示：
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (9)
1.一种智能机器人，其特征在于，包括机器人本体，所述机器人本体设有语音系统、图像系统、数据库处理系统和显示屏，所述数据库处理系统分别与语音系统和图像系统相连，所述图像系统用于对周围场景进行采集和处理，得到三维场景，所述语音系统用于对用户发出的语音进行采集和识别，得到语音指令，所述数据库处理系统用于存储现实场景并根据语音指令对三维场景进行调用，所述显示屏用于显示调用的三维场景。
2.根据权利要求1所述的智能机器人，其特征在于，所述显示屏为高清显示屏。
3.根据权利要求2所述的智能机器人，其特征在于，所述语音系统包括语音识别模块，用于将采集的语音信号转化为数据处理系统能够识别的语音指令。
4.根据权利要求3所述的智能机器人，其特征在于，所述图像系统包括相同的两台摄像机和与所述摄像机相连的图像处理子系统，所述相同的两台摄像机分别安装于机器人本体两侧，记为左摄像机和右摄像机，所述图像处理子系统包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，所述第一处理模块用于对相同的两台摄像机进行标定，所述第二处理模块采用经过标定的两台摄像机获取图像，所述第三处理模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述第四处理模块用于根据视差图对三维场景进行重建。
5.根据权利要求4所述的智能机器人，其特征在于，采用以下方式对相同的两台摄像机进行标定：
第一步、确定透镜的畸变模型：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<mi>u</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<mi>u</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，
在式子里，p1、p2为离心畸变参数，xd、yd为实际的图像坐标，xu、yu为理想的图像坐标，k1、k2为径向畸变参数；
第二步、采用以下方式确定左、右摄像机待标定参数的值：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
第三步：采用以下方式确定左、右摄像机构成的立体系统参数的值：
<mrow>
<mi>R</mi>
<mi>U</mi>
<mo>=</mo>
<mfrac>
<mn>3</mn>
<mrow>
<mn>5</mn>
<mi>n</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>5</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>5</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</munderover>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>D</mi>
<mi>T</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<mo>-</mo>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<mo>-</mo>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<mo>-</mo>
<msub>
<mi>RU</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>DT</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
在式子里，DTi l和DTi r分别表示左、右摄像机在第i个世界坐标系下的平移向量，RU和DT表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，n表示世界坐标系的个数,RUi l和RUi r分别表示左、右摄像机在第i个世界坐标系下的旋转矩阵。
6.根据权利要求5所述的智能机器人，其特征在于，所述第三处理模块包括第一处理单元、第二处理单元和第三处理单元，所述第一处理单元对图像进行滤波处理，所述第二处理单元用于根据滤波后的图像求取视差图，所述第三处理单元根据视差图对匹配情况进行评价。
7.根据权利要求6所述的智能机器人，其特征在于，所述第一处理单元包括一次评价子单元、二次评价子单元和三次评价子单元，所述一次评价子单元对图像进行一次滤波处理，所述二次评价子单元对图像进行二次滤波处理，所述三次评价子单元对两次滤波结果进行融合；
采用以下方式对图像进行一次滤波处理：
设MH(x,y)为图像函数，滤波后的图像可表示为：
<mrow>
<msub>
<mi>MH</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>6</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>M</mi>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msup>
<mi>&pi;&sigma;</mi>
<mn>4</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>M</mi>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
在式子里，MH1(x,y)表示经过一次滤波处理后的图像，σ表示滤波尺度参数；
采用以下方式对图像进行二次滤波处理：
设MH(x,y)为图像函数，滤波后的图像可表示为：
<mrow>
<msub>
<mi>MH</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msup>
<mi>&pi;&sigma;</mi>
<mn>6</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>M</mi>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>4</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>M</mi>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
在式子里，MH2(x,y)表示经过二次滤波处理后的图像；
采用以下方式对两次滤波结果进行融合：
<mrow>
<msub>
<mi>MH</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mroot>
<mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>MH</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>MH</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>3</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
</mrow>
<mn>3</mn>
</mroot>
</mrow>
在式子里，MH3(x,y)表示滤波后的图像。
8.根据权利要求7所述的智能机器人，其特征在于，所述第三处理单元包括一次评价子单元、二次评价子单元和三次评价子单元，所述一次评价子单元用于确定立体匹配情况的第一评价因子，所述二次评价子单元用于确定立体匹配情况的第二评价因子，所述三次评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
9.根据权利要求8所述的智能机器人，其特征在于，采用以下方式确定输出图像的第一评价因子：
<mrow>
<msub>
<mi>RX</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>A</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mn>2</mn>
<mo>|</mo>
<msub>
<mi>FN</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>FN</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<msub>
<mi>FN</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>FN</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
<msub>
<mi>N</mi>
<mi>A</mi>
</msub>
</mfrac>
</mrow>
在式子里，RX1表示立体匹配情况的第一评价因子，A表示视差图像中的平坦区域，NA表示平坦区域包含的像素个数，FNj(x,y)表示视差图像显示的视差值，FNs(x,y)表示手工实测的真实视差值；
采用以下方式确定输出图像的第二评价因子：
<mrow>
<msub>
<mi>RX</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>Z</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mn>2</mn>
<mo>|</mo>
<msub>
<mi>FN</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>FN</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<msub>
<mi>FN</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>FN</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
<msub>
<mi>N</mi>
<mi>Z</mi>
</msub>
</mfrac>
</mrow>
在式子里，RX2表示立体匹配情况的第二评价因子，Z表示视差图像中的遮挡区域，Nz表示平坦区域包含的像素个数；
采用以下方式对立体匹配情况进行综合评价：根据第一评价因子和第二评价因子计算综合评价因子RX：综合评价因子越大，立体匹配效果越好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710862290.4A CN107622523B (zh) | 2017-09-21 | 2017-09-21 | 一种智能机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710862290.4A CN107622523B (zh) | 2017-09-21 | 2017-09-21 | 一种智能机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107622523A true CN107622523A (zh) | 2018-01-23 |
| CN107622523B CN107622523B (zh) | 2018-08-21 |
Family
ID=61090625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710862290.4A Active CN107622523B (zh) | 2017-09-21 | 2017-09-21 | 一种智能机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107622523B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322518A (zh) * | 2019-07-05 | 2019-10-11 | 深圳市道通智能航空技术有限公司 | 立体匹配算法的评价方法、评价系统及测试设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275667A1 (en) * | 2011-04-29 | 2012-11-01 | Aptina Imaging Corporation | Calibration for stereoscopic capture system |
| CN105364915A (zh) * | 2015-12-11 | 2016-03-02 | 齐鲁工业大学 | 基于三维机器视觉的智能家庭服务机器人 |
| CN105931218A (zh) * | 2016-04-07 | 2016-09-07 | 武汉科技大学 | 模块化机械臂的智能分拣方法 |
| CN106003038A (zh) * | 2016-06-17 | 2016-10-12 | 小船信息科技（上海）有限公司 | 智能机器人 |
| CN106056207A (zh) * | 2016-05-09 | 2016-10-26 | 武汉科技大学 | 一种基于自然语言的机器人深度交互与推理方法与装置 |
| CN106293038A (zh) * | 2015-06-12 | 2017-01-04 | 刘学勇 | 同步立体支持系统 |
| CN106846418A (zh) * | 2017-02-10 | 2017-06-13 | 云南电网有限责任公司电力科学研究院 | 一种验电挂地线机器人视觉定位系统 |
| CN107085422A (zh) * | 2017-01-04 | 2017-08-22 | 北京航空航天大学 | 一种基于Xtion设备的多功能六足机器人的远程控制系统 |
| CN107150347A (zh) * | 2017-06-08 | 2017-09-12 | 华南理工大学 | 基于人机协作的机器人感知与理解方法 |
-
2017
- 2017-09-21 CN CN201710862290.4A patent/CN107622523B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275667A1 (en) * | 2011-04-29 | 2012-11-01 | Aptina Imaging Corporation | Calibration for stereoscopic capture system |
| CN106293038A (zh) * | 2015-06-12 | 2017-01-04 | 刘学勇 | 同步立体支持系统 |
| CN105364915A (zh) * | 2015-12-11 | 2016-03-02 | 齐鲁工业大学 | 基于三维机器视觉的智能家庭服务机器人 |
| CN105931218A (zh) * | 2016-04-07 | 2016-09-07 | 武汉科技大学 | 模块化机械臂的智能分拣方法 |
| CN106056207A (zh) * | 2016-05-09 | 2016-10-26 | 武汉科技大学 | 一种基于自然语言的机器人深度交互与推理方法与装置 |
| CN106003038A (zh) * | 2016-06-17 | 2016-10-12 | 小船信息科技（上海）有限公司 | 智能机器人 |
| CN107085422A (zh) * | 2017-01-04 | 2017-08-22 | 北京航空航天大学 | 一种基于Xtion设备的多功能六足机器人的远程控制系统 |
| CN106846418A (zh) * | 2017-02-10 | 2017-06-13 | 云南电网有限责任公司电力科学研究院 | 一种验电挂地线机器人视觉定位系统 |
| CN107150347A (zh) * | 2017-06-08 | 2017-09-12 | 华南理工大学 | 基于人机协作的机器人感知与理解方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘俸材 等: "双目视觉的立体标定方法", 《计算机工程与设计》 * |
| 孙凤连 等: "工业机器人视觉系统中双目摄像头标定算法研究", 《计算机与数字工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322518A (zh) * | 2019-07-05 | 2019-10-11 | 深圳市道通智能航空技术有限公司 | 立体匹配算法的评价方法、评价系统及测试设备 |
| CN110322518B (zh) * | 2019-07-05 | 2021-12-17 | 深圳市道通智能航空技术股份有限公司 | 立体匹配算法的评价方法、评价系统及测试设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107622523B (zh) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN109035200B (zh) | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 | |
| JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
| CN106875451B (zh) | 相机标定方法、装置及电子设备 | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| WO2022170844A1 (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
| CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
| JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| CN110568447A (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN107274483A (zh) | 一种物体三维模型构建方法 | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| US8179448B2 (en) | Auto depth field capturing system and method thereof | |
| CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN107578450B (zh) | 一种用于全景相机装配误差标定的方法及系统 | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN110956065B (zh) | 一种用于模型训练的人脸图像处理方法及装置 | |
| CN102075785A (zh) | 一种atm机广角摄像机镜头畸变校正方法 | |
| CN111445528B (zh) | 一种在3d建模中多相机共同标定方法 | |
| JP2024537798A (ja) | 撮影測定方法、装置、機器及び記憶媒体 | |
| CN110991306B (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
| CN115457176A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| CN107622523B (zh) | 一种智能机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180711 Address after: 010000 East Ginza B block, Hailar East Road, new town, Hohhot, the Inner Mongolia Autonomous Region Applicant after: Stone Age (Inner Mongolia) Intelligent Robot Technology Co., Ltd. Address before: 518000 B356, 2124 Li Wan mansion, Nanhai street, Nanshan District, Shenzhen, Guangdong. Applicant before: Shenzhen Shengda Machine Design Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200508 Address after: 349 pengjia'ao, Zhuxia village, Taimushan Town, Fuding City, Ningde City, Fujian Province Patentee after: Chen Weidi Address before: 010000 East Ginza B block, Hailar East Road, new town, Hohhot, the Inner Mongolia Autonomous Region Patentee before: SHIQI SHIDAI (INNER MONGOLIA) INTELLIGENT ROBOT TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 311800 Zhejiang city of Shaoxing province Zhuji City Huang Shan Zhen Village drive tower No. 510 Yamaguchi Dingxin Patentee after: Chen Weidi Address before: 349 pengjia'ao, Zhuxia village, Taimushan Town, Fuding City, Ningde City, Fujian Province Patentee before: Chen Weidi |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201117 Address after: 300000 Tianjin City District No. 79 Siping host Deshang -1 No. Patentee after: TIANJIN HUIZHI IOT TECHNOLOGY Co.,Ltd. Address before: 311800 Zhejiang city of Shaoxing province Zhuji City Huang Shan Zhen Village drive tower No. 510 Yamaguchi Dingxin Patentee before: Chen Weidi |