CN1343551A - 机器视觉分层模块结构模型 - Google Patents
机器视觉分层模块结构模型 Download PDFInfo
- Publication number
- CN1343551A CN1343551A CN 00125292 CN00125292A CN1343551A CN 1343551 A CN1343551 A CN 1343551A CN 00125292 CN00125292 CN 00125292 CN 00125292 A CN00125292 A CN 00125292A CN 1343551 A CN1343551 A CN 1343551A
- Authority
- CN
- China
- Prior art keywords
- module
- vision
- visual
- submodule
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims description 46
- 230000004438 eyesight Effects 0.000 claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000014860 sensory perception of taste Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明是一种机器视觉分层模块结构模型,来自上层的智能机器人任务分解列发出的指令被分解成传感器种类调用命令,调用不同种类的传感器,如听觉、触觉、视觉、力觉、味觉。该调用命令再进一步分解,如视觉调用指令根据具体任务,调用不同功能的视觉子模块,视觉子模块则根据需要调用视觉数据库,视觉数据库中的数据,包括摄像机二维图像、近距离三维面形数据、远距离激光雷达距离图像、场景颜色、亮度、特征点方位等模块,它们来自视觉集成传感装置,且各数据模块之间可以相互测试,以保证数据的可靠性。它既能与机器人大系统相衔接,组成一般意义上的视觉系统,又遵循自己的结构层次,完成自己的特定任务。
Description
本发明涉及一种机器视觉模块结构模型，特别是一种机器视觉分层模块结构模型，它既能与机器人大系统相衔接，又遵循自己的结构层次，完成自己的特定任务。本发明属于机器人领域。
目前国内外计算机视觉研究在取得不少长足进展的同时，也存在许多争议。以Marr为首的三维重建学派认为，视觉是一个求外部世界描述的信息处理过程，即从单幅或多幅二维图像中，从图像特征如边缘点、轮廊、直线、曲线、纹理、灰度、颜色恢复三维场景，再对三维场景进行识别、定位与运动分析。实际上，从图像恢复场景这一逆过程常因场景中的一些不适定问题导致Hom光流场约束方程无解或不稳定，许多工作也正在围绕此展开，但迄今为止还没有一种真正成功的实用系统问世。另一种面向行为、面向应用的目的主义学派，提出主动视觉、定性视觉概念，认为视觉都是有目的的，主动使目的更加明确，场景中的物体有的需要作定量分析，有的只需作定性描述，它们一起按一定目的完成任务。这一观点遭到“重建”学派的批评，他们认为“目的主义”用特定任务来作限制条件是逃避问题、就事论事。其次，获取场景数据的主动传感技术存在功能单一、噪声影响大的问题，导致它对使用场合及对象的限定。另外，机器人从最初的遥控机械手，发展到现在具备一定智能的智能机器人，已经历了半个世纪的里程，形成了机器人独特的信息、能量及材料变换特征体系。事实上，机器视觉作为机器人感受外界信息的单元，其理论和方法自然离不开机器人这一大系统。
本发明的目的是从机器人大系统要求出发提供一种机器视觉模块结构模型，特别是一种机器视觉分层模块结构模型及支持这一模型的视觉集成传感装置，解决机器视觉研究中存在的一般性和特定任务之间的矛盾。视觉集成传感装置的专利申请号为：C024931494。
本发明的目的是这样实现的：来自上层的智能机器人任务分解列发出的指令被分解成传感器种类调用命令，调用不同种类的传感器，如听觉、触觉、视觉、力觉、味觉。该调用命令再进一步分解，如视觉调用指令根据具体任务，调用不同功能的视觉子模块，视觉子模块则根据需要调用视觉数据库，视觉数据库中的数据，包括摄像机二维图像、近距离三维面形数据、远距离激光雷达距离图像、场景颜色、亮度、特征点方位等模块，它们来自视觉集成传感装置，且各数据模块之间可以相互测试，以保证数据的可靠性。
本发明的具体实施由以下的实施例及其附图给出。
图1是根据本发明提出的一种机器视觉分层结构模型图。
下面结合图1详细说明依据本发明提出的机器视觉分层模块结构模型的模块细节及工作情况：
由机器人主体结构中不同子系统的任务分解列2a、3b、4c发出的命令被传感器种类调用分解模块3分解，依据任务和需求调用不同的传感模块，如听觉模块4，触觉模块5，视觉模块6，力觉模块7，味觉模块8。对视觉模块6来说，该指令被视觉指令分解模块9进一步分解，依据特定的视觉任务调用一个或多个视觉子模块，如文字识别子模块10，图形识别子模块11，面形识别子模块12，区域分割子模块13，障碍探测子模块14，预测防撞子模块15，运动分析子模块16，路径规划子模块17。这些模块在计算和实施过程中需要的数据来自于视觉数据库模块20，视觉数据库模块20中存放有二维图像数据模块22，三维面形模块23，距离图像数据模块24，这些模块数据来自于视觉传感集成装置27，视觉传感集成装置27中各传感器在时间和空间上匹配和统一，保证了二维图像数据模块22，三维面形模块23，距离图像数据模块24之间的数据在时间、坐标及量值上的一致和互补，这一工作由视觉数据库模块20的通讯和测试模块21完成。本发明整体上作为机器人大系统内的一个单元，体现出自上而下分层、模块化的思想，各模块被机器人大系统特定任务驱动，所有数据包括传感器初始数据、中间处理及最终结果送入机器人主体结构中的全局数据库1，供机器人控制和决策使用。为提高机器视觉的主动性，本发明设有视觉引导模块18，通过电机驱动A模块25对视觉传感集成装置27的距离ρ、水平角ω、和垂直角θ的动作来实现。此外，为便于人对机器的控制，发挥人脑思维的作用，本发明有一个人机视觉接口模块19，一方面它可以随时调用视觉数据库20中的数据模块，另一方面，它可以通过电机驱动B模块26，使视觉传感集成装置27的距离ρ、水平角ω和垂直角θ的改变，主动获取所需信息。本发明作为一种机器视觉分层模块结构模型，隶属于五个不同层次，就是视觉指令分解层由视觉指令分解模块9组成；视觉功能子模块层由文字识别子模块10，图形识别子模块11，面形识别子模块12，区域分割子模块13，障碍探测子模块14，预测防撞子模块15，运动分析子模块16，路径规划子模块17所组成；视觉数据库层由视视觉数据库模块20，通讯与测试模块21，二维图像数据模块22，三维面形模块23和距离图像数据模块24所组成；数据传感层由视觉传感集成装置27所组成；辅助层由视觉引导模块18，人机视觉接口模块19，电机驱动A模块25所和电机驱动B模块26所组成。本发明与同类系统相比具有的特点是：总体上是一个具有一般视觉功能的模块化结构，每一模块具有特定功能，并可根据需要增减功能模块；是一个由低到高层次分明的分层结构，有利于将机器视觉的各种思想在不同层次上互补和统一，并可根据人工智能及人工神径网络的进展，在高层视觉处理上加上相应的模块；有利于与智能机器人大系统相衔接；所有视觉子模块共用视觉数据库模块20，各视觉子模块对数据的处理并非一下子全部完成，而是受特定任务驱动，根据需要分别调用；开放性好，可以方便地增减硬件和软件；视觉数据库模块20通过模块相互通讯与测试模块21，可提高传感数据的可靠性；通过视觉引导模块18，具有主动视觉引导功能；由于具备人机视觉接口模块19，为临场感的建立，人对机器的控制、人脑思维的发挥提供了可能；成本低，在不增加硬件的前提下，增加信息处理模块就可以扩充系统的功能。本发明是一种机器视觉分层模块结构模型，一般意义上它包括了文字或图形的特征提取及识别，场景中简单物体的识别与定位；场景中目标方位及距离探测，多个目标的空间关系，目标运动分析，长序列运动图像特征跟踪，障碍探测，动目标预测，防撞分析，基于视觉的路径规划，具体情况下，根据特定任务调用其中一个或几个功能模块，并共用基本数据库。另外，还赋予它视觉引导模块18和人机视觉接口模块19，以完成视觉与环境的交互、人对机器的控制和临场感的建立。
Claims (1)
1.一种机器视觉分层模块结构模型是由五个层次、多个模块，就是由机器人主体结构中的全局数据库1，任务分解列2a、2b、2c，传感器种类调用分解模块3，听觉模块4，触觉模块5，视觉模块6，力觉模块7，味觉模块8，视觉指令分解模块9，文字识别子模块10，图形识别子模块11，面形识别子模块12，区域分割子模块13，障碍探测子模块14，预测防撞子模块15，运动分析子模块16，路径规划子模块17，视觉引导模块18，人机视觉接口模块19，视觉数据库模块20，模块间测试与通讯模块21，二维图像数据模块22，三维面形模块23，距离图像数据模块24，电机驱动A模块25、电机驱动B模块26，视觉传感集成装置27所构成，其特征在于：
a.视觉指令分解层由视觉指令分解模块9组成；视觉功能子模块层由文字识别子模块10，图形识别子模块11，面形识别子模块12，区域分割子模块13，障碍探测子模块14，预测防撞子模块15，运动分析子模块16，路径规划子模块17所组成；视觉数据库层由视视觉数据库模块20，通讯与测试模块21，二维图像数据模块22，三维面形模块23和距离图像数据模块24所组成；数据传感层由视觉传感集成装置27所组成；辅助层由视觉引导模块18，人机视觉接口模块19，电机驱动A模块25所和电机驱动B模块26所组成；
b.视觉指令分解模块9，它将机器人主体传来的命令，根据特定任务，分解成调用不同视觉功能模块的子命令；
c.文字识别子模块10、图形识别子模块11、面形识别子模块12、区域分割子模块13、障碍探测子模块14、预测防撞子模块15、运动分析子模块16、路径规划子模块17，它们一起组成一般意义上的视觉系统，各模块被特定任务驱动；
d.视觉数据库模块20，它划分为二维图像数据模块22、三维面形模块23、距离图像数据模块24，并在视觉数据库模块20的通讯与测试模块21的协调下进行测试和通讯，确保传感数据的可靠性；
e.视觉传感集成装置27，由它获取二维图像数据、三维面形数据、距离图像数据；
f.视觉引导模块18、人机视觉接口模块19，实现机器视觉与环境交互、人对机器的控制和临场感的获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 00125292 CN1343551A (zh) | 2000-09-21 | 2000-09-21 | 机器视觉分层模块结构模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 00125292 CN1343551A (zh) | 2000-09-21 | 2000-09-21 | 机器视觉分层模块结构模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1343551A true CN1343551A (zh) | 2002-04-10 |
Family
ID=4591084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 00125292 Pending CN1343551A (zh) | 2000-09-21 | 2000-09-21 | 机器视觉分层模块结构模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1343551A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100389013C (zh) * | 2005-04-01 | 2008-05-21 | 北京理工大学 | 基于多信息融合的仿人型机器人作业场景重构方法 |
| CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
| CN104302453A (zh) * | 2012-06-08 | 2015-01-21 | 艾罗伯特公司 | 使用差动传感器或视觉测量的地毯偏移估计 |
| CN105137824A (zh) * | 2015-07-29 | 2015-12-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人表情反馈方法和装置 |
| CN107891448A (zh) * | 2017-12-25 | 2018-04-10 | 胡明建 | 一种机械视觉听觉触觉以时间相互映射的设计方法 |
| CN109129474A (zh) * | 2018-08-10 | 2019-01-04 | 上海交通大学 | 基于多模态融合的机械手主动抓取装置及方法 |
-
2000
- 2000-09-21 CN CN 00125292 patent/CN1343551A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100389013C (zh) * | 2005-04-01 | 2008-05-21 | 北京理工大学 | 基于多信息融合的仿人型机器人作业场景重构方法 |
| CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
| CN102317954B (zh) * | 2009-02-16 | 2014-09-24 | 戴姆勒股份公司 | 检测对象的方法 |
| CN104302453A (zh) * | 2012-06-08 | 2015-01-21 | 艾罗伯特公司 | 使用差动传感器或视觉测量的地毯偏移估计 |
| CN104302453B (zh) * | 2012-06-08 | 2016-07-06 | 艾罗伯特公司 | 使用差动传感器或视觉测量的地毯偏移估计 |
| CN105137824A (zh) * | 2015-07-29 | 2015-12-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人表情反馈方法和装置 |
| CN107891448A (zh) * | 2017-12-25 | 2018-04-10 | 胡明建 | 一种机械视觉听觉触觉以时间相互映射的设计方法 |
| CN109129474A (zh) * | 2018-08-10 | 2019-01-04 | 上海交通大学 | 基于多模态融合的机械手主动抓取装置及方法 |
| CN109129474B (zh) * | 2018-08-10 | 2020-07-14 | 上海交通大学 | 基于多模态融合的机械手主动抓取装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Asfour et al. | ARMAR-III: An integrated humanoid platform for sensory-motor control | |
| Tölgyessy et al. | The Kinect sensor in robotics education | |
| Kästner et al. | A 3d-deep-learning-based augmented reality calibration method for robotic environments using depth sensor data | |
| Gomez et al. | RoboGuideDog: Guiding blind users through physical environments with laser range scanners | |
| CN112873211B (zh) | 一种机器人人机交互方法 | |
| Loper et al. | Mobile human-robot teaming with environmental tolerance | |
| CN113327479B (zh) | 一种基于mr技术的机动车驾驶智能培训系统 | |
| Bersan et al. | Semantic map augmentation for robot navigation: A learning approach based on visual and depth data | |
| Bischoff et al. | Integrating vision, touch and natural language in the control of a situation-oriented behavior-based humanoid robot | |
| CN1343551A (zh) | 机器视觉分层模块结构模型 | |
| Cheng et al. | Mapping and path planning simulation of mobile robot slam based on ROS | |
| Zatout et al. | A novel output device for visually impaired and blind people’s aid systems | |
| Hua et al. | Human-like artificial intelligent wheelchair robot navigated by multi-sensor models in indoor environments and error analysis | |
| CN115359222A (zh) | 一种基于扩展现实的无人交互控制方法及系统 | |
| Zhang et al. | An interactive control system for mobile robot based on cloud services | |
| CN107203211A (zh) | 一种机器人交互运动的方法 | |
| You et al. | Research and implementation of human-computer interaction system based on human body attitude recognition algorithm | |
| CN114935340A (zh) | 一种室内导航机器人、控制系统及方法 | |
| Brenner et al. | Towards Gesture-Based Cooperation with Cargo Handling Unmanned Aerial Vehicles | |
| CN208323396U (zh) | 一种智能机器人的硬件平台 | |
| Sanz et al. | Grasper HIL simulation towards autonomous manipulation of an underwater panel in a permanent observatory | |
| CN214348036U (zh) | 智能垃圾分拣机器人 | |
| Bischoff | Recent advances in the development of the humanoid service robot hermes | |
| Song et al. | Object-Oriented Navigation with a Multi-layer Semantic Map | |
| Shkurti | The History and Future of Human–Robot Communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |