CN1343551A - 机器视觉分层模块结构模型 - Google Patents

机器视觉分层模块结构模型 Download PDF

Info

Publication number
CN1343551A
CN1343551A CN 00125292 CN00125292A CN1343551A CN 1343551 A CN1343551 A CN 1343551A CN 00125292 CN00125292 CN 00125292 CN 00125292 A CN00125292 A CN 00125292A CN 1343551 A CN1343551 A CN 1343551A
Authority
CN
China
Prior art keywords
module
submodule
visual
vision
recognin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 00125292
Other languages
English (en)
Inventor
屠大维
林财兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN 00125292 priority Critical patent/CN1343551A/zh
Publication of CN1343551A publication Critical patent/CN1343551A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种机器视觉分层模块结构模型,来自上层的智能机器人任务分解列发出的指令被分解成传感器种类调用命令,调用不同种类的传感器,如听觉、触觉、视觉、力觉、味觉。该调用命令再进一步分解,如视觉调用指令根据具体任务,调用不同功能的视觉子模块,视觉子模块则根据需要调用视觉数据库,视觉数据库中的数据,包括摄像机二维图像、近距离三维面形数据、远距离激光雷达距离图像、场景颜色、亮度、特征点方位等模块,它们来自视觉集成传感装置,且各数据模块之间可以相互测试,以保证数据的可靠性。它既能与机器人大系统相衔接,组成一般意义上的视觉系统,又遵循自己的结构层次,完成自己的特定任务。

Description

机器视觉分层模块结构模型
本发明涉及一种机器视觉模块结构模型,特别是一种机器视觉分层模块结构模型,它既能与机器人大系统相衔接,又遵循自己的结构层次,完成自己的特定任务。本发明属于机器人领域。
目前国内外计算机视觉研究在取得不少长足进展的同时,也存在许多争议。以Marr为首的三维重建学派认为,视觉是一个求外部世界描述的信息处理过程,即从单幅或多幅二维图像中,从图像特征如边缘点、轮廊、直线、曲线、纹理、灰度、颜色恢复三维场景,再对三维场景进行识别、定位与运动分析。实际上,从图像恢复场景这一逆过程常因场景中的一些不适定问题导致Hom光流场约束方程无解或不稳定,许多工作也正在围绕此展开,但迄今为止还没有一种真正成功的实用系统问世。另一种面向行为、面向应用的目的主义学派,提出主动视觉、定性视觉概念,认为视觉都是有目的的,主动使目的更加明确,场景中的物体有的需要作定量分析,有的只需作定性描述,它们一起按一定目的完成任务。这一观点遭到“重建”学派的批评,他们认为“目的主义”用特定任务来作限制条件是逃避问题、就事论事。其次,获取场景数据的主动传感技术存在功能单一、噪声影响大的问题,导致它对使用场合及对象的限定。另外,机器人从最初的遥控机械手,发展到现在具备一定智能的智能机器人,已经历了半个世纪的里程,形成了机器人独特的信息、能量及材料变换特征体系。事实上,机器视觉作为机器人感受外界信息的单元,其理论和方法自然离不开机器人这一大系统。
本发明的目的是从机器人大系统要求出发提供一种机器视觉模块结构模型,特别是一种机器视觉分层模块结构模型及支持这一模型的视觉集成传感装置,解决机器视觉研究中存在的一般性和特定任务之间的矛盾。视觉集成传感装置的专利申请号为:C024931494。
本发明的目的是这样实现的:来自上层的智能机器人任务分解列发出的指令被分解成传感器种类调用命令,调用不同种类的传感器,如听觉、触觉、视觉、力觉、味觉。该调用命令再进一步分解,如视觉调用指令根据具体任务,调用不同功能的视觉子模块,视觉子模块则根据需要调用视觉数据库,视觉数据库中的数据,包括摄像机二维图像、近距离三维面形数据、远距离激光雷达距离图像、场景颜色、亮度、特征点方位等模块,它们来自视觉集成传感装置,且各数据模块之间可以相互测试,以保证数据的可靠性。
本发明的具体实施由以下的实施例及其附图给出。
图1是根据本发明提出的一种机器视觉分层结构模型图。
下面结合图1详细说明依据本发明提出的机器视觉分层模块结构模型的模块细节及工作情况:
由机器人主体结构中不同子系统的任务分解列2a、3b、4c发出的命令被传感器种类调用分解模块3分解,依据任务和需求调用不同的传感模块,如听觉模块4,触觉模块5,视觉模块6,力觉模块7,味觉模块8。对视觉模块6来说,该指令被视觉指令分解模块9进一步分解,依据特定的视觉任务调用一个或多个视觉子模块,如文字识别子模块10,图形识别子模块11,面形识别子模块12,区域分割子模块13,障碍探测子模块14,预测防撞子模块15,运动分析子模块16,路径规划子模块17。这些模块在计算和实施过程中需要的数据来自于视觉数据库模块20,视觉数据库模块20中存放有二维图像数据模块22,三维面形模块23,距离图像数据模块24,这些模块数据来自于视觉传感集成装置27,视觉传感集成装置27中各传感器在时间和空间上匹配和统一,保证了二维图像数据模块22,三维面形模块23,距离图像数据模块24之间的数据在时间、坐标及量值上的一致和互补,这一工作由视觉数据库模块20的通讯和测试模块21完成。本发明整体上作为机器人大系统内的一个单元,体现出自上而下分层、模块化的思想,各模块被机器人大系统特定任务驱动,所有数据包括传感器初始数据、中间处理及最终结果送入机器人主体结构中的全局数据库1,供机器人控制和决策使用。为提高机器视觉的主动性,本发明设有视觉引导模块18,通过电机驱动A模块25对视觉传感集成装置27的距离ρ、水平角ω、和垂直角θ的动作来实现。此外,为便于人对机器的控制,发挥人脑思维的作用,本发明有一个人机视觉接口模块19,一方面它可以随时调用视觉数据库20中的数据模块,另一方面,它可以通过电机驱动B模块26,使视觉传感集成装置27的距离ρ、水平角ω和垂直角θ的改变,主动获取所需信息。本发明作为一种机器视觉分层模块结构模型,隶属于五个不同层次,就是视觉指令分解层由视觉指令分解模块9组成;视觉功能子模块层由文字识别子模块10,图形识别子模块11,面形识别子模块12,区域分割子模块13,障碍探测子模块14,预测防撞子模块15,运动分析子模块16,路径规划子模块17所组成;视觉数据库层由视视觉数据库模块20,通讯与测试模块21,二维图像数据模块22,三维面形模块23和距离图像数据模块24所组成;数据传感层由视觉传感集成装置27所组成;辅助层由视觉引导模块18,人机视觉接口模块19,电机驱动A模块25所和电机驱动B模块26所组成。本发明与同类系统相比具有的特点是:总体上是一个具有一般视觉功能的模块化结构,每一模块具有特定功能,并可根据需要增减功能模块;是一个由低到高层次分明的分层结构,有利于将机器视觉的各种思想在不同层次上互补和统一,并可根据人工智能及人工神径网络的进展,在高层视觉处理上加上相应的模块;有利于与智能机器人大系统相衔接;所有视觉子模块共用视觉数据库模块20,各视觉子模块对数据的处理并非一下子全部完成,而是受特定任务驱动,根据需要分别调用;开放性好,可以方便地增减硬件和软件;视觉数据库模块20通过模块相互通讯与测试模块21,可提高传感数据的可靠性;通过视觉引导模块18,具有主动视觉引导功能;由于具备人机视觉接口模块19,为临场感的建立,人对机器的控制、人脑思维的发挥提供了可能;成本低,在不增加硬件的前提下,增加信息处理模块就可以扩充系统的功能。本发明是一种机器视觉分层模块结构模型,一般意义上它包括了文字或图形的特征提取及识别,场景中简单物体的识别与定位;场景中目标方位及距离探测,多个目标的空间关系,目标运动分析,长序列运动图像特征跟踪,障碍探测,动目标预测,防撞分析,基于视觉的路径规划,具体情况下,根据特定任务调用其中一个或几个功能模块,并共用基本数据库。另外,还赋予它视觉引导模块18和人机视觉接口模块19,以完成视觉与环境的交互、人对机器的控制和临场感的建立。

Claims (1)

1.一种机器视觉分层模块结构模型是由五个层次、多个模块,就是由机器人主体结构中的全局数据库1,任务分解列2a、2b、2c,传感器种类调用分解模块3,听觉模块4,触觉模块5,视觉模块6,力觉模块7,味觉模块8,视觉指令分解模块9,文字识别子模块10,图形识别子模块11,面形识别子模块12,区域分割子模块13,障碍探测子模块14,预测防撞子模块15,运动分析子模块16,路径规划子模块17,视觉引导模块18,人机视觉接口模块19,视觉数据库模块20,模块间测试与通讯模块21,二维图像数据模块22,三维面形模块23,距离图像数据模块24,电机驱动A模块25、电机驱动B模块26,视觉传感集成装置27所构成,其特征在于:
a.视觉指令分解层由视觉指令分解模块9组成;视觉功能子模块层由文字识别子模块10,图形识别子模块11,面形识别子模块12,区域分割子模块13,障碍探测子模块14,预测防撞子模块15,运动分析子模块16,路径规划子模块17所组成;视觉数据库层由视视觉数据库模块20,通讯与测试模块21,二维图像数据模块22,三维面形模块23和距离图像数据模块24所组成;数据传感层由视觉传感集成装置27所组成;辅助层由视觉引导模块18,人机视觉接口模块19,电机驱动A模块25所和电机驱动B模块26所组成;
b.视觉指令分解模块9,它将机器人主体传来的命令,根据特定任务,分解成调用不同视觉功能模块的子命令;
c.文字识别子模块10、图形识别子模块11、面形识别子模块12、区域分割子模块13、障碍探测子模块14、预测防撞子模块15、运动分析子模块16、路径规划子模块17,它们一起组成一般意义上的视觉系统,各模块被特定任务驱动;
d.视觉数据库模块20,它划分为二维图像数据模块22、三维面形模块23、距离图像数据模块24,并在视觉数据库模块20的通讯与测试模块21的协调下进行测试和通讯,确保传感数据的可靠性;
e.视觉传感集成装置27,由它获取二维图像数据、三维面形数据、距离图像数据;
f.视觉引导模块18、人机视觉接口模块19,实现机器视觉与环境交互、人对机器的控制和临场感的获得。
CN 00125292 2000-09-21 2000-09-21 机器视觉分层模块结构模型 Pending CN1343551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 00125292 CN1343551A (zh) 2000-09-21 2000-09-21 机器视觉分层模块结构模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 00125292 CN1343551A (zh) 2000-09-21 2000-09-21 机器视觉分层模块结构模型

Publications (1)

Publication Number Publication Date
CN1343551A true CN1343551A (zh) 2002-04-10

Family

ID=4591084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 00125292 Pending CN1343551A (zh) 2000-09-21 2000-09-21 机器视觉分层模块结构模型

Country Status (1)

Country Link
CN (1) CN1343551A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100389013C (zh) * 2005-04-01 2008-05-21 北京理工大学 基于多信息融合的仿人型机器人作业场景重构方法
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN104302453A (zh) * 2012-06-08 2015-01-21 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
CN105137824A (zh) * 2015-07-29 2015-12-09 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人表情反馈方法和装置
CN107891448A (zh) * 2017-12-25 2018-04-10 胡明建 一种机械视觉听觉触觉以时间相互映射的设计方法
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100389013C (zh) * 2005-04-01 2008-05-21 北京理工大学 基于多信息融合的仿人型机器人作业场景重构方法
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN102317954B (zh) * 2009-02-16 2014-09-24 戴姆勒股份公司 检测对象的方法
CN104302453A (zh) * 2012-06-08 2015-01-21 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
CN104302453B (zh) * 2012-06-08 2016-07-06 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
CN105137824A (zh) * 2015-07-29 2015-12-09 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人表情反馈方法和装置
CN107891448A (zh) * 2017-12-25 2018-04-10 胡明建 一种机械视觉听觉触觉以时间相互映射的设计方法
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109129474B (zh) * 2018-08-10 2020-07-14 上海交通大学 基于多模态融合的机械手主动抓取装置及方法

Similar Documents

Publication Publication Date Title
Shan et al. Research on landscape design system based on 3D virtual reality and image processing technology
CN109828658B (zh) 一种人机共融的远程态势智能感知系统
CN110737968B (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN108268128A (zh) 一种安全生产应急预案3dvr虚拟现实演练系统
CN106378780A (zh) 一种机器人系统、控制机器人的方法和服务器
CN106709481A (zh) 一种基于二维‑三维语义数据集的室内场景理解方法
CN110598957B (zh) 路径规划方法、装置、计算机设备及存储介质
CN108376198B (zh) 一种基于虚拟现实的人群仿真方法及系统
CN109444912A (zh) 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN110766151B (zh) 一种基于场景的开放式神经网络模型管理系统
CN109000655A (zh) 机器人仿生室内定位导航方法
CN107543531A (zh) 一种机器人视觉定位系统
Bouvier et al. Crowd simulation in immersive space management
CN107972027A (zh) 机器人的定位方法和装置、机器人
Bruzzone et al. Mixed reality for industrial applications: interactions in human-machine system and modelling in immersive virtual environment
CN110780325B (zh) 运动对象的定位方法及装置、电子设备
CN1343551A (zh) 机器视觉分层模块结构模型
CN109662830B (zh) 一种语言导盲手杖、基于该手杖的深度神经网络优化方法
KR20210054408A (ko) Gis를 이용한 모델링 장치 및 방법
CN110059436A (zh) 航天飞行器自主保障系统三维可视化软件开发
CN117880994A (zh) 一种基于Wi-Fi感知的多模态虚实融合方法及装置
CN116934977A (zh) 一种基于三维占用预测和神经渲染的视觉三维感知方法及系统
CN208225113U (zh) 一种用于vr设备仿真模拟的数据采集装置
Thieling et al. Scalable sensor models and simulation methods for seamless transitions within system development: from first digital prototype to final real system
Li et al. Design of the 3D Digital Reconstruction System of an Urban Landscape Spatial Pattern Based on the Internet of Things

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication