CN1306458C - 三维监视装置及系统和三维空间监视方法 - Google Patents

三维监视装置及系统和三维空间监视方法 Download PDF

Info

Publication number
CN1306458C
CN1306458C CNB031205402A CN03120540A CN1306458C CN 1306458 C CN1306458 C CN 1306458C CN B031205402 A CNB031205402 A CN B031205402A CN 03120540 A CN03120540 A CN 03120540A CN 1306458 C CN1306458 C CN 1306458C
Authority
CN
China
Prior art keywords
object space
monitored object
camera head
pattern light
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031205402A
Other languages
English (en)
Other versions
CN1444008A (zh
Inventor
川池襄
高市隆一郎
池永赖央
饭田丰男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN1444008A publication Critical patent/CN1444008A/zh
Application granted granted Critical
Publication of CN1306458C publication Critical patent/CN1306458C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/144—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Abstract

本发明涉及一种三维监视装置，通过采用图案光作为检测介质，可以高精度地检测出规定三维空间内的侵入物体。该三维监视装置设置有：向成为监视对象的三维空间照射规定图案光的照射装置、通过上述图案光的照射对上述三维空间内的侵入物体以及在屏幕上投影的映像图案摄像、获取图象数据的摄像装置、通过将由摄像装置这时获取的监视图象与在没有物体进入到三维空间内时所获取的参考图象进行比较而检测在三维空间中侵入物体的位置的检测装置。

Description

三维监视装置及系统和三维空间监视方法
技术领域
本发明涉及一种适合用于检测人体等进入工厂内的生产线和产业用机械等的危险区域中的三维监视装置，特别是涉及通过采用图案光作为载体而可以获取进入规定三维空间内的物体的位置信息的三维监视装置。
背景技术
近年来，在工厂等处，为防止各种机械装置将操作者卷入事故的发生、和由于意外物体进入等造成装置破损的情况发生，导入检测有无物体进入规定区域(三维空间)的监视装置的情况逐渐增多。
作为监视装置，众所周知有通过连接多条光线监视规定平面的区域传感器、和使用多角镜等通过激光束扫描而监视规定平面的激光扫描型传感器等。如果使用这些监视装置，例如当检测到物体进入时可以实施立即使装置停止等的自动控制。
但是，这些现有技术的传感器(监视装置)，由于均是由入射光在空间上展开假想光检测面，只对横切(遮挡)该光检测面的物体作出反应并产生输出，即是以所谓的“二维(平面)监视”为前提的装置，所以可以讲，不适合用于任意三维空间的监视。即，即使以任意三维空间作为监视对象，也存在这样的问题，即实际能监视(检测)的只是从光检测面展开的一侧有无物体的进入，而对于不通过该光检测面而侵入到规定三维空间内的物体等不能反应。
此外，这些现有技术的传感器，本质上只是检测有无遮蔽光检测面的物体存在，而不能满足用户需要检测到在规定三维空间内物体侵入状态(侵入到三维空间内什么位置等)的要求。
发明内容
本发明正是着眼于上述问题，其目的在于提供一种三维监视装置，通过采用图案光作为检测介质，可以高精度检测出规定三维空间内的物体侵入。
本发明的另一目的在于提供一种三维监视装置，通过采用图案光作为检测介质，可以获取规定三维空间内的侵入物体的位置信息。
本发明的其它目的和作用效果，通过参照以下的说明书内容，本领域人员可以容易理解。
为了达到上述目的，本发明的三维监视装置具有：向成为监视对象空间的三维空间照射规定图案光的照射装置；通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置；通过将由所述摄像装置这时获取的图象数据与和在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据进行比较、获取在所述监视对象空间中的侵入物体的位置信息的位置检测装置。
在此使用了“图案光”，而这里所谓的“图案光”是指，例如在平面屏幕上照射该图案光时会映射出一定形状以及模样的映像(一定的映像图案)的光束。又，虽然使用了“映射出”，而在这里所谓的“图案光”中，包括红外光等人眼不能识别的波长的光。又，作为“一定模样以及形状”的一例，可以举出格子状模样、同心圆模样、同心多角形模样等。
作为“照射装置”的具体一例，可以举出激光照射装置。又，作为“摄像装置”，可以举出CCD摄像机等。
虽然使用了“上述监视对象空间内存在的物体表面以及在构成该监视对象空间的背景的规定物体”，而作为该物体，优选使用预先准备的平面屏幕。这样可以提高图案光的反射效率，稳定检测。又，在这种情况下，这里所谓的‘构成背景的规定物体’虽然另外准备，该物体也可以是本身就已经存在的例如‘墙壁’等。
又，“与图象数据相当”，是指基准图象数据也可以不是由摄像装置直接获取的数据。即，只要是“和在监视对象空间内不存在进入物体时由摄像装置获取的图象数据相当”数据，也可以通过PLC等外部装置直接输入的数据等。
本发明的三维监视装置，由于采用图案光作为载体(检测介质)进行监视的装置，所以不仅可以平面监视，而且可以监视三维空间的物体侵入。又，本发明的三维监视装置由于是检测物体的存在位置的装置，不仅可以用于检测侵入物体的有无，而且可以适合用于位置检测等各种各样的三维空间监视。
在本发明中，优选还包括根据位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置。
依据这样的方案，可以容易构筑根据监视对象空间内物体侵入的情况让规定设备装置紧急停止，或者自动发出警报等的安全系统。这样，可以预防作业者卷入事故等灾害的发生。
在本发明中，优选基准图象数据通过由摄像装置的摄像的示教所获取。
依据该方案，即使在背景等环境容易发生变化的场所使用，适应这种时刻不同的变化，可以适当设定或者变更贴切的基准图象。
又，对于图案光的生成以及产生模样，可以是各种各样。作为一优选例，让本发明中的照射装置，具有产生激光的激光二极管等光源体、将该光源体产生的激光光束变换成规定图案光的图案光产生器，这样，可以产生激光图案光。
在此，虽然使用了“图案光生成器”，作为该生成器，适合采用MLA(Micro Lens Array)或者CGH(Computer Generated Holograph)。一般讲，由于MLA和CGH没有可动部，耐用性好，并且由于是超小型，装置本身可以轻量化。
又，在本发明中，优选照射装置具有通过控制图案光的照射方向让该图案光在规定范围内可以扫描的扫描机构，摄像装置通过由上述扫描机构让图案光对上述监视对象空间内进行扫描，获取和在预定的方向和时刻向该监视对象空间投影的多个瞬间映像图案的合成映像相当的图象数据。
依据这样的方案，通过调整扫描范围可以变更、调整监视范围，并且通过调整合成映像，可以变更、调整检测分辨率。
在此，作为扫描机构，更优选适用包括光反射体、通过电磁诱导进行扭曲转动控制而支撑上述光反射体可让其自由转动的支撑部件的微机电结构(MEMS：Micro Electro Mechannical System)。
MEMS制造技术，是由于其实用性而受到瞩目的技术。在本发明中，特别是作为扫描机构通过采用上述那样不需要可动部的由电磁诱导控制的MEMS，不会出现采用多角镜等时所常见的由于摩擦热和金属疲劳等产生故障的情况，可以期待装置的长寿命化。
本发明，如上所述，是获取侵入物体的位置信息的装置，为了获取更详细的位置信息，优选包括作为照射手段的照射装置、和作为摄像手段的摄像装置，位置检测装置利用照射装置以及摄像装置之间的已知位置关系、图案光的已知形状或者模样、根据由摄像装置这时获取的图象数据和预先获取的基准图象数据求出的变位，根据三角测量原理计算监视对象空间内侵入物体的三维位置坐标。
该计算方案，只不过是一优选例，本发明中的位置信息的计算方案并不限定于基于三角测量原理的方案。
又，为了获取更详细的位置信息，在依据另一优选方案的本发明的三维监视装置中，上述摄像装置和上述照射装置，配置成连接摄像装置和照射装置的假想线与水平面之间形成的角度为45度，这样，通过视差检测侵入物体的位置信息。
依据这样的方案，在高度方向和宽度方向上可以产生大致均等的‘视差’，所以由位置检测装置可以更正确地进行检测。
又，依据优选方案的本发明的三维监视装置，进一步包括从预先假想分割成多个区域的上述监视对象空间内通过用户操作而任意选择的区域作为指定区域确定的同时，对每个指定区域设定从预先准备的多个输出种类中通过用户操作而任意选择的输出种类的装置，位置检测装置作为侵入物体的位置信息获取该进入物体存在的区域的特定信息，判定输出装置根据在由上述位置检测装置确定的区域中所设定的输出种类、输出机器控制信号。
在此，作为“预先准备的多个输出种类”，如果举出几个例子，例如有机器停止信号输出、警告信号等点灯信号输出、警报动作信号输出等。当然，除此之外，也可以预先设定或者准备各种各样的输出种类。
此外，“特定信息”是指‘为确定相当的区域的信息’，作为一例可以举出例如是分配给分割成多个的每个区域的顺序编号信息等。
依据这样的方案，根据各区域有无物体进入，可以自动输出针对相当的区域设定的机器控制信号。
在此，更优选输出种类设定按照根据图案光的形状和模样所区分的体素单位进行。
在此，作为“根据图案光的形状所区分的体素”，如果以格子状的图案光为例，例如可以举出由格子线和规定的假想截面所区分的体素等。
依据这样的方案，假想分割的区域容易由用户识别(选定)，这样容易进行输出种类设定。
又，在上述方案中，指定区域，也可以通过在监视对象空间内的所希望的位置上设置物体的状态下进行摄像、抽出该物体存在的区域的方式自动确定。
该自动确定，相当于所谓的‘示教’，依据这样的方案，不是进行暧昧的区域选定，而是进行不会有错的可靠的区域选定。
又，依据另一优选方案的本发明的三维监视装置，进一步包括从预先假想分割成的多个区域的上述监视对象空间内通过用户操作而任意选择的区域作为指定区域确定的同时，对每个指定区域设定从预先准备的多个输出种类中通过用户操作而任意选择的输出种类的装置，位置检测装置、根据连续获取的多个监视图象数据的时序的变化，检测侵入物体的移动状态，判定输出装置，根据检测结果确定该侵入物体的预想到达区域，根据该预测到达区域和该区域中设定的输出种类，输出机器控制信号。
在此使用了“侵入物体的移动状态”，而作为“移动状态”可以举出移动方向、移动速度等。
作为“确定预想达到区域”，在此，对于成为该特定的基准的时候并不限定。即例如，可以是确定(预测)规定时间后(例如‘1秒后’)的物体到达区域，或者在规定时间内预测物体到达的多个区域，分别计算出到达预测时刻，将此加入到输出的判断基准中。
依据这样的方案，可以根据侵入物体到达规定区域的预测进行机器控制。又，即使是移动速度快的物体等，也可以极其敏捷反应，输出控制信号。
然后，在本发明的三维监视装置中，可以加入自己诊断功能。例如，在本发明的三维监视装置中，通过进一步设置确认由照射装置所照射的图案光的映像图案是否与预定的映像图案一致，当确认为一致时、保证这时各构成装置正常动作的自己诊断装置，而进行附加。
除此之外，作为自己诊断，也可以举出将基准图象数据与这时获取的监视图象数据对照，根据特定部位是否一致，自动检测自身的动作有无异常发生的装置。
又，作为另一例，也可以举出：通过让照射装置所照射的光的一部分直接照射在摄像装置的摄像面上所获取的图象数据中，根据是否正常出现预定的校对模样，自动检测自身动作有无异常发生的装置。
依据任一方案，可以实现自己诊断功能，所以可以预防监视装置本身的故障等引起的检测误动作。
此外，“自己诊断”，如果在实施例水平进行考察，优选由三维监视装置进行监视动作处理之前进行。具体讲，例如，可以举出：让一次自己诊断处理和一次监视动作处理(例如将一次图象摄取的处理规定为一次处理)交互循环进行的方案(自己诊断→监视→自己诊断→监视…)，或者装置启动时进行一次自己诊断，然后反复进行监视动作的方案(自己诊断→监视→监视…)等。这时，通过“自己诊断”，当照射装置、扫描装置、摄像装置等三维监视装置的构成要素的任何一个确认有异常时，不能照射规定的图案光，禁止监视动作的开始。又，也可以进行用于向外部通报自己诊断NG的规定输出。同时，也可以根据该通报输出，让监视对象的机器停止等，进行安全的处置。
此外，上述本发明的三维监视装置，也可以同时使用多台，从多个方向监视成为监视对象的监视对象空间。
附图说明
图1是本发明的三维监视装置的整体构成图；
图2是光源单元的构成以及动作内容的概略示意图；
图3是作为扫描机构所采用的MEMS的构成示意图；
图4是摄像机单元的概略构成示意图；
图5是控制器单元的构成方框图；
图6(a)、图6(b)是MEMS的振动角度与监视范围、检测分辨率之间关系的示意图；
图7表示监视对象空间的体素分割的示意图；
图8(a)、图8(b)表示光源单元和摄像机单元的位置关系示意图；
图9表示监视空间设定模式的内容的流程图；
图10表示光源单元中监视器用光源体的设置模样示意图；
图11表示校正模式的内容的流程图；
图12表示MEMS的振动角度与激光光源体的振动控制以及摄像时刻控制之间的关系的时序图；
图13是8字1周的合成图案映像示意图；
图14(a)、图14(b)表示光轴和格子图案光的各格子线之间所成角度(θx，θy)的示意图；
图15表示数据保存处理的内容的流程图；
图16表示格子线的数据结构例的示意图；
图17(a)、图17(b)表示对监视空间的输出种类设定的一例的示意图；
图18表示监视空间设定用的界面(微机画面)的一例的示意图；
图19(a)、图19(b)是用于说明有关输出种类设定的体素自动选定(示教)的内容的图；
图20表示同时使用2组光源、摄像单元的例的示意图；
图21表示自己诊断处理的内容的流程图；
图22(a)、图22(b)表示图象处理检测部的图象处理内容的示意图(其一)；
图23(a)、图23(b)表示图象处理检测部的图象处理内容的示意图(其二)；
图24(a)、图24(b)表示图象处理检测部的图象处理内容的示意图(其三)；
图25表示适用于本发明中的基于三角测量的测距原理的示意图；
图26表示有关距离检测的处理内容的流程图(其一)；
图27表示有关距离检测的处理内容的流程图(其二)；
图28表示有关距离检测的处理内容的流程图(其三)；
图29(a)、图29(b)表示监视空间中物体到达区域预测处理的内容的示意图；
图30表示物体到达区域预测处理内容的流程图；
图31表示另一实施例中自己诊断处理用的装置构成的示意图；
图32表示另一实施例中自己诊断处理用的装置控制内容的时序图；
图33(a)、图33(b)表示另一实施例中有关自己诊断处理的获取图象的一例的示意图。
具体实施方式
以下参照附图详细说明有关本发明的三维监视装置的优选实施例。
首先，根据图1说明本实施例中三维监视装置的整体构成以及动作的概略。如该图所示，该三维监视装置100包括作为照射装置的光源单元1、作为摄像装置的摄像机单元2、统一控制这些装置的控制器3。
光源单元1根据控制器3的控制发出规定激光图案光(以下称为图案光)照射作为监视对象的三维空间(以下称为监视空间S)。在该例中，在监视空间S的背后配置屏幕5，在该屏幕5上根据从光源单元1发出的图案光映射出图案映像(在该例中是人眼不能识别的红外光映像)。
在监视空间S中当有人或者物体等侵入时(以下称为侵入物体M)，在屏幕5上映射出的红外光图案映像发生变化。这种变化后的图案映像由摄像机单元2摄像，通过图象处理，检测出侵入物体M(在该图中描绘的是人物)的位置和移动方向。
控制器3，控制光源单元1、摄像机单元2，同时进行根据该侵入物体M的在监视空间S中的检测位置或者移动方向的输出。更具体地说，在该例中，向信号灯6输出点亮/熄灭灯的控制信号(在本实施例中为‘停止(红色)’、‘警告(黄色)’、‘不感应(兰色)’)，同时向作为控制对象的设备机器4输出控制信号(动作开始(ON)、动作停止(OFF))。又，根据侵入物体M的检测位置、移动方向输出怎样的信号，是根据由用户预先通过控制器3任意设定的输出种类设置而确定。
根据图2说明光源单元1的详细内容。光源单元1的构成包括发射红外激光的光源体11、将光源体11发射的红外激光光束变换成规定图案光的作为图案光产生器的MLA(微镜阵列：Micro Lens Array)12、具有由电磁诱导进行动作控制(振动控制)的反射镜面(参见图3)、将由MLA所产生的图案光导入到监视空间S中的任意场所的作为扫描机构的微机电结构(MEMS：Micro Electro Mechanical System)13。又，该图中符号Ls表示图案光的光轴(从光源体11发射的激光光束光轴的假想延长线)。
光源体11所发射的红外激光光束的强度为不对人体有不良影响的程度，该红外激光光束通过MLA12变换成格子状(网格状)的图案光(该图中符号A21～A25表示其模样)。该图案光通过MEMS13的反射镜面向规定方向反射，从而在监视空间S内让图案光扫描。又，光源体11的振荡控制、ON/OFF控制以及MEMS13的动作控制通过控制器3进行。
光源体1进一步还包括后述的监视空间S的设定用的监视器用光源体(可视激光光源)14以及单向透镜15(参见图10)，这些将在后面说明。
根据图3说明MEMS13的详细内容。又，在该图中虽然只画出了符号134、135所示的扭轴(torsion bar)，但在其周围还连接着图中未画出的硅基底(参见图2的MEMS13)。又，该图中符号136、137表示电磁诱导用的永磁铁。
在本实施例中所使用的MEMS13包括设置在硅基板130上的反射面131，在搭载反射面131的硅基板130表面上形成有在该图中用连续线描绘的线圈图案。然后，以该图中符号132、133、134、135所示的扭轴(硅的两腕)作为转动轴，在规定的角度范围内向该图中所示的X轴、Y轴两方向上可以振动控制。
更详细地说，如果在特定方向上施加磁场B(BA、BB)，同时线圈中流入电流i(iA、iB)，由洛伦兹力(FA、FB)产生转动力矩，可以让硅基底(反射面131)振动到与扭轴的恢复力均衡的位置上。因此，依据MEMS13，通过在X轴方向上制作的扭轴(134、135)和在Y轴方向上制作的扭轴(132、133)，可以自由控制图案光的照射方向。
光源单元1通过采用上述构成，依据本实施例可以获得以下所示(a)、(b)的效果。
(a)通过更换MLA，不仅可以产生格子状的图案光，而且可以产生例如同心圆状或者同心多角形状等的各种图案光。
(b)在MLA12以及MEMS13上，由于没有例如象多角镜那样产生摩擦的可动部，所以可以延长装置的寿命。
又，作为图案光产生器，也可以采用CGH(计算机合成全息图)替代MLA。这时也可以和上述同样获得(a)、(b)的效果。
根据图4说明摄像机单元2的构成。如该图所示，摄像机单元2由包含摄像装置21a和快门机构21b的摄像机21、与光源体11发射的红外光的波长对应的带通滤波器(BPF：bandpass filter)22所构成，通过由控制器3控制快门时刻，对屏幕5和侵入物体M投影的映像图案进行摄像。此外，在本实施例中，由于摄像机21采用CCD摄像机，实际上并不存在快门机构21b，在此是为了说明摄像机单元2的功能而图示出。
又，在该例中，带通滤波器22可以防止荧光灯和太阳光等外部光的侵入。
控制器3的构成如图5的方框图所示。如该图所示，控制器3包括设定控制部30、光源单元控制部31、摄像机单元控制部32、图象处理检测部33、自己诊断部34、判定部35。
又，控制器3具有该图中‘用户设定输入(IN1)’、‘摄像机图象信号输入(IN2)’所示的2个输入、‘机器控制信号输出(OUT1)’、‘点灭灯控制输出(OUT2)’、‘光源单元控制信号输出(OUT3)’、‘摄像机单元控制信号输出(OUT4)所示的4个输出。
设定控制部30根据用户设定输入(IN1)，切换三维监视装置100的动作模式，通过用户设定输入(IN1)获得的各种设定输入值(数据)被保存在规定的存储器内。
在本实施例中，作为动作模式，准备有4个模式，在以下依次说明。
1)监视模式
(内容)用于检测侵入到监视空间S中的侵入物体M的位置和移动方向，并产生对应于检测结果的输出的监视模式。
2)监视空间设定模式
(内容)进行监视空间S的范围设定用的设定模式
(详细说明)图6(a)、图6(b)是表示MEMS13的振动角度和监视范围、检测分辨率之间的关系的示意图。光源单元1，通过MEMS13的动作控制而在监视空间S内扫描格子状的图案光。这时，如图6(a)所示，如果增大设置MEMS13(反射面131)的振动角度(以下称为‘振角’)θ(用θwx61表示)，扩大其扫描范围(该图中符号A61所示的合成图案映像投影范围)，可以监视比较宽的范围。
另一方面，如图6(b)所示，如果减小设置MEMS13的振角θ(用θwx62表示)，缩小其照射范围(该图中符号A62所示的合成图案映像投影范围)，可以提高格子线密度(单位面积内的格子线数)，可以进行分辨率比较高的检测。
在监视空间设定模式中，上述MEMS13的振角θwx(或者θwy)通过规定的用户操作接收。
又，在图6所示的例中，虽然只示出了MEMS13在X轴方向上(环绕Y轴)的动作(振动)的样子，如以上说明的那样，在本实施例中所适用的MEMS13，可以在X、Y轴两方向上扫描图案光。
3)校正模式
(内容)获取从摄像机单元2到屏幕5之间的距离数据L(参见图8(a))。又，在监视空间S中侵入物体M不存在的状态下进行图案光的照射，由此用摄像机单元2对投影在屏幕5上的图案映像进行摄像，获取基准图象(以下称为参考图象)的模式。
(详细说明)在本实施例中，如后面所述，根据由摄像机单元2摄像到的在监视模式时的图象(以下称为监视图象)与参考图象的比较，利用三角测量原理，计算出到侵入物体M的距离。又，在该校正模式下获取的距离数据L，在后述的自己诊断时使用。
4)输出种类设定模式
(内容)是用于进行对应于在监视空间S内侵入物体M的位置以及移动方向的输出的输出种类设定模式。
(详细说明)在上面的监视空间设定模式下设定了其范围的监视空间S，被切割成图7所示的假想的多个体素(Volume Pixel)(在该例中为4×4×3个)。在该例中，与有无向各体素的物体侵入相对应，可以按体素单位(也可以多个体素合在一起)预先设定何种输出种类。
在该例中，作为输出种类，准备了‘停止’、‘警告’、‘不感应’3种。对于设定形式，将在后面说明，在该模式下设定的输出种类设定数据，在判定部35种使用。顺便说明，设定的缺席值(default value)，为(b)的警告。
又，图7中符号A71～A74所示格子图案，是示出将监视空间S在前后方向上3分割时的各分割面上所识别的概念上的假想合成图案映像(通过扫描图案光所生成的在该例中的4×4合成图案映像)。该图所示的体素Vp，是相当于将监视空间S在前后方向上3分割后的中央空间S2中的由合成图案映像A72、A73的格子线所区分的平面区域P72和平面区域P73之间的空间的体素。
返回到图5，光源单元控制部31，根据保存在设定控制部30中的振角设定值(θwx，θwy)，进行MEMS13的动作(振角)控制，同时进行光源体11(以及后述的显示器用光源体14)的ON/OFF控制、振荡控制。
摄像机单元控制部32，进行摄像机单元2的快门时刻控制以及图象获取控制，获取监视图象以及参考图象。该图象作为2值化数据保存在图象处理检测部33的帧存储器F1以及F2中。又，快门时刻控制，参考光源单元控制部31的振荡状态(振荡控制信号)、和MEMS13的动作状态(振角控制信号)进行。
图象处理检测部33，通过对由摄像机单元控制部32获取的监视图象和参考图象进行比较，利用三角测量原理检测侵入物体M的存在位置(空间坐标z(x，y))，将其检测结果输出给判定部35。又，图象处理检测部33，包括保存由摄像机单元控制部32获取的图象数据的帧存储器FM1(监视图象用)和FM2(参考图象用)。
自己诊断部34，诊断三维监视装置100是否正常动作。更具体讲，根据通过摄像机单元控制部32适当获取的图象数据，诊断激光单元控制部31、摄像机单元控制部32是否正常动作。将诊断结果输入给判定部35。
判定部35，根据图象处理检测部33的检测结果、设定控制部30所输入的监视空间设定、体素Vp单位的输出种类设定、自己诊断部34的诊断结果，从如前所述3个种类中确定点灭灯控制信号(OUT2)，同时确定向设备机器4输出的机器控制信号(OUT1)。
又，判定部35，根据侵入物体M的移动速度和移动方向，预测有无向预先指定的规定体素的侵入，如果明确是侵入时，可以事先让机器控制信号输出(OUT2)为‘动作停止’(预测停止功能)。对此将在后面说明。
以下依次详细说明本实施例的三维监视装置100的动作。
图8(a)、图8(b)表示本实施例的三维监视装置100中光源单元1和摄像机单元2之间的设置位置关系的示意图。如图8(a)所示，光源单元1、摄像机单元2，分别让其正面(正确讲，对于光源单元1为MEMS面，对于摄像机单元2为摄像机镜头面)与屏幕5之间成等距离(该图中用距离L表示)，相互邻接配置。进一步，光源单元1和摄像机单元2之间的位置关系，同时满足下述a)～c)的条件。
a)光源单元1的光轴(图8中用点划线J1表示)和摄像机单元2的光轴(图8中用点划线J2表示)平行。又，光源单元1的光轴J1是MEMS面的法线，摄像机单元2的光轴J2是镜头面的法线。
b)光源单元1发射的图案光的横方向的格子线、和由图象处理检测部33获取的图象数据的X轴(摄像机单元2的摄像元件(CCD)的扫描方向(后面详细说明)平行。
c)摄像机单元2配置在光源单元1的左斜下方45度(用图8(b)的角度θ80表示)的位置上。
又，这些条件是以适用于后述的物体位置检测用计算式为前提情况下的设置条件，光源单元1和摄像机单元2之间的位置关系并不限定于此。
又，如果对上述条件c)进行补充，摄像机单元2配置在光源单元1的左斜下方45度的位置上，是为了在X、Y轴两方向上产生均等的视差，例如配置方向为右上、左上、右下时也会获得同样的效果。
监视空间设定模式中的三维监视装置的动作内容如图9的流程图所示。
监视空间设定模式，以通过用户设定输入(IN1)指定监视空间设定模式为条件(步骤901、步骤902为YES)启动(步骤904)。又，由用户设定输入(IN1)指定其它模式时(步骤902为NO)，切换成各指定模式所对应的模式(步骤903)。
监视空间设定模式启动后，通过光源单元控制部31的控制开始由图10所示的显示器用光源体14进行激光振动。同时，根据保存在设定控制部30的规定存储器中的振角设定值(θwx，θwy)，让MEMS13在X、Y轴两方向上振动(步骤905)。又，只是在初次设定中该振角设定值采用缺席值。
又，在图2中虽然未画出，显示器用光源体14，如图10所示，是设置在光源单元1中的可视激光振荡用的光源体，该光源体14发射的激光光束由配置在光源体11和MLA12之间的单向透镜15以与光源体11发射的激光光束相同的光轴Ls入射到MLA12上。
这样，扫描和由光源体11产生的图案光相同模样的可视图案光，在屏幕5上映射出可以目视的合成图案映像。用户可以一边观察该合成图案映像，一边确认监视空间S的设定范围。
然后，用户操作连接在设定控制部30上的图中未画出的操作杆开关(操作部)(步骤906为YES)，根据该操作变更振角(步骤907)，改变在屏幕5上映射的合成图案映像(图案光扫描范围)。在开关操作之后，用户按下图中未画出的确认按键，将这时的振角作为新的振角设定值(θwx，θwy)改写保存在设定控制部30的规定存储器上(步骤909)，处理结束。
这样，在本实施例中，利用监视空间设定模式，用户通过可以目视的合成图案映像，可以设定监视空间S。
校正模式中的三维监视装置的动作内容如图11的流程图所示。
校正模式，以通过用户设定输入(IN1)指定校正模式为条件启动(步骤1101)，首先处于如前所述的距离数据L的输入等待状态(步骤1102为NO，步骤1103)。当通过控制器3的键盘操作部(例如数字键)，由用户输入距离数据L(步骤1102为YES)时，该距离数据被保存在设定控制部30的规定存储器内(步骤1104)。
然后，将在上面保存在设定控制部30中的MEMS13的振角设定值(θwx，θwy)读出(步骤1105)。
光源单元控制部30，进行光源体11的激光振荡控制，同时根据读出的振角设定值(θwx，θwy)进行MEMS13的振角控制，将合成图案映像投影在屏幕5上(步骤1106)。
摄像机单元控制部32，控制摄像机单元2，对投影在屏幕5上的合成图案映像进行摄像(步骤1107)，将这样获取的图象数据2值化，作为参考图象保存在图象处理检测部33的帧存储器FM2中(步骤1108)。又，如上所述，在该校正模式下获取参考图象是在监视空间S中侵入物体M不存在的状态下进行。
又，在图11的流程图中，在步骤1106所示的MEMS13的振角控制时，光源单元控制部30向光源单元1输出图12所示的时序图所示的控制信号。
又，在该图(a)中表示有关X轴方向上的振角(θwx)的控制信号，在该图(b)中表示有关Y轴方向上的振角(θwy)的控制信号，在该图(c)中表示光源体11的振荡控制信号(点灭控制)，在该图(d)中表示在各时刻投影的瞬间图案映像(图13所示的A121～A124)。
在校正模式时，光源单元控制部31，向光源单元1输出图12中(a)、(b)所示的MEMS的振角控制信号、和该图(c)所示的光源体11的点灭灯(点灭)信号。图13中，符号A120所示的图案映像，表示根据该控制信号投影在屏幕5上的合成图案映像。
摄像机单元控制部32，监视来自光源单元控制部31的该控制信号，控制摄像机单元的快门机构21b的开闭，使得以8字的1周(在该例中为4个瞬间图象)作为一图象进行记录。图象处理检测部33，将这样获取的8字的1周的图象保存在参考图象用的帧存储器FM2中。
然后，在图象处理检测部33中，根据所获取的参考图象用数据，计算出合成格子图案映像的纵方向(Y轴方向)、横方向(S轴方向)的各格子线与Z轴(激光光束的光轴)之间所成的角度θ。又，该角度θ在计算到侵入物体M的距离时采用。
在此，光源体单元1内的光源体11和MLA12之间的距离为已知，Z轴与基本格子图案映像(在该例中作为4×4的格子图案光表示)的纵向的各格子线之间所成的角度在设计上也是已知的(图14(a)所示的θx1～θx4)。又，Z轴与横向的各格子线之间所成的角度(θy1～θy4)在设计上也是已知的。又，图12中(a)、(b)所示的MEMS13的振角控制信号、和MEMS13的振角(设定值)也是已知的。(这样，MEMS13的振角在X轴方向上在-θw/2～+θw/2，在Y轴方向上在-θh/2～+θh/2之间振动，投影出图13所示的合成图案映像)。
采用产生图14所示的格子图案光的MLA时，图13所示的合成图案映像的最左边的纵向格子线相对于Z轴形成的角度θx成θx＝-θw/2-θx1。同样，纵向和横向的各格子线与Z轴形成的角度可以根据MEMS13的振角和在设计上已知的信息计算出来。
又，在此，为了便于理解，是以4×4的格子状图案光为例进行了说明，但即使格子数增加也可以同样计算出来。
然后，纵向和横向上的各格子线在摄像元件(CCD)上的坐标(xf，yf)从保存在帧存储器FM2中的数据搜寻。将搜寻结果例如保存在以下那样的C语言的数据结构中。
【式1】
typedef struct grid_v{/*纵向格子线保存用数据结构*/
int angle/*与z轴的角度*/
int y_min；/*Y的最小值*/
int y_max；/*Y的最大值*/
int xf[MAX_YSIZE]；/*帧存储器上的格子线的x坐标*/
                   /*MAX_YSIZE：帧存储器的最大Y坐标*/
int yf[MAX_YSIZE]；/*帧存储器上的格子线的y坐标*/
}GRID_V；
typedefstruct grid_h{/*横向格子线保存用数据结构*/
int angle/*与z轴的角度*/
int x_min；/*X的最小值*/
int x_max；/*X的最大值*/
int xf[MAX_XSIZE]；/*帧存储器上的格子线的x坐标*/
                   /*MAX_XSIZE：帧存储器的最大X坐标*/
int yf[MAX_XSIZE]；/*帧存储器上的格子线的y坐标*/
}GRID_V；
GRID_V Lv[GRIDMAX]；
GRID_H Lh[GRIDMAX]；
这些数据的存储处理的详细顺序如图15的流程图所示。又，先说明一下，图16表示由该数据存储处理保存的数据结构的一例(在该例中，摄像了6×7的合成映像图案时的数据结构)。
在数据存储处理中，首先，为检测纵向格子线，以滤光检测出纵向成分(步骤1501)。
然后，为修补由图象处理切断的纵向格子线，进行边缘线的放大和收缩(步骤1502、1503)，强调纵向成分。
然后，对图16所示的图象上的坐标(在该例中为(0，0)～(MAX_XSIZE-1，MAX_YSIZE-1))扫描，检测出纵向格子线。然后，针对所检测出的每个格子线，在相应的数据结构Lv[n]中保存坐标、Y坐标最大值以及最小值、在上面的格子角度计算中获得的与Z轴形成的角度(θx)  (步骤1504)。又，数据结构Lv[n]中所示的‘n’，在该例中表示以左端的格子线为‘0’，向右每进一步加1。
同样，为检测横向格子线，滤光检测出横向成分(步骤1505)。
然后，为修补由图象处理切断的横向格子线，进行边缘线的放大和收缩(步骤1506、1507)，强调横向成分。
然后，对图16所示的图象上的坐标(在该例中为(0，0)～(MAX_XSIZE-1，MAX_YSIZE-1))扫描，检测出横向格子线。然后，针对所检测出的每个格子线，在相应的数据结构Lh[n]中保存坐标、X坐标最大值以及最小值、在上面的格子角度计算中获得的与Z轴形成的角度(θx)(步骤1508)。又，数据结构Lh[n]中所示的‘n’，在该例中表示以左端的格子线为‘0’，向下每进一步加1。
以下详细说明输出种类设定模式。在输出种类设定模式中，设定当在监视空间S中有人或者障碍物等物体M侵入时，确定向设备机器4以及信号灯6的输出(OUT1、OUT2)的输出种类。
输出设定，可以按图7所示的那样以体素单位进行。又，在图7中，虽然设定了4×4×3的体素，体素分割与图案光无关，可以任意设定。
图17(a)、图17(b)表示对监视空间的输出种类设定的一例。在图17(a)所示的设定例中，阴影所示的区域(体素S131、132)设定成‘停止’。当人或者障碍物等进入到该区域中时，信号灯6点亮红色灯，停止设备机器4的运转。又，阴影以外的空白区域设定成‘警告’，当物体M进入到这些区域中时，信号灯6点亮黄色灯，这时，设备机器4的运转继续进行。
有这样的情况，即为了调整设备而需要在监视空间S中作业，在这样的情况下，在作业中，由于其它作业者(或者障碍物)从调整者的背后接近，有可能推调整者，而出现危险情况。这时，通过将作业者需要操作的区域设定成‘不感应’，在确保作业者的安全的情况下，可以提高生产效率。例如，在图17(b)所示的设定例中，当人或者障碍物等进入到体素S132、S133所示的区域中时，信号灯6点亮红色灯，停止设备机器4的运转，而将体素S134所示的区域设定成‘不感应’，在该区域中即使有人或者物等进入，输出也不发生变化。
图18表示为设定监视空间S用的界面的一例。在该例中，采用微机中的软件实现。在微机的显示器140上，同时显示可以鸟瞰将监视空间区分成体素的情况的鸟瞰用映像(18a)、从横方向观察监视空间用于选定体素的XZ选择用映像(18b)、从正面观察监视空间用于指定体素的YX选择用映像(18c)、为设定每个体素的输出种类的输出种类选择用映像(18d)。
使用该界面的用户设定顺序如下。
①在XZ选择用映像(18b)上，用光标指定要设定的体素所属的XZ区域(图中符号B)。
②然后，在XY选择用映像(18c)上，指定要设定的体素所属的XY区域(图中符号C)。这样完成1个体素的指定。
③然后，从输出种类选择用映像(18d)中选择所指定的体素的输出种类。
输出种类选择结束后，在鸟瞰用映像18a上对应的体素以颜色表示(图中符号A)。
④然后，重复①～③，对任意的体素进行必要的输出种类设定。
图19(a)、图19(b)表示另一输出种类设定方法(体素示教)。在该例中，预先在监视空间S内所希望的位置上配置要检测的人或者障碍物等物体M。在该状态下，通过输入规定的设定指示，选择物体M这时所属的体素。然后，在输出种类设定用映像上设定对应于该体素的所希望的输出种类。
图20表示本发明的另一实施例。在上述实施例中，光源单元只使用了1台。为此，例如当作业者等在监视空间S内的指定区域内进行作业时，就不能同时进行对遮住了图案光的其背后的监视。在图20所示的例中，使用和上述实施例中所示的光源单元1和摄像机单元2相同的另一组单元(光源单元1000、摄像机单元2000)，通过分别从不同的方向(在该例中从屏幕5的正面和斜上方)进行照射、摄像，可以覆盖死角，更进一步确保作业者的安全。
以下说明本实施例的三维监视装置的主要功能的监视模式时的动作内容。监视，是通过由用户的操作在设定控制部30设定“监视模式”而实现。
三维监视装置100，在进行监视前进行自己诊断。在此，首先说明在本实施例中所采用的自己诊断方法。
自己诊断时，各单元如下动作。
·光源单元控制部31和校正时同样控制光源单元1，在监视空间S内扫描图案光。
·摄像机单元控制部，和校正时同样监视光源单元控制部31的控制信号，控制摄像机单元2的快门21b，使得能获取8字形的1周的图象数据。又，摄像机单元2摄取图象时，将图象读入用的帧存储器FM1完全清除。
自己诊断部34，将摄像机单元2所摄取的诊断用图象数据和保存在帧存储器FM2中的参考图象数据进行比较，如果确认在相同范围内具有相同的图象图案，输出自己诊断OK。如果不能识别图案，或者所摄取的图象图案的存在区域比参考图象数据中的要宽的多或者窄的多，输出自己诊断NG。
又，自己诊断时，也想定物体M已经侵入到监视空间S内的情况。这时，帧存储器FM1和帧存储器FM2中保存的图象图案之间存在差异。这时，图象图案的不同的地方，如果在参考图象图案的外框内(许容范围内)，判定为侵入物体M的影响，自己诊断为OK。
判定部35，当自己诊断为NG时，立即输出‘停止’控制信号(OUT1)，停止设备机器4。
根据图21的流程图说明有关上述自己诊断的详细动作内容。又，在该流程图所示的例中，采用在图16所示的图案图象在屏幕5上投影的情况的例子。
自己诊断处理开始后，首先，将图象读入用的帧存储器FM1清除(步骤2101)。然后，和校正时同样，摄取8字形的1周的映像图案，将自己诊断图象保存在帧存储器FM1中(步骤2102)。
如果，预先保存在帧存储器FM2中的参考图象和自己诊断图象之间存在差异，可以判定是由于发射、接收、扫描系统出现异常或者有物体侵入所引起。为此，在该例中，抽出参考图象和自己诊断图象之间的差分(步骤2103)  。
如果参考图象和自己诊断图象之间不存在差异(FM1＝FM1-FM2)时(步骤2104为YES)，判定是正常动作(→步骤2107)。
如果参考图象和自己诊断图象之间存在差异(步骤2104为NO)，然后，判定参考图象和自己诊断图象出现差异部分的坐标是否在参考图象的外周格子线以外(相当于图16所示的Lh[0]～Lh[7]以及Lv[0]～Lv[6]的范围之外)(是否在允许范围内)。在此，如果不在允许范围内(步骤2105为NO)，由于可能是过度扫描，自己诊断为NG(步骤2108)，处理结束。
另一方面，如果差异在允许范围内时(步骤2105为YES)，搜索纵向格子线的左右端(Lv[0]，Lv[6])，如果均正常检测出来(步骤2106为YES)，表明光源单元控制部31的控制输出和这样获取的图象图案能够对照上了。即，这时，两图象的差异判定是由于侵入物体M所引起(步骤2107为YES)。另一方面，如果没有正常检测出来时(步骤2106为NO)，判断是某种异常，自己诊断为NG，输出机器停止信号(步骤2108)。又，如果Lv[0]和Lv[6]正常，可以确认在保存在数据结构上的坐标上，帧存储器FM1和FM2之间不存在差。
然后在步骤2107，将校正时获取的到屏幕5的距离数据L和利用三角测量原理求出的到Lh[0](最上端的横格子线)的距离进行比较。如果该距离一致(包含允许误差范围内的情况)(步骤2107为YES)，判断运算也正常进行，自己诊断为OK(步骤2107为YES，步骤2109)。另一方面，如果这些距离不一致时(步骤2107为NO)，判断是某种异常，自己诊断为NG，输出机器停止信号(步骤2108)。又，到Lh[0]的距离计算方式将在后面说明。
如果自己诊断为OK，继续进行监视。在监视时，各单元如下动作。
·光源单元控制部31和校正时同样控制光源单元1，在监视空间S内扫描图案光。
·摄像机单元控制部32，和校正时同样监视光源单元控制部31的控制信号，控制摄像机单元2的快门21b，使得能获取8字形的1周的图象数据。
图象处理检测部33，计算图22(a)所示的获取图象(在摄像机单元2中装载了与光源体的波长对应的滤光器，所以实际上摄不出该图所示的人物轮廓)、和保存在帧存储器FM2中的参考图象之间的差，将图22(b)所示的差分图象保存在帧存储器FM1中。
然后，利用本来格子线的位置和从这些位置的偏移量，计算到检测物体M的距离地图z(x，y)。
又，为了便于理解，保存在帧存储器FM1中的差分图象，分别分成X轴成分、Y轴成分，如图23(a)、图23(b)所示。
如果该图所示，在差分图象中，没有物体侵入的部位(坐标)上的各象素的值为0。另一方面，由于物体侵入，格子线的位置有变化时，原来的格子线所处的部位成为负值，格子线移动后的坐标为正值。
各格子线的坐标由于在制作参考图象时已经保存在数据结构(Lh[]、Lv[])中(参见图15、图16)，据此，沿横方向的格子线、纵方向的格子线，搜索各自的格子线的移动去向。其模样如图24的示意图所示。
如图24(a)所示，从a点到b点如果是原来的格子线，从其中间点c向斜45°方向搜索移动后的格子线。又，向斜45°方向的搜索，是取决于如图8所示的光源单元1和摄像装置2之间的位置关系。
搜索结果发现移动后的格子线(图中的d点)后，获取移动后的格子线的全坐标(e→d→f)。
由于格子线相对于光源体11的光轴Z的角度是已知的(已经保存在数据结构：Lh[]、Lv[]的angle中)，如果计算CCD上观察的偏离光轴后的格子线之间的角度，利用三角测量原理，可以计算出距离地图z(x，y)。
在本实施例中适用的三角测量进行计算的原理如图25所示。假定CCD的象素数为640×480，CCD的象素间距为ccd_p，CCD的光轴通过(319，239)，摄像机的焦点距离为“1”。
假定所获取的监视图象的格子线的(CCD上)的坐标为(x1，y1)，实际的CCD上的偏离光轴的偏移量(Δdy)由下式表示。
【式2】
Δdy＝ccd_p*(y1-239)
又，根据摄像机的焦点距离为“1”和Δdy，如果用角度表示格子线的移动量，可以用下式表示。
【式3】
φ’＝tan-1(Δdy/l)
进一步，根据保存在lh[n].angle中的移动前的格子线的从光源体11的角度、和摄像机的镜头面23与光源体11之间所成的角度φ0之间的关系，到偏移后的格子线的距离g(x，y)可以用下式计算。(此外，下式(式4)为一般的三角测量公式)。
【式4】
g(x，y)＝L*tanθ*tanφ/(tanθ+tanφ)
式中，φ＝φ0+φ’
采用上述式，计算与移动后的格子点对应的所有的g(x，y)。又，在X轴方向和Y轴方向两方可以计算的坐标(格子线的交点)，为了确保安全性，采用距离小的一方。
依据本实施例，由于摄像机单元2配置在光源单元1的斜45°的位置上，使用X轴和Y轴两方的视差，1次摄像可以计算所有的距离z(x，y)。这也是使用格子状的激光图案的优点之一。
图象处理检测部33进行的有关上述距离检测的处理内容如图26～图28的流程图所示。
在图26的流程图所示的距离计算处理中，首先，在步骤2601进行初始化(对于所有的x，y让g(x，y)＝0，m＝0，n＝0，j＝0，k＝0)。
在步骤2602，将2值化的监视图象保存在帧存储器FM1中。
在步骤2603，抽出所保存的监视图象和参考图象之间的差分图象，并保存在帧存储器FM1中。这样，格子线移动后的部分为+值，原来的格子线的部分为一值。没有变化的部分为±0值。
在步骤2604，沿保存在横方向格子线的数据结构Lh[n]中的格子线坐标(xm＝Lh[n].xf[j]，ym＝Lh[n].yf[j])，搜索FM(xm，ym)＜0的点(图24(a)中的‘a’点)。搜索到后，转移到距离检测子流程(图27，步骤2701～步骤2708)。该步骤2604所示的搜索，针对所有的横方向格子线进行(～步骤2604为NO，步骤2605为NO，步骤2610～)。又，‘j’为0～Lh[n].max-Lh[n].min-1。
在步骤2606，检查针对横方向格子线的所有搜索是否结束。如果搜索已经结束，然后，针对纵方向格子线进行搜索(步骤2607～2609)。
在步骤2607，沿保存在纵方向格子线的数据结构Lv[m]中的格子线坐标(xm＝Lv[n].xf[k]，ym＝Lv[n].yf[k])，搜索FM(xm，ym)＜0的点。搜索到后，转移到距离检测子流程(图28，步骤2801～步骤2808)。该步骤2607所示的搜索，针对所有的纵方向格子线进行(～步骤2607为NO，步骤2608为NO，步骤2610～)。又，‘k’为0～Lv[m].max-Lv[m].min-1。
在步骤2609，检查针对纵方向格子线的搜索是否结束。该检查针对所有纵方向格子线进行(步骤2609为NO，步骤2613～)。搜索结束后，处理结束。
在图27所示的距离计算处理(伴随横方向格子线移动的距离检测子流程)中，首先将图24(a)的点a所示的FM(fmx，fmy)＜0的坐标作为(fmx s，fmys)保存(步骤2701)。
在步骤2702，搜索FM(fmx，fmy)再次为0的点(图24(a)的b点)。该搜索直到达到格子线的终点为止(～步骤2703为NO，步骤2704，步骤2702为NO～)。
在步骤2705，由于物体的侵入，根据当前的(fmx，fmy)求出格子线的位置变化的区间的中间点(fmx_s，fmy_s)  (图24(a)中的c点)。
在步骤2706，由于物体的侵入，从格子线的位置变化的区间的中间点开始，搜索变化后的格子线。该搜索是从中间点向右斜45°的方向上搜索FM1(x，y)＞0的点(图24(a)的d点)。
在步骤2707，在左右方向搜索移动后的格子线，获取格子的全坐标(图24(a)的d→e→f所示的FM1上的坐标)。
在步骤2708，根据三角测量的原理。获取针对全坐标的g(x，y)。
在图28所示的距离计算处理(伴随纵方向格子线移动的距离检测子流程)中，首先将成为FM(fmx，fmy)＜0的坐标作为(fmx s，fmy s)保存(步骤2801)。
在步骤2802，搜索FM1(fmx，fmy)再次为0的点。该搜索直到达到格子线的终点为止(～步骤2803为NO，步骤2804，步骤2802为NO～)。
在步骤2805，由于物体的侵入，根据当前的(fmx，fmy)求出格子线的位置变化的区间的中间点(fmx_s，fmy_s)。
在步骤2806，由于物体的侵入，从格子线的位置变化的区间的中间点开始，搜索变化后的格子线。该搜索是从中间点向右斜45°的方向上搜索FM1(x，y)＞0的点。
在步骤2807，在左右方向搜索移动后的格子线，获取格子的全坐标。
在步骤2808，根据三角测量的原理。获取针对全坐标的g(x，y)。又，在此的计算方法，针对纵方向的格子线适用和上述方法同样的方法。但是，对于g(x，y)已经计算出来的点(纵横格子线的交点)，当计算值比已经计算的值要大时，优先采用已经计算的值(较小的值)。
然后，判定部35，检查由上述图象处理检测部33求出的z(x，y)的位置，是否进入到输出种类设定模式所指定的特定区域(指定体素)中。
如果，在设定为‘停止’的体素内检测到z(x，y)时，立即输出机器停止信号。
如果在设定为‘停止’的体素内没有所检测的坐标z(x，y)，而在设定为‘警告’的体素内有坐标z(x，y)时，产生警告输出。此外，该处理中，不检查设定为不感应的体素。
以下说明判定部35的侵入预测功能。
判定部35，在监视模式时，收集z(x，y)＜L(距离数据L)的点(侵入物体的表面的点坐标)，计算其重心坐标gt(xt，yt，zt)并保存。然后，根据前次检测(计算)所获得的重心坐标g[t-1](xt-1，yt-x，zt-1)分别计算该侵入物体的X、Y、Z轴的移动方向、移动速度。又，移动速度(v)的计算式如下所示。
【式5】
vx＝gt/x＝(xt-1-xt)/检测间隔
vy＝gt/y＝(yt-1-yt)/检测间隔
vz＝gt/z＝(zt-1-zt)/检测间隔
根据该移动速度v和当前的重心位置gt，计算下次检测中预测到达位置(坐标)gt+1。例如，如图29(a)所示，侵入物体在监视空间S内移动，所检测的重心位置按‘g[t-1]→gt’变化时，在下次检测之前，预测到达设定为‘停止’的最深部的区域S251。这时，即使在下次检测的时刻让设备停止，也有可能出现不能确保作业者的安全的情况。在这种情况下，计算该预测到达位置g[t+1]，如果该位置处在‘停止’设定区域，由判定部35，在该时刻输出机器停止信号。
又，如果29(b)所示，在监视空间S内，重心位置gt在z轴方向上远离时，或者z轴方向上没有变化(通过)时，判断不会到达危险状态，可以解除警告状态，或者保持原状态。
此外，多个侵入物体同时在监视空间S内存在时，只要监视空间S分成适当的体素，所属于各体素的z(x，y)的重心坐标按体素单位分别管理，计算移动方向、移动速度进行危险预测即可。
又，在此虽然采用的是重心位置，也可以采用最小值(距摄像机最近)进行判断。
有关重心位置的计算和到达位置预测的处理内容如图30的流程图所示。
在该处理中，在步骤3001，采用图25所示的距离检测方法计算到侵入物体的距离(计算z(x，y))。
在步骤3002，加算z(x，y)＜L的点的坐标，用总数去除，获得这时(时刻t)的重心坐标gt(x，y，z)。
在步骤3003，搜索gt(x，y，z)所属(位于)的体素。(体素的八角上的坐标在计算上已知，通过和八角上的坐标进行比较，可以确定gt(x，y，z)所属的体素。
在步骤3004，如果g[t-1]所属的体素的设定为‘警告’或者‘不感应’，并且该体素为‘停止’，判断物体侵入到规定区域(体素)内，在步骤3011输出机器停止信号。
在步骤3005，如果g[t-1]所属的体素的设定为‘不感应’，并且体素的设定为‘警告’，在步骤3006输出警告信号(点灭控制信号输出)。
在步骤3007，计算重心的移动速度v，计算式如下所示。
【式6】
vx＝(gxt-gx[t-1])/dt
vy＝(gyt-gy[t-1])/dt
vz＝(gzt-gz[t-1])/dt
在步骤3008，计算下一次采样时(t+1)之前重心会进入到什么地方。
计算式如下所示。
【式6】
gx[t+1]＝gxt+vx*dt
gy[t+1]＝gyt+vy*dt
gy[t+1]＝gyt+vy*dt
在步骤3009，搜索下一次采样时(t+1)之前g[t+1](x，y，z)进入到哪一个体素。搜索通过与体素的八角坐标比较而进行。
在步骤3010，时刻t+1的预测位置如果在设定为‘停止’的体素内时，判定为危险，在步骤3011输出机器停止信号。又，在该例中，一旦输出机器停止信号，在由用户操作而复位(运行重开输出)之前，机器停止。
在步骤3012，判定g[t-1]所属的体素是否是设定为‘警告’。如果没有设定返回到在步骤3001。
在步骤3013，计算从g[t-1]和g[t]的位置最近的到设定为‘停止’的体素的距离。所计算的距离分别为d_g[t-1]、d_gt。
在步骤3014，如果当前为警告输出状态，并且d_g[t-1]＜d_gt，则远离设定为‘停止’的体素，或者只是路过设定为警告的体素，在步骤3015解除警告输出。
以下说明可以适用于本发明的三维监视装置的另一自己诊断方法。在上述实施例中，在自己诊断时当MEMS13的振角为0°时，不能正确自己诊断光源体11的点灭是否正常进行。为此，在该例中，使用图31所示的另一实施例的光源单元1、摄像机单元2。在此，只对与上述实施例的改变点进行说明。
在光源单元1中，追加了用于将从光源体11发出的光的一部分传送到光纤17中的光束棱镜16。对于光源单元1，除此之外与上述实施例相同。
在摄像机单元2中，追加了用于使光源体11发出的光的一部分分支的激光光束在CCD25上成像的单向透镜24和MEMS23。又，从光源体11发出的光的一部分分支的激光光束，控制其在CCD25上的上下端上成像，而不会对从光源单元1照射的图案光的摄像干扰。
摄像机单元控制部32，控制MEMS23，在打开快门的期间，让所分支的激光光束从CCD上的右端向左端扫描。
又，分为偶数区域和奇数区域，在偶数区域摄像时，在CCD25的上端成像，在奇数区域摄像时，在下端成像。
MEMS1和MEMS2的控制关系如图32的时序图所示。又，在该图32中的(a)中表示有关MEMS13的X轴以及Y轴方向的振角(θwx)、(θwy)的控制信号，在该图(b)中表示光源体11的振荡控制信号(点灭控制)，在该图(c)中表示有关MEMS23的X轴方向的振角(θwx)的控制信号，在该图(d)中表示有关MEMS23的Y轴方向的振角(θwy)的控制信号。
如该图所示，MEMS13的图案光在8字的1周扫描监视空间S的期间，MEMS23在CCD上扫描所分支的激光光束。
自己诊断部，按以下的流程进行自己诊断。
1)如果是偶数区域，在图象上端上，如图33(a)所示，确认有与光源体11的ON/OFF点灭控制对应的虚线(C1～C4)。
2)如果是奇数区域，在图象下端上，如图33(b)所示，确认有与光源体11的ON/OFF点灭控制对应的虚线(C5～C8)。
3)如果上述结果OK，则自己诊断OK。
依据这样的自己诊断方法，即使MEMS13的振角为0°时，也能进行正确自己诊断。
又，在上述实施例中，作为图案映像的投影面虽然采用了屏幕5，也可以采用在监视空间S的背后存在的墙壁等。
上述说明表明，依据本发明，可以实现能高精度检测在规定三维空间内的物体侵入的三维监视装置。

Claims (14)

1.一种三维监视装置，其特征在于，具有：
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置、
位置检测装置，其利用所述照射装置以及所述摄像装置之间的已知位置关系、图案光的已知形状、根据由所述摄像装置这时获取的图象数据和与在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据求出的变位，根据三角测量原理计算出所述监视对象空间中的侵入物体的三维位置信息、
根据所述位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置，
所述照射装置具有通过控制图案光的照射方向让该图案光在规定范围内可以扫描的扫描机构，该扫描机构包括光反射体和支撑部件，该支撑部件通过电磁诱导进行扭曲转动控制而自由转动地支撑所述光反射体，
所述摄像装置，通过由所述扫描机构让图案光对所述监视对象空间内进行扫描，获取和在预定的方向和时刻向该监视对象空间投影的多个瞬间映像图案的合成映像相当的图象数据。
2.根据权利要求1所述的三维监视装置，其特征在于，扫描机构是具有光反射体；和通过电磁诱导进行扭曲转动控制、支撑所述光反射体可使其自由转动的支撑部件的微机电结构。
3.根据权利要求1或2所述的三维监视装置，其特征在于，位置检测装置利用照射装置以及摄像装置之间的已知位置关系、图案光的已知形状或者模样、根据由摄像装置这时获取的图象数据和预先获取的基准图象数据求出的变位，根据三角测量原理计算监视对象空间内侵入物体的三维位置坐标。
4.一种三维监视装置，其特征在于，具有：
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置、
位置检测装置，其利用所述照射装置以及所述摄像装置之间的已知位置关系、图案光的已知形状、根据由所述摄像装置这时获取的图象数据和与在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据求出的变位，根据三角测量原理计算出所述监视对象空间中的侵入物体的三维位置信息、
根据所述位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置、
从预先假想分割成多个区域的所述监视对象空间内通过用户操作所任意选择的区域作为指定区域确定的同时，对每个指定区域设定从预先准备的多个输出种类中通过用户操作所任意选择的输出种类的装置，
所述位置检测装置、作为侵入物体的位置信息获取该侵入物体存在的区域的特定信息，
所述判定装置，根据在由所述位置检测装置确定的区域中所设定的输出种类，输出机器控制信号。
5.根据权利要求4所述的三维监视装置，其特征在于，输出种类设定按照根据图案光的形状或者模样所区分的体素单位进行。
6.根据权利要求4或5所述的三维监视装置，其特征在于，指定区域是通过在监视对象空间内的所希望的位置上设置物体的状态下进行摄像、抽出该物体存在的区域的方式自动确定。
7.一种三维监视装置，其特征是
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置、
位置检测装置，其利用所述照射装置以及所述摄像装置之间的已知位置关系、图案光的已知形状、根据由所述摄像装置这时获取的图象数据和与在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据求出的变位，根据三角测量原理计算出所述监视对象空间中的侵入物体的三维位置信息、
根据所述位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置、
从预先假想分割成多个区域的所述监视对象空间内通过用户操作所任意选择的区域作为指定区域确定的同时，对每个指定区域设定从预先准备的多个输出种类中通过用户操作所任意选择的输出种类的装置，
所述位置检测装置，根据连续获取的多个监视图象数据的时序的变化，检测侵入物体的移动状态，
判定输出装置，根据所述检测装置的检测结果确定该侵入物体的预想到达区域，根据该预测到达区域和该区域中设定的输出种类，输出机器控制信号。
8.一种三维监视装置，其特征在于，具有：
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置、
位置检测装置，其利用所述照射装置以及所述摄像装置之间的已知位置关系、图案光的已知形状、根据由所述摄像装置这时获取的图象数据和与在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据求出的变位，根据三角测量原理计算出所述监视对象空间中的侵入物体的三维位置信息、
根据所述位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置、
确认根据由所述照射装置所照射的图案光的映像图案是否与预定的映像图案一致，当确认为一致时，保证这时各构成装置正常动作的自己诊断装置。
9.根据权利要求8所述的三维监视装置，其特征在于，照射装置具有通过控制图案光的照射方向让该图案光在规定范围内可以扫描的扫描机构，
摄像装置，通过由所述扫描机构让图案光对所述监视对象空间内进行扫描，获取和在预定的方向和时刻向该监视对象空间投影的多个瞬间映像图案的合成映像相当的图象数据。
10.根据权利要求8所述的三维监视装置，其特征在于，具有：通过让照射装置所照射的光的一部分直接照射在摄像装置的摄像面上所获取的图象数据中，根据是否正常出现预定的校对模样，自动检测自身动作有无异常发生的自己诊断功能。
11.根据权利要求10所述的三维监视装置，其特征在于，具有作为照射装置的激光光源，校对模样由该激光光源的点灭时刻以及扫描时刻所规定。
12.一种三维监视传感器，其特征在于，具有：
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的摄像装置、
位置检测装置，其利用所述照射装置以及所述摄像装置之间的已知位置关系、图案光的已知形状、根据由所述摄像装置这时获取的图象数据和与在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据求出的变位，根据三角测量原理计算出所述监视对象空间中的侵入物体的三维位置信息、
根据所述位置检测装置所计算出的位置信息输出机器控制信号的判定输出装置，
所述摄像装置和所述照射装置配置在这样的位置，即连接摄像装置和照射装置的假想线与水平面之间形成的角度为45度，
这样，通过视差检测侵入物体的位置信息。
13.一种三维空间监视方法，其特征在于，使用多台权利要求1到权利要求12中任一项所述的三维监视装置，从多个方向同时监视成为监视对象空间的三维空间。
14.一种三维监视系统，包含三维监视装置、成为控制对象的机械装置，其特征在于，所述三维监视装置具有：
向成为监视对象空间的三维空间照射规定图案光的照射装置、
通过所述图案光的照射，对投影于在所述监视对象空间内存在的物体表面以及构成该监视对象空间的背景的规定物体表面上的映像图案进行摄像，获取图象数据的装置、
通过将由摄像装置这时获取的图象数据与和在所述监视对象空间内不存在进入物体时由所述摄像装置获取的图象数据相当的基准图象数据进行比较、计算出在所述监视对象空间中的侵入物体的位置信息的位置检测装置、
根据计算出的位置信息，向所述机械装置输出控制信号的装置。
CNB031205402A 2002-03-13 2003-03-13 三维监视装置及系统和三维空间监视方法 Expired - Fee Related CN1306458C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002069361 2002-03-13
JP2002069361A JP3704706B2 (ja) 2002-03-13 2002-03-13 三次元監視装置

Publications (2)

Publication Number Publication Date
CN1444008A CN1444008A (zh) 2003-09-24
CN1306458C true CN1306458C (zh) 2007-03-21

Family

ID=28035010

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB031205402A Expired - Fee Related CN1306458C (zh) 2002-03-13 2003-03-13 三维监视装置及系统和三维空间监视方法
CNU032388241U Expired - Lifetime CN2622672Y (zh) 2002-03-13 2003-03-13 三维监视装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNU032388241U Expired - Lifetime CN2622672Y (zh) 2002-03-13 2003-03-13 三维监视装置

Country Status (4)

Country Link
US (1) US7263217B2 (zh)
JP (1) JP3704706B2 (zh)
CN (2) CN1306458C (zh)
DE (1) DE10310768B4 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP3735624B2 (ja) 2003-09-26 2006-01-18 Ｎｅｃビューテクノロジー株式会社 投影表示装置
JP4846203B2 (ja) * 2004-03-24 2011-12-28 パナソニック株式会社 画像領域設定装置及び画像領域設定方法
JP3882005B2 (ja) * 2005-03-02 2007-02-14 松下電器産業株式会社 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
JP4637615B2 (ja) * 2005-03-16 2011-02-23 中国電力株式会社 警報装置、警報システム及び警報用コンピュータプログラム
ITMI20051381A1 (it) * 2005-07-20 2007-01-21 Ecoassistenza S R L Dispositivo di sicurezza per un nastro di alimentazione e una pressa destinata alla compressione di rifiuti
US8848035B2 (en) * 2005-10-04 2014-09-30 Motion Analysis Corporation Device for generating three dimensional surface models of moving objects
DE102005060399A1 (de) * 2005-12-16 2007-06-21 Sick Ag Optoelektronische Vorrichtung und Verfahren zum Betreiben einer optoelektronischen Vorrichtung
DE102006012823B4 (de) * 2006-03-21 2016-12-22 Leuze Electronic Gmbh + Co. Kg Vorrichtung zur Überwachung eines Gefahrenbereichs an einem Arbeitsmittel
US7970177B2 (en) * 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
JP2008027259A (ja) * 2006-07-24 2008-02-07 Hitachi Omron Terminal Solutions Corp 不審物又は形状変化検知システム
JP5462153B2 (ja) * 2007-05-16 2014-04-02 エルジー イノテック カンパニー リミテッド 距離測定装置及びその方法
GB2450132B (en) * 2007-06-13 2012-06-20 Hochiki Co Position specifiying system
DE102007032221A1 (de) * 2007-07-11 2009-01-15 Robert Bosch Gmbh Werkzeugmaschine und Verfahren mit einer Werkzeugmaschine
US8761972B2 (en) 2007-07-19 2014-06-24 Mitsubishi Heavy Industries, Ltd. Track type transportation system
DE102007036129B3 (de) * 2007-08-01 2008-09-25 Sick Ag Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
JP2009134217A (ja) 2007-12-03 2009-06-18 Seiko Epson Corp プロジェクタ
DE102008016767B4 (de) * 2008-04-02 2016-07-28 Sick Ag Optoelektronischer Sensor und Verfahren zur Detektion von Objekten
US8138859B2 (en) * 2008-04-21 2012-03-20 Formfactor, Inc. Switch for use in microelectromechanical systems (MEMS) and MEMS devices incorporating same
JP5277805B2 (ja) 2008-09-05 2013-08-28 富士通株式会社 物体抽出装置、物体抽出方法および物体抽出プログラム
RU2541936C2 (ru) * 2008-10-28 2015-02-20 Конинклейке Филипс Электроникс Н.В. Система трехмерного отображения
TW201024901A (en) * 2008-12-16 2010-07-01 Ind Tech Res Inst Optical scanner
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5343641B2 (ja) * 2009-03-12 2013-11-13 株式会社Ｉｈｉ ロボット装置の制御装置及びロボット装置の制御方法
JP5304347B2 (ja) * 2009-03-12 2013-10-02 株式会社Ｉｈｉ ロボット装置の制御装置及びロボット装置の制御方法
WO2010114478A1 (en) * 2009-03-31 2010-10-07 Azimuth Intellectual Products Pte Ltd Apparatus and methods for analysing goods cartons
ITTO20090374A1 (it) * 2009-05-12 2010-11-13 Newco 2000 S R L Metodo e sistema di controllo della sosta e della ripartenza di un veicolo durante una competizione
DE102009031732B3 (de) 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
EP2496910A4 (en) 2009-11-04 2016-11-16 Technologies Numetrix Inc DEVICE AND METHOD FOR OBTAINING THREE-DIMENSIONAL OBJECT SURFACE DATA
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
JPWO2011148746A1 (ja) * 2010-05-24 2013-07-25 富士フイルム株式会社 立体撮像装置および顔検出装置ならびにそれらの動作制御方法
EP2390851B1 (en) * 2010-05-27 2013-02-20 Nxp B.V. Presence Detection System and Method
JP5643552B2 (ja) * 2010-06-28 2014-12-17 キヤノン株式会社 撮像装置
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치
CN102686975A (zh) * 2010-08-25 2012-09-19 三洋电机株式会社 物体检测装置及信息取得装置
DE102010037744B3 (de) * 2010-09-23 2011-12-08 Sick Ag Optoelektronischer Sensor
CN102859319A (zh) * 2011-04-19 2013-01-02 三洋电机株式会社 信息获取装置以及物体检测装置
JP2014238259A (ja) * 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
JP2014238262A (ja) * 2011-09-29 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
DE102011086026A1 (de) * 2011-11-09 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur Objekterkennung
JP5996271B2 (ja) * 2012-05-29 2016-09-21 株式会社トプコン 回転角検出装置及び測量装置
KR101914469B1 (ko) * 2012-02-07 2018-11-02 엘지이노텍 주식회사 카메라 시스템 및 3차원 이미지 생성 방법
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
CN102682547A (zh) * 2012-05-29 2012-09-19 昆山锐芯微电子有限公司 报警系统
ITRN20120036A1 (it) * 2012-07-09 2014-01-10 Wide Automation S R L Sistema e procedimento di supervisione
WO2014010251A1 (en) 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9557166B2 (en) * 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
JP2016109530A (ja) * 2014-12-05 2016-06-20 大日本印刷株式会社 光学装置及び光学装置が搭載された車両
JP2016134102A (ja) * 2015-01-21 2016-07-25 富士ゼロックス株式会社 監視装置
US9435635B1 (en) * 2015-02-27 2016-09-06 Ge Aviation Systems Llc System and methods of detecting an intruding object in a relative navigation system
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
JP6556573B2 (ja) * 2015-09-15 2019-08-07 株式会社デンソーアイティーラボラトリ 侵入検知装置、侵入検知システム、侵入検知方法および侵入検知プログラム
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
ES2800725T3 (es) 2016-06-22 2021-01-04 Outsight Métodos y sistemas para detectar intrusiones en un volumen controlado
CN107633630B (zh) * 2016-07-19 2019-12-27 合盈光电科技股份有限公司 互动与安全警示系统
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6890434B2 (ja) * 2017-02-15 2021-06-18 日本信号株式会社 物体検知システム及び物体検知方法
EP3583450A1 (en) 2017-02-20 2019-12-25 3M Innovative Properties Company Optical articles and systems interacting with the same
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
WO2019093372A1 (ja) * 2017-11-09 2019-05-16 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
KR102165967B1 (ko) * 2017-11-17 2020-10-15 미쓰비시덴키 가부시키가이샤 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램
JP6626138B2 (ja) * 2018-02-19 2019-12-25 ファナック株式会社 センサを用いた物体監視装置
JP6927083B2 (ja) 2018-03-01 2021-08-25 オムロン株式会社 判定装置および判定装置の制御方法
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
DE102018116371B4 (de) 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
JP7283904B2 (ja) * 2019-01-18 2023-05-30 株式会社トプコン 測定装置及び測定装置の制御方法
US20220139199A1 (en) * 2019-02-27 2022-05-05 Technomirai Co., Ltd. Accurate digital security system, method, and program
JP7270477B2 (ja) * 2019-06-17 2023-05-10 株式会社ミツトヨ 測定装置
WO2021059317A1 (ja) * 2019-09-23 2021-04-01 株式会社Ｆｕｊｉ 周辺監視装置
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
DE102020101727A1 (de) 2020-01-24 2021-07-29 Steinel Gmbh Steuervorrichtung zum Ansteuern eines Bewegungsmelders
AT17459U1 (de) * 2021-01-21 2022-05-15 Altendorf Gmbh Sicherheitseinrichtung für Werkzeugmaschinen
CN112949445B (zh) * 2021-02-24 2024-04-05 中煤科工集团重庆智慧城市科技研究院有限公司 基于空间关系的城市管理应急联动系统及方法
CN113450522B (zh) * 2021-05-28 2022-10-04 浙江大华技术股份有限公司 视频拌线入侵检测方法、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255624A (zh) * 1998-11-26 2000-06-07 松下电器产业株式会社 车辆用单摄像机的三维观测系统
JP2000331254A (ja) * 1999-05-20 2000-11-30 Fujitsu General Ltd 監視カメラ
US6256699B1 (en) * 1998-12-15 2001-07-03 Cisco Technology, Inc. Reliable interrupt reception over buffered bus
CN2622672Y (zh) * 2002-03-13 2004-06-30 欧姆龙株式会社 三维监视装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695008B2 (ja) 1987-12-11 1994-11-24 株式会社東芝 監視装置
EP0344404B1 (de) * 1988-06-03 1993-05-12 Inventio Ag Verfahren und Vorrichtung zur Steuerung der Türstellung einer automatischen Tür
JPH02268207A (ja) 1989-04-10 1990-11-01 Agency Of Ind Science & Technol 形状認識装置
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
JPH05334572A (ja) 1992-06-01 1993-12-17 Fuji Electric Co Ltd 室内監視装置
JPH0681182A (ja) 1992-08-28 1994-03-22 Asahi Glass Co Ltd 水酸化アルカリの製造方法
SE502834C2 (sv) 1994-03-29 1996-01-29 Electrolux Ab Förfarande och anordning för avkänning av hinder vid självgående anordning
JP2752335B2 (ja) 1994-09-27 1998-05-18 鐘紡株式会社 病室内患者監視装置
DE4438643C2 (de) 1994-10-28 1996-12-19 Siemens Ag Verfahren zur Objekterkennung
DE19523843C1 (de) 1995-06-30 1997-01-02 Leuze Electronic Gmbh & Co Verfahren zum Erfassen von Objekten in einem Überwachungsbereich und Vorrichtung zur Durchführung des Verfahrens
DE19604977A1 (de) 1996-02-03 1997-08-07 Walter Prof Dr Ing Ameling Verfahren zur schnellen dreidimensionalen Vermessung von dynamischen Raumbereichen
GB2316169A (en) * 1996-08-08 1998-02-18 Secr Defence Optical detection system
US5737083A (en) * 1997-02-11 1998-04-07 Delco Electronics Corporation Multiple-beam optical position sensor for automotive occupant detection
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
JP3286219B2 (ja) * 1997-09-11 2002-05-27 トヨタ自動車株式会社 座席の使用状況判定装置
DE19809210A1 (de) * 1998-03-04 1999-09-16 Siemens Ag Verfahren und Vorrichtung zur Überwachung einer Szene
US6155490A (en) * 1999-04-22 2000-12-05 Intermec Ip Corp. Microelectromechanical systems scanning mirror for a laser scanner
US6678598B1 (en) * 1999-06-24 2004-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for seat supervision in motor vehicles
US6788210B1 (en) * 1999-09-16 2004-09-07 The Research Foundation Of State University Of New York Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 ３次元形状計測装置
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2001249008A (ja) 2000-03-06 2001-09-14 Nikon Corp 監視装置
EP1269762B2 (de) * 2000-04-07 2018-04-11 Pilz GmbH & Co. KG Schutzvorrichtung zum absichern eines gefahrenbereichs sowie verfahren zum überprüfen der funktionssicherheit einer solchen
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
DE10202305B4 (de) 2001-01-24 2004-07-08 Leuze Electronic Gmbh + Co Kg Optischer Sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255624A (zh) * 1998-11-26 2000-06-07 松下电器产业株式会社 车辆用单摄像机的三维观测系统
US6256699B1 (en) * 1998-12-15 2001-07-03 Cisco Technology, Inc. Reliable interrupt reception over buffered bus
JP2000331254A (ja) * 1999-05-20 2000-11-30 Fujitsu General Ltd 監視カメラ
CN2622672Y (zh) * 2002-03-13 2004-06-30 欧姆龙株式会社 三维监视装置

Also Published As

Publication number Publication date
JP2003269915A (ja) 2003-09-25
US20030235331A1 (en) 2003-12-25
CN2622672Y (zh) 2004-06-30
JP3704706B2 (ja) 2005-10-12
DE10310768A1 (de) 2003-10-30
US7263217B2 (en) 2007-08-28
DE10310768B4 (de) 2016-08-04
CN1444008A (zh) 2003-09-24

Similar Documents

Publication Publication Date Title
CN1306458C (zh) 三维监视装置及系统和三维空间监视方法
CN1287329C (zh) 监视装置
CN1219276C (zh) 火灾探测器
CN1621775A (zh) 快速自动对焦机器视觉检查系统的系统和方法
CN1205109C (zh) 集装箱位置检测系统
CN1434269A (zh) 位置确定装置和与该装置一起使用的旋转的激光装置
CN1210543C (zh) 传感器校准装置及方法、程序、信息处理方法及装置
CN1208190A (zh) 光扫描型触摸屏
JP5274731B1 (ja) 観察システム、プログラム及び観察システムの制御方法
CN1496135A (zh) 监视摄像机装置
CN1492280A (zh) 全方位监视控制系统、全方位监视控制方法、全方位监视控制程序和计算机可读记录介质
WO2012029817A1 (ja) 観察装置、観察プログラム及び観察システム
CN1914919A (zh) 检测区域调整装置
CN1434177A (zh) 建筑机械控制系统
CN101061721A (zh) 监视系统、监视方法及摄像机终端
CN1939208A (zh) 眼底观察装置、眼底图像显示装置及存储眼底观察程序的存储媒体
CN1334913A (zh) 用于测量三维数据的装置和方法
CN101032405A (zh) 基于全方位计算机视觉的安全驾驶辅助装置
CN101040776A (zh) 眼底观察装置
CN1858551A (zh) 基于全方位计算机视觉的工程车防盗报警系统
CN1574892A (zh) 用于获得具有图像振动校正的摄影图像的摄影装置和方法
CN1306243C (zh) 物体的计测方法及物体的计测装置
CN1320501C (zh) 物体检测方法及物体检测装置
CN1841128A (zh) 立体图像显示装置和图像显示装置
CN1366649A (zh) 真假卡判断装置及真假卡判断系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070321

Termination date: 20210313