CN113544754A - 告知系统以及告知装置 - Google Patents

告知系统以及告知装置 Download PDF

Info

Publication number
CN113544754A
CN113544754A CN202080019846.3A CN202080019846A CN113544754A CN 113544754 A CN113544754 A CN 113544754A CN 202080019846 A CN202080019846 A CN 202080019846A CN 113544754 A CN113544754 A CN 113544754A
Authority
CN
China
Prior art keywords
person
ultrasonic
ultrasonic wave
irradiation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080019846.3A
Other languages
English (en)
Inventor
髙桥大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113544754A publication Critical patent/CN113544754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • G08B13/183—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems by interruption of a radiation beam or barrier
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

告知系统(10)的告知装置(100)根据来自接近传感器(110)的距离信息、及来自图像传感器(120)的图像信息，在接近的物体为人的情况下，检测所述人的身体部位，使超声波照射装置(130)向所检测到的人的身体部位照射可产生触感的超声波。

Description

告知系统以及告知装置
技术领域
本发明涉及一种告知系统以及告知装置。
背景技术
在工厂内、作业现场等中，将下述区域作为危险区域而与其他区域相区分，即：作业机器人及其他机械设备运作，若人进入则有可能发生危险。为了防止人向危险区域接近，通过广告牌、标识等的视觉部件来显示危险区域。而且，专利文献1中公开了通过投影仪(projector)来进行安全标识的投影的、现有技术。
进而，也已知在人进入危险区域的情况下使机械设备紧急停止的监视系统。
另一方面，专利文献2中提出了一种车辆用警告装置，通过发射空气的部件所给予的触觉刺激对歩行者给予警告。
现有技术文献
专利文献
专利文献1：日本专利公报“日本专利第6364568号公报”
专利文献2：日本公开专利公报“日本专利特开2008-18896号公报”
发明内容
发明所要解决的问题
在人不慎进入危险区域时，通过监视系统使机械设备紧急停止会提高安全性，但另一方面，会带来装置的运作率及工厂的生产性降低，有时会损害半成品。
因此，为了避免此种事态，考虑构建下述系统，即：若探测人逐渐接近危险区域，将向此人(接近者)发出警告，将向危险区域的进入抑制于未然。作为工厂内的警告的告知方法，通常使用警告灯的点亮等视觉方法、或利用警报音等的鸣动等的听觉方法。
但是，在工厂内，各种机械设备为了进行使作业者得知工序结束的提示、或用于催促原料补充的告知、其他各种现象的告知，而使用警告灯的点亮或警报音等的鸣动等方法。因此，在通过视觉方法或听觉方法来进行接近危险区域的警告的情况下，可能作业者并未注意到。
而且，若在作业者搬运货物时等视线被遮挡，则视觉方法无效，在工厂内的噪音大的情况下听觉方法无效。在作业者的注意力降低的情况下，这些方法也无效。
反之，若为了引起向危险区域接近的人的注意而增强视觉方法或听觉方法的刺激水平，则可能惊扰接近者或其他作业者，也导致产生作业错误或掉落保持物等故障。
因此，本发明者研究了通过触觉刺激而非视觉方法或听觉方法来给予警告的方法。但是，专利文献2所公开那样的、利用发射空气的部件的方法有下述问题，即：在操作片材或微小零件等特别轻量的构件或工具的情况下，构件或工具被吹飞，不适于在工厂内采用。
本发明在一方面是鉴于此种实际情况而成，其目的在于实现一种告知系统，可在工厂内等，在人向危险区域接近的情况下，使接近者适当且有效地认知警告。
解决问题的技术手段
为了解决所述问题，本发明采用以下结构。
本发明的一方面的告知系统包括：接近传感器，探测物体向规定区域的接近；图像传感器，拍摄图像；超声波照射装置，从远处向人的身体部位照射可产生触感的超声波；以及告知装置，设有接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，且所述告知系统包括下述结构：所述接近传感器控制部从所述接近传感器获取距所述物体的距离信息，所述图像传感器控制部从所述图像传感器获取所述物体的图像信息，所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，所述超声波照射控制部使所述超声波照射装置对所述人检测部所检测到的人的身体部位照射所述超声波。
本发明的一方面的告知装置包括接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，且包括下述结构：所述接近传感器控制部从探测物体向规定区域的接近的接近传感器获取距所述物体的距离信息，所述图像传感器控制部从拍摄图像的图像传感器获取所述物体的图像信息，所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，所述超声波照射控制部使从远处对人的身体部位照射可产生触感的超声波的超声波照射装置，对所述人检测部所检测到的人的身体部位照射所述超声波。
发明的效果
根据本发明的一方面的告知系统或告知装置，可实现下述告知系统，即：可在工厂内等，在人向危险区域等规定区域接近的情况下，使接近者适当且有效地认知警告。
附图说明
图1为表示本发明的实施方式1的告知系统的概略图。
图2为表示本发明的实施方式1的告知装置的结构的图。
图3为用于说明本发明的实施方式1的告知装置的动作的流程图。
图4为用于说明本发明的实施方式1的告知系统及告知装置的动作的示例的概略图。
图5为表示本发明的实施方式2的告知系统的概略图。
图6为表示本发明的实施方式3的告知系统的概略图。
图7为用于说明本发明的实施方式3的告知系统的设置方法的图。(a)表示超声波照射阵列，(b)表示利用红外线摄像机对其进行拍摄所得的图像。
具体实施方式
〔实施方式1〕
以下，基于附图对本发明的一方面的实施方式(以下也表述为“本实施方式”)进行说明。
§1适用例
使用图1对适用本发明的场景的一例进行说明。
图1为表示本实施方式的告知系统10总体的机器结构的概略图。告知系统10包括本实施方式的告知装置100、接近传感器110、图像传感器120及超声波照射装置130。
本实施方式中，对告知系统10包括成套的接近传感器110及成套的图像传感器120的示例进行说明。但是，告知系统10也可分别包括单个或多个接近传感器110或图像传感器120。
接近传感器110及图像传感器120至少监视警戒区域，此警戒区域为划分危险区域等规定区域的界线1附近的区域，且为所述规定区域外的区域。
接近传感器110为检测物体向危险区域等规定区域的接近(距离)的传感器。图像传感器120为拍摄警戒区域的传感器。
告知装置100中，设有接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部。
接近传感器控制部从探测物体向危险区域等规定区域的接近的接近传感器110，至少获取距所述物体的距离信息。
图像传感器控制部从拍摄图像的图像传感器120获取通常图像数据(图像信息)。
人检测部根据距离信息及图像信息，在向危险区域等规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位。
超声波照射装置130可从远处向人的身体部位照射可产生触感的超声波。
超声波照射控制部使超声波照射装置130向人检测部所检测到的所述人的身体部位照射所述超声波。
根据以上的结构，可实现下述告知系统，即：可在工厂内等，在人向危险区域接近的情况下，使接近者适当且有效地认知警告。
§2结构例
参照图1至图3对告知系统10或告知装置100的具体的结构例及动作进行说明。
图2为以功能块来表示实施方式1的告知装置100的内部结构的图。
在告知装置100，设有作为功能块的接近传感器控制部101、图像传感器控制部102、人检测部103及超声波照射控制部105。优选在告知装置100中还设有照射部位选择部104。
接近传感器110至少监视作为危险区域外的区域的安全区域中的、需警戒人的接近的危险区域附近的警戒区域。图像传感器120也同样地，至少监视警戒区域。
接近传感器110为利用红外线及其他光的三角测量的方式、使用红外线及其他光的飞行时间(Time of flight，ToF)的方式、使用超声波的反射时间来测定到物体的距离的方式等的距离传感器。在利用超声波的情况下，理想的是包括修正由气温所致的距离的测定误差的结构、及不与用于使人的身体部位产生触感的超声波串扰的结构。
而且，接近传感器110可为可获取距离图像数据的方式的传感器。此处，所谓距离图像数据，为将传感器视场中的各点表示为下述图像的数据，所述图像表示距存在于所述方向的物体的距离。
作为可获取距离图像数据的方式的传感器的示例，可举出ToF摄像机、立体摄像机(stereo camera)。而且，也可举出：可使用根据由颜色所致的模糊的差异来推定距离的单眼摄像机而获取距离图像数据的传感器(作为示例，“可根据由单眼摄像机拍摄的一张图像高精度地测量距离的分色滤镜摄像技术，三岛直、佐佐木贵之，东芝期刊(ToshibaReview)，73卷，1号，39～43页”)。此时，优选也使用红外图像增大色差，由此进一步提高精度。
图像传感器120可使用摄像机或摄影机(movie)。此处，所谓通常图像数据，是指由摄像机或摄影机所拍摄的、可识别物体形状的图像数据全部。通常图像数据优选红绿蓝(Red Green Blue，RGB)图像，也可为黑白图像或红外线图像。只要为可识别物体形状的图像，则也可为色彩或亮度以外的信息叠加于物体的表面那样的图像。
在接近传感器110为也可获取通常图像数据的形式的传感器的情况下，图像传感器120也可兼用作接近传感器110。例如，ToF摄像机中，有可输出通常图像数据(特别是RGB图像)与距离图像数据两者的摄像机。而且，立体摄像机也大多可输出通常图像数据(特别是RGB图像)与距离图像数据两者。
此时，作为传感器，虽为一体，但传感器自身具有接近传感器110与图像传感器120的功能。因此，接近传感器控制部101从所统合的传感器的作为接近传感器110的功能部获取距所述物体的距离信息。图像传感器控制部102从所统合的传感器的作为图像传感器120的功能部获取图像信息。
而且，或者接近传感器也可为光幕(light curtain)。
作为本结构例的具体示例，接近传感器110为可获取距离图像数据的ToF摄像机。
如图1所示，超声波照射装置130包括：超声波照射阵列131，将多数个超声波产生元件132二维地排列而成；以及反射板135，改变超声波照射阵列131所产生的超声波的传播方向的朝向。此外，超声波照射装置130也可未必包括反射板135，而从超声波照射阵列131向对象物直接照射超声波。
向规定位置照射可使人的身体部位产生触感的超声波的超声波照射装置130可利用众所周知的技术(例如日本专利特开2012-48378号公报)构成。
超声波照射装置130中，超声波照射阵列131构成包含多数个超声波产生元件132的相控阵列(phased array)。超声波照射装置130通过调整各个超声波产生元件132所产生的超声波的相位，从而可向所需的远处位置集中照射超声波。而且，也能够在所需的方向上扫描超声波集中的位置。
若在超声波集中的位置有人的皮肤，则皮肤的触觉感受器受到刺激，对照射位置诱发触感。超声波照射装置130也可通过使超声波的强度经时变化，从而给予各种触感。
图3为表示告知装置100的动作的流程图。以下一边示出告知装置100的动作，一边对告知系统10或告知装置100的结构进行更详细说明。
(步骤S1)
步骤S1中，接近传感器控制部101从接近传感器110(ToF摄像机)获取距离图像数据。
(步骤S2)
接下来，步骤S2中，接近传感器控制部101从距离图像数据中，将与较警戒区域更靠外侧的区域对应的、规定距离以远的部分作为不需要的信息而过滤去除。
而且，将距离图像数据中作为丝毫不动的部分的静止图像的部分(经固定的器具或机械设备等)作为背景图像而过滤去除。
通过这样进行过滤，从而仅提取在警戒区域内活动的物体的图像，去除无用的信息。
(步骤S3)
接下来，步骤S3中，接近传感器控制部101判断经过滤的距离图像数据中是否存在向危险区域接近(距离经时变小)的物体。在判断为有的情况下(步骤S3中为是(YES))，进入下一步骤S4，在判断为否的情况下(步骤S3中为否(NO))，流程结束。
(步骤S4)
步骤S4中，图像传感器控制部102从图像传感器120获取通常图像数据。
(步骤S5)
接下来，步骤S5中，人检测部103从接近传感器控制部101获取经过滤的距离图像数据，从图像传感器控制部102获取通常图像数据。
接下来，人检测部103对与距离图像数据中所述经过滤的区域对应的、通常图像数据的区域进行过滤。其原因在于，去除无用的信息，减轻图像处理的负担。
(步骤S6)
接下来，步骤S6中，人检测部103从经过滤的通常图像数据中提取人的身体的各部(部位)。所谓部位，例如为头部、脸面部、颈部、上臂部、下臂部、手部、肩部、背部、胸部、腹部、腰部、膝部等。但是，也可进一步细细地区分。
关于从通常图像数据等中提取人的身体的各部的方法，可使用众所周知的方法。
具体而言，作为从图像信息中检测人的身体部位的方法，可使用：利用方向梯度直方图(Histogram of Oriented Gradients，HOG)的检测法(例如参照“OpenCV行人检测(Pedestrian Detection OpenCV)：https://www.pyimagesearch.com/2015/11/09/pedestrian-detection-opencv/”)。
或者，作为从图像信息检测人的身体部位的方法，可使用：利用运动学骨架拟合(kinematic skeleton fitting)的检测法(例如参照“ACM图形学期刊(ACM Transactionson Graphics)，36卷，4号，44章(利用单一RGB图像的实时3D人体姿势估计(Real-time 3DHuman Pose Estimation with a Single RGB)，杜希恩梅塔(Dushyant Mehta)等人，ACM图形学期刊(ACM Transactions on Graphics)，Vol.36，No.4，Article 44)”)。
而且，也可使用根据距离图像数据来检测人的身体部位的方法(例如参照“根据单一距离图像的实时姿势推定(Real-Time Human Pose Recognition in Parts fromSingle Depth Image，杰米肖顿(Jamie Shotton)等人，https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/BodyPart Recognition.pdf)”)。
进而，也可辅助利用在检测人的身体部位时利用由脉搏变化所致的皮肤颜色变化的、手或脸面等露出部位的检测(例如参照“影像脉搏提取技术(https://www.cac.co.jp/product/rhythmiru/)”)，也可将所述方法组合利用。
本结构例中，适用下述检测法，即：根据作为RGB图像的通常图像数据，使用HOG。
(步骤S7)
接下来，步骤S7中，人检测部103判断是否提取了人的身体部位。在判断为提取的情况下(步骤S7中为是(YES))，进入下一步骤S8，在判断为否的情况下(步骤S7中为否(NO))，结束流程。
(步骤S8)
步骤S8中，照射部位选择部104从人检测部103获取所提取的人的部位及其位置(方向、距离)。
接下来，照射部位选择部104按照预定的优先次序，从所提取的人的部位中选择实际照射超声波的部位(照射部位)。
例如可想到，手在搬运物体或进行作业的情况下，若感到触感则不合适，因而想到降低优先次序或不照射。而且想到，脸面也会导致耀眼、转过脸等回避行动，因而想到降低优先次序或不照射。
本结构例中，按优先次序从高到低的顺序设为腰部、肩部、肘部、膝部、头部。
(步骤S9)
接下来，步骤S9中，超声波照射控制部105从照射部位选择部104获取所选择的照射部位及其位置(方向、距离)的信息。
接下来，超声波照射控制部105控制超声波照射装置130，向照射部位照射可感到触感的超声波。
例如，在选择腰部作为照射部位的情况下，超声波照射控制部105按照所获取的位置的信息，如图1中示意性表示那样，使超声波照射装置130以超声波集中于向危险区域接近的接近者2的腰部2A的方式进行照射。于是，告知系统10使接近者2的腰部2A产生触感。这样，告知系统10对向危险区域接近的接近者执行警告。
告知装置100以规定的监视间隔反复执行以上的一系列流程。
§3作用、效果
根据本实施方式的告知系统10或告知装置100，可通过与视觉方法或听觉方法不同的、触觉方法，来进行人向危险区域等所需区域接近的警告。因此，不会如仅使用视觉方法及听觉方法的情况那样接近者2看漏警告，可有效地认知警告。
特别在工厂内，各种机械设备为了告知各种现象而执行警告灯的点亮或警报音等的鸣动等各种视觉方法、听觉方法那样的情况下，也可使接近者2有效地认知警告。
而且，即便在接近者搬运货物时等视线被遮挡的情况、或注意力降低的情况下，也可有效地认知警告。
在给予警告时，也不会以必要以上的程度惊扰接近者或将工序中的构件或工具吹飞，也不会对生产工序产生不适当的影响。
在从远处使接近者2的身体的部位产生触感时，告知系统10利用接近传感器110及图像传感器120来感测身体部位的位置(距离及方向)。而且，告知系统10通过使用超声波照射阵列131的超声波照射装置130来进行可产生触感的超声波的照射。因此，可使超声波集中的区域可靠地追随于移动的接近者2的身体部位，产生触感。
§4照射方法的具体例
以下，示出动作的更具体的适用例。
为了不无用地惊扰接近者2，特别理想的是最初产生以轻的力间歇地敲击那样的触感。
例如，使100g～300g重左右的力以0.1秒钟左右作用于体表上的直径2cm～5cm的范围。以适当的周期重复此操作。
也理想的是接近者2越靠近危险区域，则设为越以更强的力敲击那样的触感，或者使产生触感的部位在一定区域内连续地或离散地移动。而且，关于间歇的周期，也理想的是越靠近危险区域则越缩短所述周期。其原因在于，通过越靠近危险区域则越提高刺激的程度，从而可使接近者更强地认知警告，可更有效地抑制向危险区域的进入。
作为示例，想到与距危险区域的剩余距离成反比例地调整周期。其为下述情况，即：最初在向危险区域接近1m时给予0.25秒周期的刺激，若剩余距离为80cm则缩短至0.2秒周期，若为60cm则缩短至0.15秒周期等。
在接近者2非常靠近危险区域的情况下，可选择由间歇照射(间歇的触感)变成连续照射(连续的触感)，更强地进行警告。
〔实施方式2〕
以下说明本发明的其他实施方式。此外，为了方便说明，对与所述实施方式中说明的结构元件具有相同功能的结构元件标注相同符号，不重复进行其说明。
实施方式2的告知系统及告知装置为与实施方式1相同的结构。实施方式2中，示出搬运货物的作业者逐渐接近危险区域时的情况的动作。
图4为表示实施方式2的告知系统10的概略结构及向危险区域接近的接近者2的图。如图所示，接近者2处于一边推动搭载有货物的台车3一边接近危险区域的状况。
从告知系统10(接近传感器110及图像传感器120)侧来看，接近者2的腰部被搭载有货物的台车3遮蔽而无法看到。于是，图3的步骤S6中，不提取接近者2的腰部作为身体的部位。但是，提取肩部等其他部位。
于是，步骤S8中，选择继腰部之后的优先级高的肩部作为选择部位。
于是，步骤S9中，对接近者2的肩部2B照射可产生触觉的超声波。
如本实施方式所示，在作业者搬运货物的状况等下，身体的某部位被遮蔽而无法照射超声波那样的情况下，告知装置100以识别身体的各部的方式运行。因此，告知系统10及告知装置100即便在此种情况下，也能可靠地使向危险区域接近的接近者2认知警告。
〔实施方式3〕
实施方式2的告知系统及告知装置为与实施方式1相同的结构，但将实施方式1中在结构例中具体为ToF摄像机的接近传感器110替换为光幕。
图5为表示实施方式3的告知系统20的概略结构、及向危险区域接近的接近者2的图。
告知系统20中设置有光幕，此光幕在物体通过警戒区域与警戒区域以外的安全区域的界线时探测。
光幕包含光发送器21及光接收器212的一套。在界线的其中一侧配置光发送器211，在另一侧配置光接收器212，当从光发送器211朝向光接收器212的光线213被遮挡而无法到达光接收器212时(图5中以虚线214表示被遮挡的光线的部分)，则探测通过所述界线的物体的存在。
告知系统20的告知装置200中，若光幕探测到向警戒区域的进入，则立即视为存在向危险区域接近的物体。而且，由于不进行实施方式1的利用距离图像数据的过滤，因而虽然无法减轻从通常图像数据中提取身体的各部的处理的负担，但可与实施方式1的告知装置100同样地，向接近者2告知警告。
根据实施方式3，可对利用光幕来探测向危险区域的接近的、现有的设备，附加通过触感来告知警告的功能。
〔实施方式4〕
实施方式4的告知系统为与实施方式1的告知系统10相同的结构，但在现场设置告知系统时的、具有特殊功能的方面与告知系统10不同。
图6为表示实施方式4的告知系统30的结构的概略图。告知系统30包括告知装置300。
告知系统30的接近传感器310、图像传感器320、超声波照射装置330的超声波照射阵列331、其反射板335分别具有标记351。
在这些各装置或零件的基准面，分别包括至少三点标记351。标记351包含使红外光回归反射的回归构件。回归构件具体而言可为角隅棱镜(corner cube)、或回归反射片。
进而，告知系统30包括具有红外线发光元件的红外摄像机360。红外摄像机360为可获得由自身释出的红外线的反射光所得的红外线图像的摄像机。
图7为用于说明在现场设置告知系统30的方法的图。图7(a)为表示超声波照射阵列331的图，为了简化附图，省略超声波产生元件132的图示。
图7(a)中，在超声波照射阵列331的屏面，配置有四点标记351。而且，印刷有用于识别装置种类的信息的二维码也贴附于屏面。将最靠近所述二维码的标记作为基准标记，将从基准标记向预定的基准标记以外的不同两个标记的向量分别设为向量v1、向量v2。
图7(b)为利用红外摄像机360拍摄超声波照射阵列331的屏面所得的红外线图像。标记351包含回归构件，因而标记的位置明确地成为亮点而被拍摄到。而且，也可读取二维码的信息。
图7(b)中，图示了与所述向量v1及向量v2对应的、红外线图像上的向量v’1及向量v’2。这样，在红外线图像上，可明确地判别向量v’1及向量v’2。
此处，可根据向量v’1及向量v’2的位置、斜率及大小，算出从红外摄像机360观看的屏面的位置及姿势。
更具体而言，将标记351的设置位置设为在装置(此处的屏面)的坐标系中以同次坐标表示的Q，将使装置的坐标系转移至红外摄像机360的坐标系的刚体变换设为R，将自红外摄像机360的视角所得的透视投影变换设为P，成为Q’＝R·A·Q。若使针对一个装置对三个以上的标记351适用所述设定的式联立，且考虑到因刚体变换R而标记351的设置点间的距离及角度不变，则可获得刚体变换R。
在用于所述计算的标记全部处于同一平面上的情况下，根据单一图像而一般获得两种解，因而应采用两种解中的哪一个是根据其他限制条件来判定。例如，利用根据仅可从屏面的表面观察到标记的限制条件或者从不同部位拍摄的多个红外线图像所确定的、不在同一平面上的四个以上的标记的组等。
关于超声波照射阵列331以外的其他装置或零件，也可同样地算出相对于红外摄像机360的位置及设置的角度。这样，通过对多个装置比较与红外摄像机360的相对位置，从而可算出多个装置间的位置关系。
根据以上的方法，告知系统30中，可准确地根据红外摄像机360的拍摄图像得知接近传感器310、图像传感器320、超声波照射装置330的超声波照射阵列331、其反射板335的设置位置及设置角度。因此，可基于这些信息容易地决定超声波照射装置330为了产生触觉而照射超声波的位置。
进而，如图6所示，告知系统30也可为了通过红外摄像机360的拍摄来把握危险区域与安全区域(警戒区域)的界线，而包括多个标记板350。标记板350为在平面上包括至少三点以上的所述标记351的、板状或片状的构件。通过在危险区域与安全区域(警戒区域)的界线设置标记板350，从而可利用与所述相同的方法容易地算出所述界线相对于告知系统30的位置。
所述各实施方式中，以接近传感器、图像传感器及超声波照射装置各为一套的情况为示例进行了说明。但是，本发明的适用不限于此，也可分别使用多个。特别在需警戒的区域为广范围的情况或为复杂形状的情况下，有效的是设为多台。
此时，特别关于利用超声波照射装置的触感生成，优选利用超声波照射控制部，以对一个照射对象从一台超声波照射装置照射超声波的方式进行控制。其原因在于，不对一个照射对象生成规定以上的刺激。
〔借由软件的实现例〕
告知装置100、200、300的功能块(特别是接近传感器控制部101、图像传感器控制部102、人检测部103、照射部位选择部104、超声波照射控制部105)可借由形成为集成电路(集成电路(Integrated Circuit，IC)芯片)等的逻辑电路(硬件)来实现，也可借由软件来实现。
后者的情况下，告知装置100、200、300包括计算机，所述计算机执行作为实现各功能的软件的、程序的命令。所述计算机例如包括一个以上的处理器，并且可包括存储了所述程序的计算机可读取的记录介质。而且，通过在所述计算机中所述处理器从所述记录介质读取所述程序并执行，从而达成本发明的目的。作为所述处理器，例如可使用中央处理器(Central Processing Unit，CPU)。作为所述记录介质，除了“非暂时性的有形介质”、例如只读存储器(Read Only Memory，ROM)等以外，还可使用带、盘、卡、半导体存储器、可编程的逻辑电路等。而且，也可还包括展开所述程序的随机存取存储器(Random Access Memory，RAM)等。而且，所述程序也可通过可传输所述程序的任意的传输介质(通信网络或广播波等)供给于所述计算机。此外，本发明的一实施例也能以通过电子传输使所述程序具现化的、嵌埋于载波的数据信号的形态实现。
〔总结〕
本发明的一方面的告知系统包括：接近传感器，探测物体向规定区域的接近；图像传感器，拍摄图像；超声波照射装置，从远处向人的身体部位照射可产生触感的超声波；以及告知装置，设有接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，且所述告知系统包括下述结构：所述接近传感器控制部从所述接近传感器获取距所述物体的距离信息，所述图像传感器控制部从所述图像传感器获取所述物体的图像信息，所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，所述超声波照射控制部使所述超声波照射装置向所述人检测部检测到的人的身体部位照射所述超声波。
根据所述结构，可通过与视觉方法或听觉方法不同的、触觉方法，来进行人向危险区域等所需区域接近的警告。因此，不会如仅使用视觉方法及听觉方法的情况那样接近者看漏警告，可有效地认知警告。
特别在工厂内，各种机械设备为了告知各种现象而执行警告灯的点亮或警报音等的鸣动等各种视觉方法、听觉方法那样的情况下，也可使接近者有效地认知警告。
而且，在接近者搬运货物时等视线被遮挡的情况、或注意力降低的情况下，也可有效地认知警告。
在给予警告时，也不会以必要以上的程度惊扰接近者或将工序中的构件或工具吹飞，也不会对生产工序造成不适当的影响。
所述一方面的告知系统中，也可包括下述结构：在所述告知装置中还设有照射部位选择部，所述照射部位选择部从所述人检测部所检测到的多个所述人的身体部位中，按照预定的优先次序，选择使所述超声波照射装置照射所述超声波的人的身体部位。
根据所述结构，在接近者的身体的一部分被障碍物遮蔽的情况下，也可从更理想的身体部位中选择可适当且有效地认知警告那样的身体部位。
所述一方面的告知系统中，也可包括下述结构：所述超声波照射控制部通过使所述超声波照射装置间歇地产生所述超声波，而对所述人的身体部位间歇地生成触感。
根据所述结构，可抑制惊扰接近者的可能性，可使接近者更适当且有效地认知警告。
所述一方面的告知系统中，也可包括下述结构：所述超声波照射控制部根据所述距离信息，调整间歇地产生所述超声波的间隔、所述超声波的强度、照射所述超声波的位置中的至少任一个。
根据所述结构，可对接近者以越接近危险区域等规定区域则越给予更强的警告的方式运行，由此可有效地抑制向规定区域的进入。
所述一方面的告知系统中，也可设为下述结构：包括兼用作所述接近传感器与所述图像传感器的、ToF摄像机。
根据所述结构，可利用一个传感器来实现所述接近传感器与所述图像传感器，结构及设置更简易。
所述一方面的告知系统中，也可设为下述结构：所述接近传感器为光幕。
根据所述结构，在使用光幕的告知系统中，也可实现通过触觉对接近者给予可适当且有效地认知的警告。
所述一方面的告知系统中，也可设为下述结构：所述接近传感器与所述图像传感器的至少任一个、及所述超声波照射装置分别在基准面上包括三个以上的标记，根据拍摄各个所述基准面上的三个以上的标记所得的图像，可至少判定所述接近传感器或所述图像传感器、与所述超声波照射装置的位置关系。
根据所述结构，可把握传感器与超声波照射装置的位置关系，可向接近者的身体的部位可靠地照射超声波。
本发明的一方面的告知装置包括接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，且包括下述结构：所述接近传感器控制部从探测物体向规定区域的接近的接近传感器获取距所述物体的距离信息，所述图像传感器控制部从拍摄图像的图像传感器获取所述物体的图像信息，所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，所述超声波照射控制部使从远处对人的身体部位照射可产生触感的超声波的、超声波照射装置，对所述人检测部所检测到的人的身体部位照射所述超声波。
根据所述结构，可实现下述告知系统，即：可在工厂内等，在人向危险区域等规定区域接近的情况下，使接近者适当且有效地认知警告。
所述一方面的告知装置中，可设为下述结构：还设有照射部位选择部，所述照射部位选择部从所述人检测部所检测到的多个所述人的身体部位中，按照预定的优先次序，选择使所述超声波照射控制部照射所述超声波的人的身体部位。
根据所述结构，即便在接近者的身体的一部被障碍物遮蔽的情况下，也可从更理想的身体部位中选择可使接近者适当且有效地认知警告的身体部位。
本发明不限定于所述各实施方式，可在权利要求所示的范围内进行各种变更，将不同实施方式中分别公开的技术手段适当组合所得的实施方式也包含于本发明的技术范围。
符号的说明
10、20、30：告知系统
100、200、300：告知装置
101：接近传感器控制部
102：图像传感器控制部
103：人检测部
104：照射部位选择部
105：超声波照射控制部
110、310：接近传感器
120、320：图像传感器
130、330：超声波照射装置
131、331：超声波照射阵列
132：超声波产生元件
135、335：反射板
211：光幕的光发送器
212：光幕的光接收器
213：光线
350：标记板
351：标记
360：红外摄像机

Claims (9)

1.一种告知系统，包括：
接近传感器，探测物体向规定区域的接近；
图像传感器，拍摄图像；
超声波照射装置，从远处向人的身体部位照射能够产生触感的超声波；以及
告知装置，设有接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，
所述接近传感器控制部从所述接近传感器获取距所述物体的距离信息，
所述图像传感器控制部从所述图像传感器获取所述物体的图像信息，
所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，
所述超声波照射控制部使所述超声波照射装置对所述人检测部所检测到的人的身体部位照射所述超声波。
2.根据权利要求1所述的告知系统，其中，在所述告知装置中，还设有照射部位选择部，
所述照射部位选择部从所述人检测部所检测到的多个所述人的身体部位中，按照预定的优先次序，选择使所述超声波照射装置照射所述超声波的人的身体部位。
3.根据权利要求1或2所述的告知系统，其中，所述超声波照射控制部通过使所述超声波照射装置间歇地产生所述超声波，从而对所述人的身体部位间歇地生成触感。
4.根据权利要求3所述的告知系统，其中，所述超声波照射控制部根据所述距离信息，调整间歇地产生所述超声波的间隔、所述超声波的强度、照射所述超声波的位置中的至少任一个。
5.根据权利要求1至4中任一项所述的告知系统，包括：飞行时间摄像机，兼用作所述接近传感器与所述图像传感器。
6.根据权利要求1至5中任一项所述的告知系统，其中，所述接近传感器为光幕。
7.根据权利要求1至6中任一项所述的告知系统，其中，所述接近传感器与所述图像传感器的至少任一个、及所述超声波照射装置分别在基准面上包括三个以上的标记，
根据拍摄各个所述基准面上的三个以上的标记所得的图像，至少能够判定所述接近传感器或所述图像传感器、与所述超声波照射装置的位置关系。
8.一种告知装置，包括接近传感器控制部、图像传感器控制部、人检测部及超声波照射控制部，
所述接近传感器控制部从探测物体向规定区域接近的接近传感器获取距所述物体的距离信息，
所述图像传感器控制部从拍摄图像的图像传感器获取所述物体的图像信息，
所述人检测部根据所述距离信息及所述图像信息，在向所述规定区域接近至规定范围内的所述物体为人的情况下，检测所述人的身体部位，
所述超声波照射控制部使从远处对人的身体部位照射能够产生触感的超声波的超声波照射装置，对所述人检测部所检测到的人的身体部位照射所述超声波。
9.根据权利要求8所述的告知装置，还设有照射部位选择部，
所述照射部位选择部从所述人检测部所检测到的多个所述人的身体部位中，按照预定的优先次序，选择使所述超声波照射控制部照射所述超声波的人的身体部位。
CN202080019846.3A 2019-03-27 2020-03-09 告知系统以及告知装置 Pending CN113544754A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-061728 2019-03-27
JP2019061728A JP7127592B2 (ja) 2019-03-27 2019-03-27 報知システム
PCT/JP2020/009905 WO2020195731A1 (ja) 2019-03-27 2020-03-09 報知システム、報知装置

Publications (1)

Publication Number Publication Date
CN113544754A true CN113544754A (zh) 2021-10-22

Family

ID=72611393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019846.3A Pending CN113544754A (zh) 2019-03-27 2020-03-09 告知系统以及告知装置

Country Status (5)

Country Link
US (1) US11967183B2 (zh)
EP (1) EP3951734A4 (zh)
JP (1) JP7127592B2 (zh)
CN (1) CN113544754A (zh)
WO (1) WO2020195731A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101929839A (zh) * 2009-06-24 2010-12-29 富士施乐株式会社 位置测量系统、用于位置测量的处理装置和处理方法
CN101995219A (zh) * 2010-11-05 2011-03-30 天津工业大学 一种基于三点编码标记点的车架的关键点测量方法
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59161511A (ja) 1983-03-03 1984-09-12 Raito Kogyo Kk グラウト注入装置
JPH0414301Y2 (zh) 1986-10-20 1992-03-31
FR2770317B1 (fr) 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
AU5468199A (en) 1998-08-06 2000-02-28 Virginia Commonwealth University Methods and apparatus for alerting and/or repelling birds and other animals
US20070093709A1 (en) * 2005-10-26 2007-04-26 Abernathie Dennis L Surgical navigation markers
JP4740264B2 (ja) * 2006-02-03 2011-08-03 富士通株式会社 検証装置、検証方法及び検証プログラム
JP2008018896A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 歩行者警告装置
JP2010025759A (ja) * 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5343946B2 (ja) 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
EP2518709B1 (de) * 2011-04-28 2013-06-12 Sick Ag Diebstahlabsicherungsvorrichtung und Verfahren zur Erkennung von unberechtigten Eingriffen und Zutritten
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
FR3014571B1 (fr) * 2013-12-11 2021-04-09 Dav Dispositif de commande a retour sensoriel
EP3392852A4 (en) 2015-12-16 2019-08-21 Nec Corporation INTRUSION DETECTION DEVICE, SETTING ASSIST DEVICE, INTRUSION DETECTION METHOD, SETTING ASSIST METHOD, AND PROGRAM RECORDING MEDIUM
KR102424296B1 (ko) * 2016-02-19 2022-07-25 삼성전자주식회사 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치
WO2017155126A1 (ja) * 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN109153134B (zh) * 2016-05-26 2021-08-13 三菱电机株式会社 机器人控制装置
WO2018088146A1 (ja) * 2016-11-08 2018-05-17 国立大学法人九州大学 施術支援システム、施術支援方法及び施術支援プログラム
EP3630417A1 (en) * 2017-05-22 2020-04-08 ABB Schweiz AG Robot-conveyor calibration method, robot system and control system
US10740617B2 (en) * 2017-12-19 2020-08-11 Intel Corporation Protection and recovery of identities in surveillance camera environments
JP6364568B1 (ja) 2018-03-19 2018-07-25 株式会社片岡商店 工場内安全標識投影装置
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム
KR20210101920A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 서버 장치 및 그의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101929839A (zh) * 2009-06-24 2010-12-29 富士施乐株式会社 位置测量系统、用于位置测量的处理装置和处理方法
CN101995219A (zh) * 2010-11-05 2011-03-30 天津工业大学 一种基于三点编码标记点的车架的关键点测量方法
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Also Published As

Publication number Publication date
US20220165093A1 (en) 2022-05-26
JP2020160988A (ja) 2020-10-01
JP7127592B2 (ja) 2022-08-30
WO2020195731A1 (ja) 2020-10-01
US11967183B2 (en) 2024-04-23
EP3951734A4 (en) 2022-11-30
EP3951734A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US11205348B2 (en) Drive assist device
US11267461B2 (en) Driving assistance apparatus and driving assistance method
JP4657765B2 (ja) ノーズビューシステム
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
KR20200051529A (ko) 단순한 2d 카메라를 기반으로 하여 자율주행 자동차와 통신하기 위한 거동 제어
US9369680B2 (en) Protecting roadside personnel using a camera and a projection system
JP2007310705A (ja) 車両周辺監視装置
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP6765100B2 (ja) 視野外障害物検知システム
CN108536142B (zh) 基于数字光栅投影的工业机器人防撞预警系统及方法
WO2022244747A1 (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
CN113544754A (zh) 告知系统以及告知装置
JP7280852B2 (ja) 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
JP2011053005A (ja) 監視システム
KR102084329B1 (ko) 차량 내 유아 모니터링 방법 및 시스템
CN114586077A (zh) 监视系统以及程序
KR101438921B1 (ko) 차량 주변의 이동체 경보 장치 및 방법
JP6426438B2 (ja) 軌道接近警告システム
US20210279486A1 (en) Collision avoidance and pedestrian detection systems
KR20220102774A (ko) 라이다(LiDAR)를 이용한 인체 감시장치
JP2018117331A (ja) ベッド見守り装置
JP4033345B2 (ja) 頭部抽出方法
JP2016118919A (ja) 監視装置、監視方法
WO2023189076A1 (ja) 監視システム及び監視方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination