JP2019078725A - 複数のセンサを備えた物体監視装置 - Google Patents

複数のセンサを備えた物体監視装置 Download PDF

Info

Publication number
JP2019078725A
JP2019078725A JP2017208182A JP2017208182A JP2019078725A JP 2019078725 A JP2019078725 A JP 2019078725A JP 2017208182 A JP2017208182 A JP 2017208182A JP 2017208182 A JP2017208182 A JP 2017208182A JP 2019078725 A JP2019078725 A JP 2019078725A
Authority
JP
Japan
Prior art keywords
monitoring
determination unit
area
present
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017208182A
Other languages
English (en)
Other versions
JP6603290B2 (ja
Inventor
中村 稔
Minoru Nakamura
稔 中村
渡邉 淳
Atsushi Watanabe
淳 渡邉
祐輝 高橋
Yuki Takahashi
祐輝 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017208182A priority Critical patent/JP6603290B2/ja
Priority to DE102018008300.5A priority patent/DE102018008300A1/de
Priority to US16/167,555 priority patent/US10408611B2/en
Priority to CN201811237300.6A priority patent/CN109724642B/zh
Publication of JP2019078725A publication Critical patent/JP2019078725A/ja
Application granted granted Critical
Publication of JP6603290B2 publication Critical patent/JP6603290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02041Interferometers characterised by particular imaging or detection techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02083Interferometers characterised by particular signal processing and presentation
    • G01B9/02089Displaying the signal, e.g. for user interaction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

【課題】複数のセンサを備えた物体監視装置の監視動作の信頼性を確保する。【解決手段】物体監視装置10は、互いに対応する空間領域を測定する第1及び第2のセンサ12−1、12−2と、第1のセンサの測定データD1に基づき所定の監視領域における物体の有無を判定する第1の判定部14−1と、第2のセンサの測定データD2に基づき監視領域の外側まで拡がる拡張領域における物体の有無を判定する第2の判定部14−2と、第1の判定部が監視領域に物体が存在すると判定したときに、測定データD1に基づく監視領域の判定結果として第1の物体検知信号S1を出力する第1の信号出力部16−1と、第1の判定部が監視領域に物体が存在すると判定したときで且つ第2の判定部が拡張領域に物体が存在すると判定した場合に、測定データD2に基づく監視領域の判定結果として第2の物体検知信号S2を出力する第2の信号出力部16−2とを備える。【選択図】図1

Description

本発明は、複数のセンサを備えた物体監視装置に関する。
空間領域を測定するセンサを用いて当該空間領域に存在する物体を監視する物体監視装置が知られている。例えば特許文献1は、スペクトラム拡散方式によるレーダ装置を用いて所望領域内の物体を監視する領域監視方法及びその装置を開示する。特許文献1には、複数のレーダが互いに一部異なる領域を監視する構成と、複数のレーダが互いに同一の領域を監視する構成とが記載されている。また特許文献2は、焦電センサ等のセンサを用いて監視領域内の物体の存在を検出する物体検出装置を開示する。特許文献2の物体検出装置は、センサの検出出力に基づいて物体有無を判定する判定手段と、センサが故障したときに、物体有無の判定結果に関わらず危険を示す信号を発生する信号処理手段とを備えている。
特開平9−257919号公報 特開平8−122446号公報
物体監視装置を備えたシステムにおいて、予期しない不具合により監視領域内の物体を検出できないような状況に対処し監視動作の信頼性及び安全性を向上するべく、互いに対応する空間領域を測定する複数の物体監視装置を使用し、それら物体監視装置により共通の監視領域を冗長的に監視するように構成する場合がある。しかしながらこの構成では、個々の物体監視装置が備えるセンサの仕様が異なる場合や、同一仕様のセンサでも測定精度や測定分解能の誤差、環境での設置位置や設置姿勢の誤差等の、設計値に対する誤差を含む場合があり、また複数の物体監視装置の間に、それぞれのセンサの測定データの取得タイミングや処理速度の差、それぞれの設置場所の環境条件(例えば温度や振動)の差等の、内的又は外的要因による性能差が存在する場合がある。このような場合には、複数の物体監視装置の処理結果の間にずれが生じ、そのずれが監視動作の信頼性や安全性を損なうことが懸念される。
本開示の一態様は、互いに対応する空間領域を測定する第1のセンサ及び第2のセンサと、第1のセンサの測定データに基づき、空間領域の中に定めた監視領域に物体が存在するか否かを判定する第1の判定部と、第2のセンサの測定データに基づき、監視領域の外側所定距離まで拡がる拡張領域に物体が存在するか否かを判定する第2の判定部と、第1の判定部が監視領域に物体が存在すると判定したときに、第1のセンサの測定データに基づく監視領域の判定結果として第1の物体検知信号を出力する第1の信号出力部と、第1の判定部が監視領域に物体が存在すると判定したときで且つ第2の判定部が拡張領域に物体が存在すると判定した場合に、第2のセンサの測定データに基づく監視領域の判定結果として第2の物体検知信号を出力する第2の信号出力部と、を備える物体監視装置である。
本開示の他の態様は、互いに対応する空間領域を測定する第1のセンサ及び第2のセンサと、第1のセンサの測定データに基づき、空間領域の中に定めた監視領域に物体が存在するか否かを判定するとともに、監視領域の外側所定距離まで拡がる拡張領域に物体が存在するか否かを判定する第1の判定部と、第2のセンサの測定データに基づき、監視領域に物体が存在するか否かを判定するとともに、拡張領域に物体が存在するか否かを判定する第2の判定部と、第1の判定部が監視領域に物体が存在すると判定したときに、第1の判定部による監視領域の判定結果として第1の物体検知信号を出力する第1の信号出力部と、第2の判定部が監視領域に物体が存在すると判定したときに、第2の判定部による監視領域の判定結果として第2の物体検知信号を出力する第2の信号出力部と、第1の判定部が監視領域に物体が存在すると判定したときで且つ第2の判定部が拡張領域に物体が存在すると判定した場合に、第2の信号出力部に第2の物体検知信号を出力させ、第2の判定部が監視領域に物体が存在すると判定したときで且つ第1の判定部が拡張領域に物体が存在すると判定した場合に、第1の信号出力部に第1の物体検知信号を出力させる判定調整部と、を備える物体監視装置である。
一態様に係る物体監視装置では、第1のセンサ及び第2のセンサを用いて共通の監視領域が冗長的に監視されるので、監視領域に対する監視動作の信頼性及び安全性が向上する。複数の物体監視装置を備える従来のシステム構成においては、個々の物体監視装置が備えるセンサの仕様が異なる場合や、同一仕様のセンサでも測定精度や測定分解能の誤差、環境での設置位置や設置姿勢の誤差等の、設計値に対する誤差を含む場合があり、また、複数の物体監視装置の間に、それぞれのセンサの測定データの取得タイミングや処理速度の差、それぞれの設置場所の環境条件(例えば温度や振動)の差等の、内的又は外的要因による性能差が存在する場合がある。これに対し、一態様に係る物体監視装置によれば、第1のセンサを用いた監視領域の監視動作を基準動作とした上で、第2のセンサによる測定対象空間を監視領域の外側所定距離まで拡がる拡張領域とすることで、両センサに上記した仕様の違い、誤差、性能差等が内在する場合にも、従来であれば複数のセンサの測定データやその処理結果の間に生じていたずれを、外側所定距離の分だけ余裕を持って実行される第2のセンサ側の余裕監視動作によって吸収することができる。したがって物体監視装置によれば、第1及び第2のセンサを用いた監視領域の監視動作の、誤差や性能差等に起因する不一致を解消して、監視動作の信頼性や安全性を確保することができる。
他の態様に係る物体監視装置は、上記した効果と同等の効果を奏する。
物体監視装置の一実施形態の構成を示す機能ブロック図である。 物体監視装置の空間的配置の一例を、監視領域及び拡張領域の一例と共に模式的に示す図である。 物体監視装置の空間的配置の他の例を、監視領域及び拡張領域の一例と共に模式的に示す図である。 監視領域及び拡張領域の変形例を模式的に示す図である。 監視領域及び拡張領域の一例を互いに分離して模式的に示す図である。 監視領域及び拡張領域の他の例を互いに分離して模式的に示す図である。 物体監視装置の監視動作の一例を示す図である。 物体監視装置の他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を示す機能ブロック図である。 物体監視装置のさらに他の実施形態の構成を模式的に示す図である。
以下、添付図面を参照して本開示の実施の形態を説明する。全図面に渡り、対応する構成要素には共通の参照符号を付す。
図1は、物体監視装置10の一実施形態の構成を機能ブロックで示す。図2及び図3は、物体監視装置10の空間的配置の例を模式的に示す。物体監視装置10は、互いに対応する空間領域Rを測定する第1のセンサ12−1及び第2のセンサ12−2と、第1のセンサ12−1の測定データD1に基づき、空間領域Rの中に定めた監視領域Aに物体(図2及び図3では物体Oa、Ob、Oc。以下、何らかの「もの」を「物体O」と総称する。)が存在するか否かを判定する第1の判定部14−1と、第2のセンサ12−2の測定データD2に基づき、監視領域Aの外側所定距離dまで拡がる拡張領域Bに物体Oが存在するか否かを判定する第2の判定部14−2と、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときに、第1のセンサ12−1の測定データに基づく監視領域Aの判定結果として第1の物体検知信号S1を出力する第1の信号出力部16−1と、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときで且つ第2の判定部14−2が拡張領域Bに物体Oが存在すると判定した場合に、第2のセンサ12−2の測定データに基づく監視領域Aの判定結果として第2の物体検知信号S2を出力する第2の信号出力部16−2とを備える。
物体監視装置10はさらに、第2の判定部14−2が、第2のセンサ12−2の測定データD2に基づき、監視領域Aに物体Oが存在するか否かを判定し、第1の判定部14−1が、第1のセンサ12−1の測定データD1に基づき、拡張領域Bに物体Oが存在するか否かを判定するように構成できる。この構成では、第2の信号出力部16−2は、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときに、第2のセンサ12−2の測定データに基づく監視領域Aの判定結果として第2の物体検知信号S2を出力する。そして第1の信号出力部16−1は、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときで且つ第1の判定部14−1が拡張領域Bに物体Oが存在すると判定した場合に、第1のセンサ12−1の測定データに基づく監視領域Aの測定結果として第1の物体検知信号S1を出力する。
第1のセンサ12−1及び第2のセンサ12−2の各々は、空間領域に存在する物体までの距離と方向とを三次元測定する測距センサである。本開示において採用可能な測距センサとしては、投光光学系と受光光学系とを有する三角測距式の測定装置、2台の撮像装置(例えばCCDカメラ)を用いるステレオ測距式の測定装置、電波の反射遅延時間を利用するレーダ、光(レーザや近赤外光)の反射遅延時間を利用するTOFセンサ等を挙げることができる。なお本開示は測距センサの構成を限定するものではない。また、空間において任意の点(三次元座標)が所定の三次元領域内に有るか否かを判定する手法は様々な手法が提案されており、本開示は当該判定手法を限定するものではない。
第1のセンサ12−1と第2のセンサ12−2とは、例えば互いに同一の仕様を有し、互いに対応する空間領域Rを三次元測定する。第1のセンサ12−1は、空間領域Rに存在する物体Oまでの、第1のセンサ12−1からの距離及び方向を測定できる。第2のセンサ12−2は、空間領域Rに存在する物体Oまでの、第2のセンサ12−2からの距離及び方向を測定できる。
例えば図2に示すように、第1のセンサ12−1と第2のセンサ12−2とを、互いに同じ方向を向く(つまり両センサ12−1、12−2の視野が実質的同一の方向へ広がる)ように配置できる。この構成では、第1のセンサ12−1と第2のセンサ12−2とを互いに可及的に近接させて配置することにより、両センサ12−1、12−2が冗長的に測定し得る空間領域Rを広く取ることができる。また、同一仕様の第1及び第2のセンサ12−1、12−2を実質的同一の位置から同じ方向に向けて配置すれば、両センサ12−1、12−2が測定する物体Oの像は実質的に同一となり、例えばいずれか一方のセンサが障害物等により物体Oを測定できなくなる状況を回避できる。なお本開示において「同じ方向」とは、設計上は完全同一の方向を向くように第1のセンサ12−1と第2のセンサ12−2とを構成する一方で、製造や設置の過程で生じ得る誤差をその方向性に含み得ることを意味する。
また、例えば図3に示すように、第1のセンサ12−1と第2のセンサ12−2とを、互いに異なる方向を向く(つまり両センサ12−1、12−2の視野が互いに角度を成す方向へ広がる)ように配置できる。この構成は、第1のセンサ12−1と第2のセンサ12−2とを互いに離隔して配置する場合に有効であって、それらセンサ12−1、12−2の視野(図の破線扇形部分)や離隔距離に応じた相対角度を設定することにより、両センサ12−1、12−2が冗長的に測定し得る空間領域Rを広く取ることができる。
図2及び図3に示すように、空間領域Rの中の任意の位置に、第1のセンサ12−1及び第2のセンサ12−2の各々を用いて監視する共通の監視領域Aが予め定められる。監視領域Aは、任意形状の三次元的広がりを有する限定された空間領域である。物体監視装置10は、監視領域Aの中に存在する物体Oの動向を、第1のセンサ12−1及び第2のセンサ12−2の各々の測定データD1、D2を用いて監視することができる。監視領域Aの形状としては、立方体(図示)、直方体、球等の単純形状や、その他任意の立体形状を採用できる。監視領域Aの形状、寸法、位置等は例えば、物体監視装置10を装備する監視システムの設計者が適宜に設定できる。
図2及び図3に示すように、拡張領域Bは、空間領域Rの中で監視領域Aの外側所定距離dまで拡がる形状の三次元的広がりを有する限定された空間領域である。図示の拡張領域Bは、監視領域Aをそのまま外側所定距離dまで拡張した形状(つまり監視領域Aを包含する形状)を有する。監視領域Aから拡張領域Bへの拡張は、図示のように三次元的全方位へ一様な距離dだけ拡張する構成であってもよいし、例えば図4に示すように、必要に応じて所定の方向へ他の方向よりも広く拡張する(つまり方向によって距離dが異なる)構成であってもよい。また、空間領域Rに監視領域Aを定めるときに所定形状の拡張領域Bを予備的に定めるようにしてもよいし、或いは、必要な外側所定距離dを予め記憶して監視領域Aを外側所定距離dまで拡張して得られる範囲を事後的に拡張領域Bとして扱うようにしてもよい。
図5Aは、図2及び図3に示す監視領域A及び拡張領域Bを、それらの寸法関係を維持しつつ互いに分離して示す模式図である。また図5Bは、図5Aに対応する図で、図2及び図3に示す監視領域A及び拡張領域Bの他の例を互いに分離して示す模式図である。物体監視装置10が、第1及び第2の判定部14−1、14−2の各々が監視領域A及び拡張領域Bの双方における物体Oの有無を判定するように構成される場合、拡張領域Bは、監視領域Aを包含する形状(図5A)に限定されず、監視領域Aを外側所定距離dの範囲で三次元的に包囲する形状(図5B)を有することができる。
拡張領域Bが監視領域Aを包含する構成及び包囲する構成のいずれの構成においても、拡張領域Bの形状、寸法、位置等は例えば、物体監視装置10を装備する監視システムの設計者が、後述するセンサ間の誤差や性能差等を考慮して監視領域Aを基準に適宜に設定してもよい。このときの拡張領域Bの形状としては、立方体、直方体、球等の単純形状や、その他任意の立体形状を採用できる。また、より厳密に外側所定距離dを求める手法として、本開示で定義される「拡張距離関数」を用いることができる。拡張距離関数を用いた場合、例えば、図4に示す拡張領域Bの形状を、空間領域Rにおける監視領域Aの位置や形状等に応じて最適化することができる。拡張距離関数については後に詳述する。
第1の判定部14−1及び第2の判定部14−2の各々は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは第1の判定部14−1及び第2の判定部14−2の各々は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。第1の判定部14−1は、第1のセンサ12−1の測定データD1と監視領域Aの位置及び形状とを取得し、測定データD1に対し必要に応じて三次元座標変換等の処理を行って、第1のセンサ12−1が測定した物体Oが監視領域Aの中に入っているか否かを判定する。第2の判定部14−2は、第2のセンサ12−2の測定データD2と拡張領域Bの位置及び形状とを取得し、測定データD2に対し必要に応じて三次元座標変換等の処理を行って、第2のセンサ12−2が測定した物体Oが拡張領域Bの中に入っているか否かを判定する。同様に、第1の判定部14−1は、第1のセンサ12−1の測定データD1と拡張領域Bの位置及び形状とを取得して、第1のセンサ12−1が測定した物体Oが拡張領域Bの中に入っているか否かを判定でき、また第2の判定部14−2は、第2のセンサ12−2の測定データD2と監視領域Aの位置及び形状とを取得して、第2のセンサ12−2が測定した物体Oが監視領域Aの中に入っているか否かを判定できる。
拡張領域Bの物体有無の判定は、例えば、拡張領域Bを表す空間座標データを生成し、第1のセンサ12−1又は第2のセンサ12−2の測定データD1、D2が示す座標が拡張領域Bの中に有るか否かを判定することにより実行できる。或いは、拡張領域Bを表す空間座標データを生成せずに、第1の判定部14−1又は第2の判定部14−2が、測定データD1、D2に基づき、監視領域Aと監視領域Aの外側に存在する物体Oとの間の距離を求め、当該距離が外側所定距離d以下のときに、拡張領域Bに物体Oが存在すると判定することもできる。後者の構成では、空間領域Rに所定形状の拡張領域Bを予め定める必要が無い。
第1の信号出力部16−1及び第2の信号出力部16−2の各々は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは第1の信号出力部16−1及び第2の信号出力部16−2の各々は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。第1の信号出力部16−1は、第1の判定部14−1(及び必要に応じ第2の判定部14−2)の判定結果に応じて第1の物体検知信号S1を出力する。第2の信号出力部16−2は、第2の判定部14−2(及び必要に応じ第1の判定部14−1)の判定結果に応じて第2の物体検知信号S2を出力する。第1の信号出力部16−1及び第2の信号出力部16−2の各々は、第1の物体検知信号S1及び第2の物体検知信号S2を、例えば信号処理装置、表示装置、報知装置等の外部機器(図示せず)に出力することができる。
物体監視装置10では、第1のセンサ12−1及び第2のセンサ12−2を用いて共通の監視領域Aが冗長的に監視されるので、監視領域Aに対する監視動作の信頼性及び安全性が向上する。複数の物体監視装置により所定領域を監視する従来のシステム構成においては、個々の物体監視装置が備えるセンサの仕様が異なる場合や、同一仕様のセンサでも測定精度や測定分解能の誤差、環境での設置位置や設置姿勢の誤差等の、設計値に対する誤差を含む場合があり、また、複数の物体監視装置の間に、それぞれのセンサの測定データの取得タイミングや処理速度の差、それぞれの設置場所の環境条件(例えば温度や振動)の差等の、内的又は外的要因による性能差が存在する場合がある。このような場合には、複数のセンサの測定データやその処理結果の間にずれが生じ、そのずれが監視動作の信頼性や安全性を損なうことが懸念される。また、測定データや処理結果の間に生じたずれが、上記した誤差や性能差等に起因するものなのか、或いは装置故障によるものなのかの判別が困難であり、許容し得る誤差や性能差等が原因の場合にも装置故障として過剰に対処することが危惧される。物体監視装置10は、以下に説明するように、このような課題を解決することができる。
まず図2及び図3を参照して、物体監視装置10の監視動作を説明する。第1の判定部14−1は、第1のセンサ12−1が測定した物体Oが監視領域Aの中に有る場合に、監視領域Aに物体Oが存在すると判定する。第1の信号出力部16−1は、その基準動作として、第1の判定部14−1による監視領域Aでの物体存在の判定結果を受けて、第1のセンサ12−1が監視領域Aを測定した結果としての第1の物体検知信号S1を出力する。第1の判定部14−1が、第1のセンサ12−1が測定した物体Oが監視領域Aに存在しないと判定した場合には、第1の信号出力部16−1は、第1の物体検知信号S1を出力しない。
例えば図2及び図3において、全体が監視領域Aの中に有る物体Oaが存在する場合、及び一部分が監視領域Aの中に有る物体Obが存在する場合の、いずれの場合も、第1の判定部14−1は監視領域Aに物体Oが存在すると判定し、第1の信号出力部16−1はその基準動作として第1の物体検知信号S1を出力する。他方、全体が監視領域Aの外に有る物体Ocしか存在しない場合、第1の判定部14−1は監視領域Aに物体Oが存在しないと判定し、第1の信号出力部16−1は第1の物体検知信号S1を出力しない。
第2の判定部14−2は、第2のセンサ12−2が測定した物体Oが拡張領域Bの中に有る場合に、拡張領域Bに物体Oが存在すると判定する。第2の信号出力部16−2は、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときで且つ第2の判定部14−2が拡張領域Bに物体Oが存在すると判定した場合に、第2のセンサ12−2が監視領域Aを測定した結果としての第2の物体検知信号S2を出力する。すなわち第2の信号出力部16−2は、第1の判定部14−1による監視領域Aでの物体存在の判定結果が得られていることを条件に、第2の判定部14−2による拡張領域Bでの物体存在の判定結果に従って、監視領域Aに物体Oが存在することを示す第2の物体検知信号S2を出力する。
例えば、全体が拡張領域Bの中に有る物体Oが存在する場合、及び一部分が拡張領域Bの中に有る物体Oが存在する場合の、いずれの場合も、第2の判定部14−2は拡張領域Bに物体Oが存在すると判定する。他方、全体が拡張領域Bの外に有る物体Oしか存在しない場合、第2の判定部14−2は拡張領域Bに物体Oが存在しないと判定する。物体Oが拡張領域Bに存在しないと判定された場合、通常、第2の信号出力部16−2は第2の物体検知信号S2を出力しないが、後述するように第2の物体検知信号S2を出力する構成とすることもできる。
上記構成を有する物体監視装置10によれば、第1のセンサ12−1を用いた監視領域Aの監視動作を基準動作とした上で、第2のセンサ12−2による測定対象空間を監視領域Aの外側所定距離dまで拡がる拡張領域Bとすることで、両センサ12−1、12−2に前述した誤差や性能差等が内在する場合にも、従来であれば複数のセンサの測定データやその処理結果の間に生じていたずれを、外側所定距離dの分だけ余裕を持って実行される第2のセンサ12−2側の余裕監視動作によって吸収することができる。したがって物体監視装置10によれば、第1及び第2のセンサ12−1、12−2を用いた監視領域Aの監視動作の、誤差や性能差等に起因する不一致を解消して、監視動作の信頼性や安全性を確保することができる。
また追加機能として、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときに、第2の信号出力部16−2が第2の物体検知信号S2を出力し、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときで且つ第1の判定部14−1が拡張領域Bに物体Oが存在すると判定した場合に、第1の信号出力部16−1が第1の物体検知信号S1を出力するように構成すれば、第1のセンサ12−1及び第2のセンサ12−2のいずれか一方を用いた監視動作を基準動作として、第1のセンサ12−1及び第2のセンサ12−2の他方を用いて前述した余裕監視動作を実行することにより、両センサ12−1、12−2を用いた監視領域Aの監視動作の、誤差や性能差等に起因する不一致を解消して、監視動作の信頼性や安全性を確保することができる。
前述したように、監視領域Aの監視動作の不一致が生じ得る要因としては、第1及び第2のセンサ12−1、12−2における、仕様の相違、測定精度や測定分解能の誤差、環境での設置位置や設置姿勢の誤差、測定データの取得タイミングや処理速度の差、設置場所の環境条件(温度や振動)の差等が考えられる。例えばこれらの要因の中で、測定精度の誤差については、センサ12−1、12−2から監視領域Aまでの距離が大きくなるに従い想定するべき誤差量が大きくなる(つまり監視領域Aとセンサ12−1、12−2との位置関係で誤差量が変わる)ことがある。また測定精度はセンサ12−1、12−2の周囲温度に影響される場合がある。監視領域Aとセンサ12−1、12−2との位置関係は、物体監視装置10を環境に設置した後に設定されるものであり、センサ12−1、12−2の周囲温度は監視動作の実行中に変動し得るものである。したがって、監視領域Aとセンサ12−1、12−2との位置関係の情報やセンサ12−1、12−2の周囲温度の情報等を引数に持つ「拡張距離関数」を定義して予め設定し、この拡張距離関数により監視領域Aに対する拡張量(つまり外側所定距離d)を求めて拡張領域Bを生成することで、物体監視装置10は、第1のセンサ12−1又は第2のセンサ12−2を用いて行う前述した余裕監視動作の実効性を向上でき、監視領域Aの監視動作の信頼性や安全性を一層高めることができる。
上記した監視動作の不一致を解消する物体監視装置10の作用及び効果について、物体監視装置10の監視動作の一例を示す図6を参照してさらに説明する。図示の監視動作を実行する物体監視装置10は、第1のセンサ12−1、第1の判定部14−1及び第1の信号出力部16−1を含む第1の監視系統と、第2のセンサ12−2、第2の判定部14−2及び第2の信号出力部16−2を含む第2の監視系統との双方が、基準動作として監視領域Aを監視するとともに、必要に応じ余裕監視動作として拡張領域Bを監視する構成を有する。
図6において、上段の5行のラインI〜Vは第1のセンサ12−1を用いた監視動作を左から右への時系列で表し、下段の5行のラインVI〜Xは第2のセンサ12−2を用いた監視動作を左から右への時系列で表す。ラインI及びVIはそれぞれ、第1及び第2のセンサ12−1、12−2の測定動作を表す。ラインII及びVIIはそれぞれ、第1及び第2の判定部14−1、14−2の判定処理動作を表す。ラインIII及びVIIIはそれぞれ、監視領域Aに対する第1及び第2の判定部14−1、14−2の判定結果を表し、HAが物体有り、LAが物体無しを示す。ラインIV及びIXはそれぞれ、拡張領域Bに対する第1及び第2の判定部14−1、14−2の判定結果を表し、HBが物体有り、LBが物体無しを示す。ラインV及びXはそれぞれ、物体監視装置10において第1及び第2の信号出力部16−1、16−2が出力する第1及び第2の物体検知信号S1、S2の動作を表し、HSが出力有り、LSが出力無しを示す。
図6に示す例において、第1及び第2のセンサ12−1、12−2の各々は、一般的な測距センサと同様に所定の周期Tで対象を測定する。この例では、第1及び第2のセンサ12−1、12−2は同一仕様であるが、各センサ12−1、12−2を動作させる発信器の発信周波数の、設計値に対する誤差により、実際にはそれぞれ周期T1(≒T)及びT2(≒T)で測定動作を実行するものとする(I及びVI)。図示の例ではさらに、両センサ12−1、12−2の測定動作の実行タイミング差δが生じているものとする(I及びVI)。実行タイミング差δは、−T/2≦δ≦T/2の範囲で徐々に変化し得る。このような状況下で、第1及び第2の判定部14−1、14−2の判定処理動作に、実行タイミング差δに相当する時間的なずれが生じている(II及びVII)。実行タイミング差δは、例えば両センサ12−1、12−2の測定動作を同期する手段を設けることにより低減できるが、僅かに残留する場合がある。
図6に示す例は、物体Oが、外部から拡張領域Bに進入した後に監視領域Aの中まで進入し、さらに監視領域Aから拡張領域Bを経て外部に退出するように移動する状況での、物体Oを監視する監視動作を示している。図6において、第1及び第2のセンサ12−1、12−2の各々は、周期T1、T2で反復する測定動作のうち、左から3番目の測定動作で監視領域Aに存在する物体Oを測定し、右から3番目の測定動作で監視領域Aに物体Oが存在しなくなった状況を測定している。第1及び第2の判定部14−1、14−2の各々は、第1及び第2のセンサ12−1、12−2の各々の測定データD1、D2を所定時間で判定処理し、監視領域Aにおける物体有無の判定結果を出力する(III及びVIII)。また、第1及び第2のセンサ12−1、12−2の各々は、周期T1、T2で反復する測定動作のうち、左端の測定動作で拡張領域Bに存在する物体Oを測定し、右から2番目の測定動作で拡張領域Bに物体Oが存在しなくなった状況を測定している。第1及び第2の判定部14−1、14−2の各々は、第1及び第2のセンサ12−1、12−2の各々の測定データD1、D2を所定時間で判定処理し、拡張領域Bにおける物体有無の判定結果を出力する(IV及びIX)。
ここで、拡張領域Bを考慮しない従来の物体監視装置に相当する構成を考察すると、監視領域Aのみに対する測定データに基づいて第1及び第2の信号出力部16−1、16−2が出力する物体検知信号は、第1及び第2の判定部14−1、14−2の判定結果を表すラインIII及びVIIIから理解されるように、第1及び第2のセンサ12−1、12−2の測定動作の実行タイミング差δに相当する時間的なずれを互いに生じることになる。このとき仮に物体Oが、第1の判定部14−1が監視領域Aに物体Oが存在すると判定する時刻t1の直後に静止すると、物体検知信号の時間的なずれが大きくなることもある。2台のセンサの測定データに基づく物体検知信号に時間的なずれが生じていると、監視領域Aに対する監視動作の信頼性が損なわれる。しかも、物体検知信号のずれがセンサの誤差に起因するのか物体監視装置の故障に起因するのかを容易には判別できないので、適切な対策を講ずることが困難であり、その結果、監視領域Aに対する監視動作の信頼性が損なわれている状況が継続する場合がある。
これに対し、拡張領域Bを考慮する物体監視装置10では、第1の判定部14−1が監視領域Aに物体Oが存在すると判定する時刻t1よりも遅れて、第2の判定部14−2が監視領域Aに物体Oが存在すると判定する(III及びVIII)が、その時点で既に第2の判定部14−2は、拡張領域Bに物体Oが存在すると判定している(IX)ので、第2の信号出力部16−2は、第1の信号出力部16−1が第1の物体検知信号S1の出力を開始する時刻t1と同じ時刻t1に、第2の物体検知信号S2の出力を開始する(V及びX)。また、第2の判定部14−2が監視領域Aに物体Oが存在しなくなったと判定する時刻t2よりも先に、第1の判定部14−1が監視領域Aに物体Oが存在しなくなったと判定する(III及びVIII)が、その時点ではまだ第1の判定部14−1は、拡張領域Bに物体Oが存在すると判定している(IV)ので、第1の信号出力部16−1は、時刻t2まで第1の物体検知信号S1の出力を継続する。そして第1の信号出力部16−1は、第2の信号出力部16−2が第2の物体検知信号S2の出力を終了する時刻t2と同じ時刻t2に、第1の物体検知信号S1の出力を終了する(V及びX)。
このようにして、物体監視装置10では、第1及び第2のセンサ12−1、12−2の測定動作、並びに第1及び第2の判定部14−1、14−2の判定処理動作に、時間的なずれが生じているにも拘らず、第1の物体検知信号S1と第2の物体検知信号S2とが同期して出力されることになる。しかも第1及び第2の物体検知信号S1、S2は、拡張領域Bにおける物体有無の判定結果に裏打ちされたものとなっている。その結果、監視領域Aに対する監視動作の信頼性及び安全性を確保できる。
また上記例から理解されるように、拡張領域Bの拡張量に相当する外側所定距離dを前述した拡張距離関数により求めることで、第1のセンサ12−1又は第2のセンサ12−2を用いて行う余裕監視動作(IV又はIX)の実効性を向上できる。拡張距離関数は、例えば、物体監視装置10の設計者が、第1及び第2のセンサ12−1、12−2の性能や組合せ、監視領域Aとセンサ12−1、12−2との距離等に応じて適宜に設定してもよい。
上記例においては、第1の判定部14−1及び第2の判定部14−2はいずれも、監視領域Aに物体Oが存在するか否かの判定と拡張領域Bに物体Oが存在するか否かの判定とを、同時並行処理で実行している。これに限定されず、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときに、第2の判定部14−2が拡張領域Bに物体Oが存在するか否かの判定処理を起動するように構成することもできる。また、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときに、第1の判定部14−1が拡張領域Bに物体Oが存在するか否かの判定処理を起動するように構成することもできる。
同時並行処理の場合、前述したように第1の物体検知信号S1の出力を開始する時刻t1と同じ時刻t1に第2の物体検知信号S2の出力を開始できる反面、2つの処理を並行に進めるための計算能力が必要となる。これに対し、監視領域Aに物体Oが存在すると判定したときに拡張領域Bに物体Oが存在するか否かの判定処理を起動する構成では、拡張領域Bの判定処理に要する時間(例えば数ms)だけ信号出力が遅れるが、必要な計算能力は小さく済む場合がある。これら処理方式の選択は、物体監視装置10に要求される処理時間やコスト、物体監視装置10の用途等に応じて決めることができる。
物体監視装置10は2台以上の所望個数のセンサを備えることができる。すなわち物体監視装置10は、互いに対応する空間領域Rを測定するn個のセンサ12(12−1、12−2、...12−n)と、個々のセンサ12の測定データDに基づき監視領域A又は拡張領域Bに物体Oが存在するか否かを判定するn個の判定部14(14−1、14−2、...14−n)と、個々の判定部14の判定結果に従い個々のセンサ12による監視領域Aの測定結果として物体検知信号Sを出力するn個の信号出力部16(16−1、16−2、...16−n)とを備えることができる。この場合、n個のセンサ12、n個の判定部14及びn個の信号出力部16のうちそれぞれ少なくとも1つが前述した第1のセンサ12−1、第1の判定部14−1及び第1の信号出力部16−1に相当し、n個のセンサ12、n個の判定部14及びn個の信号出力部16のうちそれぞれ少なくとも他の1つが前述した第2のセンサ12−2、第2の判定部14−2及び第2の信号出力部16−2に相当する構成とすることができる。互いに関連付けられる1つのセンサ12と1つの判定部14と1つの信号出力部16とを各々が有する3つ以上の監視系統を備える構成とすれば、前述した効果と同等の効果に加えて、監視領域Aの監視動作の信頼性が一層向上する効果が奏される。
図7は、複数のセンサを備える他の実施形態による物体監視装置20の構成を機能ブロックで示す。物体監視装置20は、「監視系統」を構成要素として明示した点以外は前述した物体監視装置10と同様の構成を有するものであって、対応する構成要素には共通の参照符号を付してその詳細説明を省略する。
物体監視装置20は、互いに対応する空間領域R(図2及び図3)を測定する複数のセンサ12(図では第1のセンサ12−1及び第2のセンサ12−2)と、複数のセンサ12の測定データD(図では測定データD1及び測定データD2)に基づき、空間領域Rの中に定めた共通の監視領域A(図2及び図3)に物体O(図2及び図3)が存在するか否かをセンサ毎に判定する複数の判定部14(図では第1の判定部14−1及び第2の判定部14−2)と、複数の判定部14のそれぞれが監視領域Aに物体Oが存在すると判定したときに、個々の判定部14に関連付けられる個々のセンサ12による監視領域Aの測定結果として物体検知信号S(図では第1の物体検知信号S1及び第2の物体検知信号S2)を判定部毎に出力する複数の信号出力部16(図では第1の信号出力部16−1及び第2の信号出力部16−2)とを備える。物体監視装置20はさらに、互いに関連付けられる1つのセンサ12と1つの判定部14と1つの信号出力部16とを各々が有する複数の監視系統22(図では第1の監視系統22−1及び第2の監視系統22−2)を備える。複数の監視系統22の各々(例えば監視系統22−2)において、判定部14(第2の判定部14−2)は、測定データD(測定データD2)に基づき、監視領域Aの外側所定距離d(図2及び図3)まで拡がる拡張領域B(図2及び図3)に物体Oが存在するか否かを判定し、信号出力部16(第2の信号出力部16−2)は、他の1つの監視系統22(例えば監視系統22−1)における判定部14(第1の判定部14−1)が監視領域Aに物体Oが存在すると判定したときで且つ自系統の判定部14(第2の判定部14−2)が拡張領域Bに物体Oが存在すると判定した場合に、物体検知信号S(第2の物体検知信号S2)を出力する。
物体監視装置20では、拡張領域Bの拡張量に相当する外側所定距離dは、複数の判定部14の間に定義される前述した拡張距離関数により求めることができる。また物体監視装置20では、複数の判定部14の各々は、監視領域Aに物体Oが存在するか否かを判定すると同時並行で、拡張領域Bに物体Oが存在するか否かを判定することができる。或いは物体監視装置20では、少なくとも1つの判定部14が監視領域Aに物体Oが存在すると判定したときに、他の判定部14が拡張領域Bに物体Oが存在するか否かの判定処理を起動することもできる。なお複数の監視系統22の各々は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは複数の監視系統22の各々は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。
上記構成を有する物体監視装置20は、前述した物体監視装置10と同等の効果を奏する。すなわち、物体監視装置20では、複数のセンサ12を用いて共通の監視領域Aが冗長的に監視されるので、監視領域Aに対する監視動作の信頼性及び安全性が向上する。しかも物体監視装置20によれば、少なくとも1つの監視系統22における監視領域Aの監視動作を基準動作とした上で、他の監視系統22における監視対象空間を監視領域Aの外側所定距離dまで拡がる拡張領域Bとすることで、複数のセンサ12に前述した誤差や性能差等が内在する場合にも、従来であれば複数の監視系統の間に生じていた監視動作のずれを、外側所定距離dの分だけ余裕を持って実行される他の監視系統22の余裕監視動作によって吸収することができる。したがって物体監視装置20によれば、複数の監視系統22における監視領域Aの監視動作の不一致を解消して、監視動作の信頼性や安全性を確保することができる。また、外側所定距離dを拡張距離関数により予め設定することにより、物体監視装置20は、監視系統22における余裕監視動作の実効性を向上でき、監視領域Aの監視動作の信頼性や安全性を一層高めることができる。
図8は、複数のセンサを備えるさらに他の実施形態による物体監視装置30の構成を機能ブロックで示す。物体監視装置30は、「判定調整部」を構成要素として備えた点以外は前述した物体監視装置10と同様の構成を有するものであって、対応する構成要素には共通の参照符号を付してその詳細説明を省略する。
物体監視装置30は、互いに対応する空間領域R(図2及び図3)を測定する複数のセンサ12(図では第1のセンサ12−1及び第2のセンサ12−2)と、1つのセンサ12(例えば第1のセンサ12−1)の測定データD(測定データD1)に基づき、空間領域Rの中に定めた共通の監視領域A(図2及び図3)に物体O(図2及び図3)が存在するか否かを判定するとともに、監視領域Aの外側所定距離dまで拡がる拡張領域Bに物体Oが存在するか否かを判定する1つの判定部14(図では第1の判定部14−1)と、他のセンサ12(例えば第2のセンサ12−2)の測定データD(測定データD2)に基づき、監視領域Aに物体Oが存在するか否かを判定するとともに、拡張領域Bに物体Oが存在するか否かを判定する他の判定部14(図では第2の判定部14−2)と、1つの判定部14(例えば第1の判定部14−1)が監視領域Aに物体Oが存在すると判定したときに、当該判定部14による監視領域Aの判定結果として物体検知信号S(第1の物体検知信号S1)を出力する1つの信号出力部16(図では第1の信号出力部16−1)と、他の判定部14(例えば第2の判定部14−2)が監視領域Aに物体Oが存在すると判定したときに、当該判定部14による監視領域Aの判定結果として物体検知信号S(第2の物体検知信号S2)を出力する他の信号出力部16(図では第2の信号出力部16−2)とを備える。
物体監視装置30はさらに、複数の判定部14のうちいずれか1つの判定部14が監視領域Aに物体Oが存在すると判定したときで且つ他の判定部14が拡張領域Bに物体Oが存在すると判定した場合に、当該他の判定部14に関連付けられる信号出力部16に物体検知信号Sを出力させる判定調整部32を備える。例えば判定調整部32は、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときで且つ第2の判定部14−2が拡張領域Bに物体Oが存在すると判定した場合に、第2の信号出力部16−2に第2の物体検知信号S2を出力させ、また、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときで且つ第1の判定部14−1が拡張領域Bに物体Oが存在すると判定した場合に、第1の信号出力部16−1に第1の物体検知信号S2を出力させる。
物体監視装置30では、拡張領域Bの拡張量に相当する外側所定距離dは、複数の判定部14の間に定義される前述した拡張距離関数により求めることができる。また物体監視装置30では、複数の判定部14の各々は、監視領域Aに物体Oが存在するか否かを判定すると同時並行で、拡張領域Bに物体Oが存在するか否かを判定することができる。或いは物体監視装置30では、少なくとも1つの判定部14が監視領域Aに物体Oが存在すると判定したときに、他の判定部14が拡張領域Bに物体Oが存在するか否かの判定処理を起動することもできる。なお判定調整部32は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは判定調整部32は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。また判定調整部32の機能を、少なくとも1つの判定部14や少なくとも1つの信号出力部16に持たせることもできる。
上記構成を有する物体監視装置30は、前述した物体監視装置10と同等の効果を奏する。すなわち、物体監視装置30では、複数のセンサ12を用いて共通の監視領域Aが冗長的に監視されるので、監視領域Aに対する監視動作の信頼性及び安全性が向上する。しかも物体監視装置30によれば、少なくとも1つのセンサ12を用いた監視領域Aの監視動作を基準動作とした上で、他のセンサ12による測定対象空間を監視領域Aの外側所定距離dまで拡がる拡張領域Bとすることで、複数のセンサ12に前述した誤差や性能差等が内在する場合にも、従来であれば複数のセンサの測定データやその処理結果の間に生じていたずれを、外側所定距離dの分だけ余裕を持って実行される他のセンサ12側の余裕監視動作によって吸収することができる。したがって物体監視装置30によれば、複数のセンサ12を用いた監視領域Aの監視動作の不一致を解消して、監視動作の信頼性や安全性を確保することができる。また、外側所定距離dを拡張距離関数により予め設定することにより、物体監視装置30は、センサ12を用いて行う余裕監視動作の実効性を向上でき、監視領域Aの監視動作の信頼性や安全性を一層高めることができる。
物体監視装置10、20、30においては、例えば、第1の信号出力部16−1が第1の物体検知信号S1を出力する一方で第2の信号出力部16−2が第2の物体検知信号S2を出力しない場合に、使用者は、第2の信号出力部16−2が有する特徴的構成(つまり第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときで且つ第2の判定部14−2が拡張領域Bに物体Oが存在すると判定した場合に第2の物体検知信号S2を出力する構成)に照らして、センサ間の誤差や性能差が要因ではなく物体監視装置10、20、30が故障していると判断することが可能になる。これは、拡張領域Bの拡張量(外側所定距離d)を、複数のセンサ12に内在する前述した誤差や性能差等に起因して複数の判定部14の判定結果の間に生じ得る誤差に対応する大きさとすることで得られる効果である。使用者が故障判断したときの復旧作業等の実施については、物体監視装置10、20、30の用途等に応じて多様な基準を設けることができる。例えば、多数の信号出力部16が物体検知信号Sを出力する一方で、他の1つの信号出力部16のみが物体検知信号Sを出力しない状況において、使用者が物体監視装置10、20、30を故障と判断した後に復旧作業等をどのように実施するかは、物体監視装置10、20、30の用途等に応じて決めることができる。
物体監視装置10、20、30には様々な機能を追加することができる。以下、図9〜図14を参照して、物体監視装置10の構成に種々の機能を追加したさらに他の実施形態による物体監視装置の構成を説明する。図9〜図14に示す物体監視装置は、追加機能(追加構成要素)を備えた点以外は前述した物体監視装置10と同様の構成を有するものであって、対応する構成要素には共通の参照符号を付してその詳細説明を省略する。なお以下に説明する種々の追加機能は、同様に物体監視装置20、30にも適用できる。
図9に示す物体監視装置40は、前述した物体監視装置10の構成要素に追加して、複数の判定部14のうちいずれか1つの判定部が監視領域Aに物体Oが存在すると判定したときで且つ他の1つの判定部が拡張領域Bに物体Oが存在しないと判定した場合に、物体監視装置40の故障と判断する故障判断部42をさらに備える。例えば故障判断部42は、第1の判定部14−1が監視領域Aに物体Oが存在すると判定したときで且つ第2の判定部14−2が拡張領域Bに物体Oが存在しないと判定した場合に、物体監視装置40の故障と判断することができる。或いは故障判断部42は、第2の判定部14−2が監視領域Aに物体Oが存在すると判定したときで且つ第1の判定部14−1が拡張領域Bに物体Oが存在しないと判定した場合に、物体監視装置40の故障と判断することができる。
故障判断部42は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは故障判断部42は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。故障判断部42は、複数の判定部14の判定結果を常時又は随時に参照して、物体監視装置40が故障しているか否かの判断を実行する。
物体監視装置40によれば、前述した物体監視装置10の効果に加えて、物体監視装置40が故障しているか否かの判断が、物体監視装置40自体によって自動で行われる効果が奏される。
図10に示す物体監視装置50は、前述した物体監視装置10の構成要素に追加して、複数の判定部14のうちいずれか1つの判定部14が監視領域Aに物体Oが存在すると判定したときで且つ他の1つの判定部14が拡張領域Bに物体Oが存在しないと判定した場合に、物体監視装置50の故障と判断する故障判断部52(図9の故障判断部42に相当)と、故障判断部52が物体監視装置50の故障と判断したときに、故障を報知するための故障信号Sfを出力する故障信号出力部54とをさらに備える。
故障判断部52及び故障信号出力部54の各々は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは故障判断部52及び故障信号出力部54の各々は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。故障判断部52は、複数の判定部14の判定結果を常時又は随時に参照して、物体監視装置50が故障しているか否かの判断を実行する。故障信号出力部54は、故障判断部52の判断結果を常時又は随時に参照して、故障という判断結果が出たときに故障信号Sfを外部機器に出力する。
物体監視装置50によれば、前述した物体監視装置10の効果に加えて、物体監視装置50が故障しているか否かの判断が、物体監視装置50自体によって自動で行われ、しかも物体監視装置50が自己の故障を自動判断したときに、故障信号Sfにより、例えば故障の事実を使用者に報知できる効果が奏される。
図11に示す物体監視装置60は、前述した物体監視装置10の構成要素に追加して、複数の判定部14のうちいずれか1つの判定部14が監視領域Aに物体Oが存在すると判定したときで且つ他の1つの判定部14が拡張領域Bに物体Oが存在しないと判定した場合に、物体監視装置60の故障と判断する故障判断部62(図9の故障判断部42に相当)と、故障判断部62が物体監視装置60の故障と判断したときに、拡張領域Bに物体Oが存在しないと判定した判定部14に関連付けられる信号出力部16に物体検知信号Sを出力させる信号出力調整部64とをさらに備える。例えば信号出力調整部64は、故障判断部62が故障を判断したときに、拡張領域Bに物体Oが存在しないと判定した第2の判定部14−2に関連付けられる第2の信号出力部16−2に第2の物体検知信号S2を出力させるか、又は拡張領域Bに物体Oが存在しないと判定した第1の判定部14−1に関連付けられる第1の信号出力部16−1に第1の物体検知信号S1を出力させることができる。
故障判断部62及び信号出力調整部64の各々は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは故障判断部62及び信号出力調整部64の各々は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。故障判断部62は、複数の判定部14の判定結果を常時又は随時に参照して、物体監視装置60が故障しているか否かの判断を実行する。信号出力調整部64は、故障判断部62の判断結果を常時又は随時に参照して、故障という判断結果が出たときに、拡張領域Bに物体Oが存在しないと判定した判定部14に関連付けられる信号出力部16に物体検知信号Sを出力させる。
物体監視装置60によれば、前述した物体監視装置10の効果に加えて、物体監視装置60が故障しているか否かの判断が、物体監視装置60自体によって自動で行われ、しかも物体監視装置60が自己の故障を自動判断したときに、拡張領域Bに物体Oが存在しないと判定した判定部14に関連付けられる信号出力部16が、監視領域Aに物体Oが存在すると判定した判定部14に関連付けられる信号出力部16と同様に、物体検知信号Sを出力するので、監視領域Aに物体Oが存在する場合に実施すべき対策を故障時にも迅速に実施できる効果が奏される。なお、図10の物体監視装置50に、信号出力調整部64に相当する構成要素を付加することもできる。
図12に示す物体監視装置70は、前述した物体監視装置10の構成要素に追加して、複数の判定部14の各々の判定結果を表示するための処理を行う判定結果表示処理部72をさらに備える。
判定結果表示処理部72は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは判定結果表示処理部72は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。判定結果表示処理部72は、複数の判定部14の判定結果を常時又は随時に参照して、当該判定結果を点滅光や画像等によって表示するための処理を実行する。
物体監視装置70によれば、前述した物体監視装置10の効果に加えて、個々の判定部14が監視領域A又は拡張領域Bに物体Oが存在すると判定したか否かを、外部の表示装置に点滅光や画像等によって表示できる効果が奏される。なお、図9〜図11の物体監視装置40、50、60に、判定結果表示処理部72に相当する構成要素を付加することもできる。
図13に示す物体監視装置80は、前述した物体監視装置10の構成要素に追加して、複数のセンサ12の各々が測定した物体Oを監視領域A及び拡張領域Bと共に画像表示するための処理を行う環境表示処理部82をさらに備える。
環境表示処理部82は、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成できる。或いは環境表示処理部82は、例えば当該ソフトウェアの処理の一部又は全部を実行可能なプロセッサ等のハードウェアとして構成できる。環境表示処理部82は、複数のセンサ12の測定データDを常時又は随時に参照して、別途取得した監視領域A及び拡張領域Bのデータと共に物体Oを画像表示するための処理を実行する。
物体監視装置80によれば、前述した物体監視装置10の効果に加えて、空間領域Rにおける物体Oと監視領域A及び拡張領域Bとの位置関係を、二次元又は三次元の画像によって表示できる効果が奏される。なお、図9〜図12の物体監視装置40、50、60、70に、環境表示処理部82に相当する構成要素を付加することもできる。
上記した物体監視装置10、20、30、40、50、60、70、80はさらに、個々のセンサ12と監視領域Aとの間の空間に存在する物体Oに対する監視機能を有することができる。この構成では、例えば図14に示すように、第1の判定部14−1(図1)はさらに、第1のセンサ12−1から監視領域Aまでの第1空間Q1に物体Oが存在するか否かを判定し、第1の信号出力部16−1(図1)はさらに、第1の判定部14−1が第1空間Q1に物体Oが存在すると判定したときに、第1の物体検知信号S1(図1)を出力し、第2の判定部14−2(図1)はさらに、第2のセンサ12−2から監視領域Aまでの第2空間Q2に物体Oが存在するか否かを判定し、第2の信号出力部16−2(図1)はさらに、第2の判定部14−2が第2空間Q2に物体Oが存在すると判定したときに、第2の物体検知信号S2(図1)を出力する。
物体監視装置10、20、30、40、50、60、70、80の使用環境において、監視領域Aと個々のセンサ12との間の空間(第1空間Q1、第2空間Q2)に物体Oが存在した場合、当該物体Oにより遮蔽される監視領域Aの一部分に対して判定部14が物体Oの有無を判定できない状況が生じ得る。このような状況を想定し、上記したように、判定部14が当該空間(第1空間Q1、第2空間Q2)に物体Oが存在すると判定したときに信号出力部16が物体検知信号Sを出力するように構成すれば、センサ12が監視領域Aの一部分を測定できない場合も当該部分に物体Oが存在するものとして処理することができる。その結果、例えば人の進入を禁止する危険領域を監視領域として設定する適用において、物体監視装置10、20、30、40、50、60、70、80が常に安全側に動作する効果が得られる。
以上、本発明の種々の実施形態の構成を図面に基づいて説明したが、本発明は上述した構成に限定されず、特許請求の範囲の開示範囲内で様々な修正を施すことができる。
10、20、30、40、50、60、70、80 物体監視装置
12−1 第1のセンサ
12−2 第2のセンサ
14−1 第1の判定部
14−2 第2の判定部
16−1 第1の信号出力部
16−2 第2の信号出力部
22−1 第1の監視系統
22−2 第2の監視系統
32 判定調整部
42、52、62 故障判断部
54 故障信号出力部
64 信号出力調整部
72 判定結果表示処理部
82 環境表示処理部
A 監視領域
B 拡張領域
d 外側所定距離

Claims (15)

  1. 互いに対応する空間領域を測定する第1のセンサ及び第2のセンサと、
    前記第1のセンサの測定データに基づき、前記空間領域の中に定めた監視領域に物体が存在するか否かを判定する第1の判定部と、
    前記第2のセンサの測定データに基づき、前記監視領域の外側所定距離まで拡がる拡張領域に物体が存在するか否かを判定する第2の判定部と、
    前記第1の判定部が前記監視領域に物体が存在すると判定したときに、前記第1のセンサの測定データに基づく前記監視領域の判定結果として第1の物体検知信号を出力する第1の信号出力部と、
    前記第1の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第2の判定部が前記拡張領域に物体が存在すると判定した場合に、前記第2のセンサの測定データに基づく前記監視領域の判定結果として第2の物体検知信号を出力する第2の信号出力部と、
    を備える物体監視装置。
  2. 前記第2の判定部は、前記第2のセンサの測定データに基づき、前記監視領域に物体が存在するか否かを判定し、
    前記第1の判定部は、前記第1のセンサの測定データに基づき、前記拡張領域に物体が存在するか否かを判定し、
    前記第2の信号出力部は、前記第2の判定部が前記監視領域に物体が存在すると判定したときに、前記第2の物体検知信号を出力し、
    前記第1の信号出力部は、前記第2の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第1の判定部が前記拡張領域に物体が存在すると判定した場合に、前記第1の物体検知信号を出力する、
    請求項1に記載の物体監視装置。
  3. 互いに対応する空間領域を測定する第1のセンサ及び第2のセンサと、
    前記第1のセンサの測定データに基づき、前記空間領域の中に定めた監視領域に物体が存在するか否かを判定するとともに、前記監視領域の外側所定距離まで拡がる拡張領域に物体が存在するか否かを判定する第1の判定部と、
    前記第2のセンサの測定データに基づき、前記監視領域に物体が存在するか否かを判定するとともに、前記拡張領域に物体が存在するか否かを判定する第2の判定部と、
    前記第1の判定部が前記監視領域に物体が存在すると判定したときに、前記第1の判定部による前記監視領域の判定結果として第1の物体検知信号を出力する第1の信号出力部と、
    前記第2の判定部が前記監視領域に物体が存在すると判定したときに、前記第2の判定部による前記監視領域の判定結果として第2の物体検知信号を出力する第2の信号出力部と、
    前記第1の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第2の判定部が前記拡張領域に物体が存在すると判定した場合に、前記第2の信号出力部に前記第2の物体検知信号を出力させ、前記第2の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第1の判定部が前記拡張領域に物体が存在すると判定した場合に、前記第1の信号出力部に前記第1の物体検知信号を出力させる判定調整部と、
    を備える物体監視装置。
  4. 前記第1の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第2の判定部が前記拡張領域に物体が存在しないと判定した場合、又は前記第2の判定部が前記監視領域に物体が存在すると判定したときで且つ前記第1の判定部が前記拡張領域に物体が存在しないと判定した場合に、物体監視装置の故障と判断する故障判断部をさらに備える、請求項2又は3に記載の物体監視装置。
  5. 前記故障判断部が前記故障と判断したときに、前記故障を報知するための故障信号を出力する故障信号出力部をさらに備える、請求項4に記載の物体監視装置。
  6. 前記故障判断部が前記故障と判断したときに、前記拡張領域に物体が存在しないと判定した前記第2の判定部に関連付けられる前記第2の信号出力部に前記第2の物体検知信号を出力させるか、又は前記拡張領域に物体が存在しないと判定した前記第1の判定部に関連付けられる前記第1の信号出力部に前記第1の物体検知信号を出力させる信号出力調整部をさらに備える、請求項4又は5に記載の物体監視装置。
  7. 前記第1の判定部及び前記第2の判定部の各々は、前記監視領域に物体が存在するか否かを判定すると同時並行で、前記拡張領域に物体が存在するか否かを判定する、請求項2〜6のいずれか1項に記載の物体監視装置。
  8. 前記第1の判定部及び前記第2の判定部の一方が前記監視領域に物体が存在すると判定したときに、前記第1の判定部及び前記第2の判定部の他方が、前記拡張領域に物体が存在するか否かの判定処理を起動する、請求項2〜6のいずれか1項に記載の物体監視装置。
  9. 前記第1の判定部又は前記第2の判定部は、前記測定データに基づき、前記監視領域と前記監視領域の外側に存在する物体との間の距離を求め、該距離が前記外側所定距離以下のときに、前記拡張領域に物体が存在すると判定する、請求項2〜8のいずれか1項に記載の物体監視装置。
  10. 前記第1の判定部及び前記第2の判定部の各々の判定結果を表示するための処理を行う判定結果表示処理部をさらに備える、請求項1〜9のいずれか1項に記載の物体監視装置。
  11. 前記第1のセンサ及び前記第2のセンサの各々が測定した物体を前記監視領域及び前記拡張領域とともに画像表示するための処理を行う環境表示処理部をさらに備える、請求項1〜10のいずれか1項に記載の物体監視装置。
  12. 前記外側所定距離は、前記第1の判定部と前記第2の判定部との間に生じ得る判定誤差の関数である、請求項1〜11のいずれか1項に記載の物体監視装置。
  13. 前記第1のセンサと前記第2のセンサとは、互いに同じ方向を向いて配置される、請求項1〜12のいずれか1項に記載の物体監視装置。
  14. 前記第1のセンサと前記第1の判定部と前記第1の信号出力部とを有する第1の監視系統と、前記第2のセンサと前記第2の判定部と前記第2の信号出力部とを有する第2の監視系統とを具備する、請求項1〜13のいずれか1項に記載の物体監視装置。
  15. 前記第1の判定部はさらに、前記第1のセンサから前記監視領域までの第1空間に物体が存在するか否かを判定し、
    前記第1の信号出力部はさらに、前記第1の判定部が前記第1空間に物体が存在すると判定したときに、前記第1の物体検知信号を出力し、
    前記第2の判定部はさらに、前記第2のセンサから前記監視領域までの第2空間に物体が存在するか否かを判定し、
    前記第2の信号出力部はさらに、前記第2の判定部が前記第2空間に物体が存在すると判定したときに、前記第2の物体検知信号を出力する、
    請求項1〜14のいずれか1項に記載の物体監視装置。
JP2017208182A 2017-10-27 2017-10-27 複数のセンサを備えた物体監視装置 Active JP6603290B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017208182A JP6603290B2 (ja) 2017-10-27 2017-10-27 複数のセンサを備えた物体監視装置
DE102018008300.5A DE102018008300A1 (de) 2017-10-27 2018-10-19 Objektüberwachungsvorrichtung mit Sensoren
US16/167,555 US10408611B2 (en) 2017-10-27 2018-10-23 Monitoring apparatus including sensors
CN201811237300.6A CN109724642B (zh) 2017-10-27 2018-10-23 具备多个传感器的物体监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017208182A JP6603290B2 (ja) 2017-10-27 2017-10-27 複数のセンサを備えた物体監視装置

Publications (2)

Publication Number Publication Date
JP2019078725A true JP2019078725A (ja) 2019-05-23
JP6603290B2 JP6603290B2 (ja) 2019-11-06

Family

ID=66138295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017208182A Active JP6603290B2 (ja) 2017-10-27 2017-10-27 複数のセンサを備えた物体監視装置

Country Status (4)

Country Link
US (1) US10408611B2 (ja)
JP (1) JP6603290B2 (ja)
CN (1) CN109724642B (ja)
DE (1) DE102018008300A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5960601U (ja) * 1982-10-13 1984-04-20 株式会社堀場製作所 赤外センサ用多面ミラ−
JP2002099907A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
US20030165268A1 (en) * 2002-01-17 2003-09-04 Matthias Franz Method and device for detecting obstruction in image sensor systems
KR20050105394A (ko) * 2004-04-30 2005-11-04 주식회사 신콤 동작 감지기와 그를 이용한 자동 조명 장치
JP2010510595A (ja) * 2006-11-24 2010-04-02 ピルツ ゲーエムベーハー アンド コー.カーゲー 3次元の空間領域を監視するための方法および装置
WO2011074511A1 (ja) * 2009-12-18 2011-06-23 日本電気株式会社 存在判定装置、システム、方法及びプログラム
JP2016105048A (ja) * 2014-12-01 2016-06-09 株式会社キーエンス エリア監視センサ
JP2017512977A (ja) * 2014-01-17 2017-05-25 ゴジョ・インダストリーズ・インコーポレイテッド センサ構成
JP2017111055A (ja) * 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06242257A (ja) * 1993-02-16 1994-09-02 Sekisui Chem Co Ltd 人体検知装置
JPH06242256A (ja) * 1993-02-16 1994-09-02 Sekisui Chem Co Ltd 人体検知装置
JP3323667B2 (ja) 1994-10-25 2002-09-09 日本信号株式会社 物体検出装置
JPH09257919A (ja) 1995-08-03 1997-10-03 Furukawa Electric Co Ltd:The 領域監視方法及びその装置
JP3196669B2 (ja) * 1996-11-25 2001-08-06 松下電工株式会社 複合型人体感知装置
JP2000155177A (ja) * 1998-11-20 2000-06-06 Nikon Corp 人体検知装置および人体検知方法
FR2895122B1 (fr) * 2005-12-16 2008-02-01 Sagem Defense Securite Procede de securisation d'un acces physique et dispositf d'acces implementant le procede
CN101930324B (zh) * 2010-07-04 2012-07-11 苏州佳世达电通有限公司 物体侦测系统
KR101232465B1 (ko) * 2012-08-15 2013-02-12 윤영철 복합센서를 구비한 조명장치 및 연동형 조명 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5960601U (ja) * 1982-10-13 1984-04-20 株式会社堀場製作所 赤外センサ用多面ミラ−
JP2002099907A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
US20030165268A1 (en) * 2002-01-17 2003-09-04 Matthias Franz Method and device for detecting obstruction in image sensor systems
KR20050105394A (ko) * 2004-04-30 2005-11-04 주식회사 신콤 동작 감지기와 그를 이용한 자동 조명 장치
JP2010510595A (ja) * 2006-11-24 2010-04-02 ピルツ ゲーエムベーハー アンド コー.カーゲー 3次元の空間領域を監視するための方法および装置
WO2011074511A1 (ja) * 2009-12-18 2011-06-23 日本電気株式会社 存在判定装置、システム、方法及びプログラム
JP2017512977A (ja) * 2014-01-17 2017-05-25 ゴジョ・インダストリーズ・インコーポレイテッド センサ構成
JP2016105048A (ja) * 2014-12-01 2016-06-09 株式会社キーエンス エリア監視センサ
JP2017111055A (ja) * 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置

Also Published As

Publication number Publication date
DE102018008300A1 (de) 2019-05-02
CN109724642B (zh) 2021-07-13
CN109724642A (zh) 2019-05-07
JP6603290B2 (ja) 2019-11-06
US10408611B2 (en) 2019-09-10
US20190128667A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
US10497243B2 (en) System and method for detecting fire location
US11119188B2 (en) Malfunction detecting device
US9864057B2 (en) Ultrasonic object detection device
US9726544B2 (en) Method and system for passive tracking of moving objects
TWI699546B (zh) 判定裝置以及判定裝置的控制方法
US20160036916A1 (en) Synchronous measurement system
US10056684B2 (en) Wireless communication device, wireless communication system, and computer readable storage device
JP2017009339A (ja) センサ、センシング装置及び距離計測方法
CN110174706B (zh) 使用了传感器的物体监视装置
US10775881B1 (en) High assurance head tracker monitoring and calibration
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
US10713807B2 (en) Vicinity supervising device and vicinity supervising method of vehicle
US10313655B2 (en) Image capture device and image capture method
WO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2008015573A (ja) 画像処理装置、画像処理方法および画像監視システム
KR102204120B1 (ko) 광학식 안전 센서
JP2020006780A (ja) 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
JP2017142171A (ja) 物体検知装置
JP4990013B2 (ja) 監視装置
JP2019078725A (ja) 複数のセンサを備えた物体監視装置
JP2012014553A (ja) 車両の周辺監視装置
US20190096075A1 (en) Vehicle vicinity supervising device and vicinity supervising method
JP2010217979A (ja) 画像処理装置および方法、並びに、プログラム
JP2024013990A (ja) 情報処理システム、情報処理装置、及び情報処理方法
KR20110122301A (ko) 레이저 레이다를 이용한 위협체 탐지 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190422

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191010

R150 Certificate of patent or registration of utility model

Ref document number: 6603290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150