JP2021042035A - エレベータの利用者検知システム - Google Patents

エレベータの利用者検知システム Download PDF

Info

Publication number
JP2021042035A
JP2021042035A JP2019164806A JP2019164806A JP2021042035A JP 2021042035 A JP2021042035 A JP 2021042035A JP 2019164806 A JP2019164806 A JP 2019164806A JP 2019164806 A JP2019164806 A JP 2019164806A JP 2021042035 A JP2021042035 A JP 2021042035A
Authority
JP
Japan
Prior art keywords
detection
detection area
detected
over
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019164806A
Other languages
English (en)
Other versions
JP6833942B1 (ja
Inventor
光一 谷田
Koichi Tanida
光一 谷田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Elevator and Building Systems Corp
Original Assignee
Toshiba Elevator Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Elevator Co Ltd filed Critical Toshiba Elevator Co Ltd
Priority to JP2019164806A priority Critical patent/JP6833942B1/ja
Priority to CN202010439899.2A priority patent/CN112551292B/zh
Application granted granted Critical
Publication of JP6833942B1 publication Critical patent/JP6833942B1/ja
Publication of JP2021042035A publication Critical patent/JP2021042035A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B11/00Main component parts of lifts in, or associated with, buildings or other structures
    • B66B11/02Cages, i.e. cars
    • B66B11/0226Constructional features, e.g. walls assembly, decorative panels, comfort equipment, thermal or sound insulation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/02Door or gate operation
    • B66B13/14Control systems or devices
    • B66B13/16Door or gate locking devices controlled or primarily controlled by condition of cage, e.g. movement or position
    • B66B13/18Door or gate locking devices controlled or primarily controlled by condition of cage, e.g. movement or position without manually-operable devices for completing locking or unlocking of doors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Elevator Door Apparatuses (AREA)

Abstract

【課題】カメラによって撮影される画像からエレベータ近辺にいる利用者を精度良く検知可能なエレベータの利用者検知システムを提供すること。
【解決手段】一実施形態によれば、エレベータの利用者検知システムは、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影する撮影手段と、画像上に人または物を検知するための複数の検知エリアを設定する設定手段と、複数の検知エリアを対象にして検知処理を実行する検知手段と、検知処理の結果を乗りかごのドアの戸開閉制御に反映させる制御手段と、を備え、設定手段は、複数の階床にわたって連続して人または物がいると検知された画像上の位置を含む過検知エリアを検知エリア毎に検出し、検出された過検知エリアの配置に基づいて、撮影手段のずれ方を判別し、判別された撮影手段のずれ方に基づいて、画像上に設定された複数の検知エリアの位置を適切な位置に変更する。
【選択図】図1

Description

本発明の実施形態は、エレベータの利用者検知システムに関する。
近年、エレベータのかごドアに人や物が挟まれるのを防ぐために、様々な技術が考案されている。例えば、カメラを用いてエレベータ近辺にいる利用者を検知し、当該エレベータのドアの戸開閉制御を実施する技術が考案されている。
このような技術においては、カメラによって撮影される画像から、エレベータ近辺にいる利用者を精度良く検知する必要があり、当該検知精度の向上が望まれている。
特開平10−152277号公報 特開2007−314284号公報
本発明の実施形態が解決しようとする課題は、カメラによって撮影される画像からエレベータ近辺にいる利用者を精度良く検知可能なエレベータの利用者検知システムを提供することである。
一実施形態によれば、エレベータの利用者検知システムは、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影する撮影手段と、前記撮影された画像上に人または物を検知するための複数の検知エリアを設定する設定手段と、前記設定された複数の検知エリアを対象にして、前記人または物を検知するための検知処理を実行する検知手段と、前記検知処理の結果を前記乗りかごのドアの戸開閉制御に反映させる制御手段と、を具備し、前記設定手段は、前記検知処理の結果、複数の階床にわたって連続して前記人または物がいると検知された前記画像上の位置を含む過検知エリアを前記検知エリア毎に検出し、前記検出された過検知エリアの配置に基づいて、前記撮影手段のずれ方を判別し、前記判別された撮影手段のずれ方に基づいて、前記画像上に設定された複数の検知エリアの位置を適切な位置に変更する。
図1は、実施形態に係るエレベータの利用者検知システムの構成を示す図である。 図2は、同実施形態における撮影画像をブロック単位で区切った状態を示す図である。 図3は、同実施形態における検知処理の流れを示すフローチャートである。 図4は、同実施形態における乗りかご内の出入口周辺部分の構成を示す図である。 図5は、同実施形態における検知エリアの設定について説明するための図である。 図6は、同実施形態における過検知エリアの配置と、カメラのずれ方との関係を説明するための図である。 図7は、同実施形態における過検知エリアの配置と、カメラのずれ方との関係を説明するための別の図である。 図8は、同実施形態における過検知エリアの配置と、カメラのずれ方との関係を説明するためのさらに別の図である。 図9は、同実施形態におけるエレベータの利用者検知システムにおいて実行される一連の処理の手順例を示すフローチャートである。
以下、図面を参照して実施形態を説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に示す場合もある。複数の図面において、対応する要素には同じ参照符号を付して、詳細な説明を省略する場合もある。
図1は一実施形態に係るエレベータの利用者検知システムの構成を示す図である。なお、ここでは、1台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。
乗りかご11の出入口上部にカメラ12が設置されている。具体的には、カメラ12は、乗りかご11の出入口上部を覆う幕板11aの中にレンズ部分を直下方向もしくは乗場15の方向に向けて設置されている。カメラ12は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、180度以上の視野角で乗りかご11内および乗場15を含む撮影対象を広範囲に撮影する。カメラ12は、1秒間に数コマ(例えば、30コマ/秒)の画像を連続的に撮影可能である。
各階の乗場15において、乗りかご11の到着口には乗場ドア14が開閉自在に設置されている。乗場ドア14は、乗りかご11の到着時にかごドア13に係合して開閉動作する。なお、動力源(ドアモータ)は乗りかご11側にあり、乗場ドア14はかごドア13に追従して開閉するだけである。以下の説明においては、かごドア13が戸開している時には乗場ドア14も戸開しており、かごドア13が戸閉している時には乗場ドア14も戸閉しているものとする。
カメラ12によって連続的に撮影された各画像(映像)は、画像処理装置20によってリアルタイムに解析処理される。なお、図1では、便宜的に画像処理装置20を乗りかご11から取り出して示しているが、実際には、画像処理装置20はカメラ12と共に幕板11aの中に収納されている。
画像処理装置20には、記憶部21と検知部22とが備えられている。記憶部21は、カメラ12によって撮影された画像を逐次保存すると共に、検知部22の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部21には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されても良い。
検知部22は、カメラ12の撮影画像を用いて、乗りかご11内や乗場15にいる利用者を検知する。この検知部22を機能的に分けると、検知エリア設定部22aおよび検知処理部22bで構成される。
検知エリア設定部22aは、カメラ12の撮影画像上で、利用者(エレベータを利用する人)や物を検知するための複数の検知エリアを設定する。ここで言う「物」とは、例えば利用者の衣服や荷物、さらには、車椅子等の移動体を含む。さらに、例えばかご内の操作ボタンやランプ、表示機器等、エレベータ設備に関係する機器類も含まれる。なお、検知エリアの詳細については後述するため、ここではその詳しい説明を省略する。
検知処理部22bは、検知エリア設定部22aによって設定された検知エリア毎に、人または物(の動き)を検知する検知処理を実行する。具体的には、検知処理部22bは、図2に示すように、カメラ12により撮影された画像を一定サイズのブロックに区切り、各ブロックの輝度値の変化に着目して、人または物(の動き)を検知する。図2に示す1つのブロックの一辺は10数mm程度であり、このブロックには、撮影画像を構成する複数の画素が含まれる。
ここで、図3のフローチャートを参照して、検知処理部22bによって実行される検知処理について説明する。
検知処理部22bは、記憶部21に保存された撮影画像を1枚ずつ読み出し、読み出した撮影画像を一定サイズのブロックに区切ると、ブロック毎の平均輝度値(つまり、ブロックに含まれる複数の画素の輝度値の平均)を算出する(ステップS1)。その際、検知処理部22bは、初期値として、最初の画像が読み出された時に算出されたブロック毎の平均輝度値を記憶部21内のバッファエリアに保存しておくものとする(ステップS2)。
2枚目以降の画像が得られると、検知処理部22bは、現在の画像のブロック毎の平均輝度値と、上記したバッファエリアに保持された1つ前の画像のブロック毎の平均輝度値とを比較する(ステップS3)。その結果、予め設定されたしきい値以上の輝度差を有するブロックが存在した場合、検知処理部22bは、当該ブロックを動きありのブロックとみなし、当該ブロック部分において人または物(の動き)を検知したと判定する(ステップS4)。
現在の画像を対象にした人または物の検知が完了すると、検知処理部22bは、当該現在の画像のブロック毎の平均輝度値を次の画像との比較用として、上記したバッファエリアに書き込み(ステップS5)、一連の検知処理を終了させる。
このように、検知処理部22bは、カメラ12により撮影された画像におけるブロック毎の平均輝度値に着目し、時系列的に連続した2枚の画像において、平均輝度値が予め設定されたしきい値以上変化しているブロックが存在する場合には、当該ブロック部分に人または物がいることを検知する。
なお、画像処理装置20の一部あるいは全ての機能は、後述するエレベータ制御装置30に搭載されても良い。
エレベータ制御装置30は、乗りかご11に設置される各種機器類(行先階ボタンや照明等)の動作を制御する。また、エレベータ制御装置30は、運転制御部31と、戸開閉制御部32と、通知部33とを備えている。運転制御部31は、乗りかご11の運転制御を行う。通知部33は、検知処理部22bにおける検知結果に基づいて、乗りかご11内の利用者に注意を喚起する。
戸開閉制御部32は、乗りかご11が乗場15に到着した時のかごドア13の戸開閉を制御する。詳しくは、戸開閉制御部32は、乗りかご11が乗場15に到着した時にかごドア13を戸開し、所定時間経過後に戸閉する。
ここで、例えばかごドア13の戸開動作開始前または戸開動作中に検知処理部22bによって人または物が検知された場合には、戸開閉制御部32は、ドア事故(戸袋への引き込まれ事故)を回避するための戸開閉制御を行う。具体的には、戸開閉制御部32は、かごドア13の戸開動作を一時停止するか、逆方向(戸閉方向)に動かすか、あるいは、かごドア13の戸開速度を遅くする、等の戸開閉制御を行う。
図4は、乗りかご11内の出入口周辺部分の構成を示す図である。
乗りかご11の出入口にかごドア13が開閉自在に設けられている。図4の例では2枚戸両開きタイプのかごドア13が示されており、かごドア13を構成する2枚のドアパネル13a,13bが間口方向(水平方向)に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご11の出入口と同じである。
乗りかご11の出入口の両側に正面柱41a,41bが設けられており、幕板11aと共に乗りかご11の出入口を囲っている。「正面柱」は、出入口柱あるいは出入口枠とも称され、裏側にはかごドア13を収納するための戸袋が設けられているのが一般的である。図4の例では、かごドア13が戸開した時に、一方のドアパネル13aが正面柱41aの裏側に設けられた戸袋42aに収納され、他方のドアパネル13bが正面柱41bの裏側に設けられた戸袋42bに収納される。
正面柱41a,41bの一方あるいは両方に表示器43や、行先階ボタン44等が配設された操作盤45、スピーカ46が設置されている。図4では、一例として、正面柱41aにスピーカ46が設置され、正面柱41bに表示器43および操作盤45が設置されている場合を示している。
ここで、乗りかご11の出入口上部の幕板11aの中央部に、広角レンズを有するカメラ12が設置されている。
図5は、カメラ12の撮影画像の一例を示す図である。図5では、かごドア13(ドアパネル13a,13b)と、乗場ドア14(ドアパネル14a,14b)とが全開した状態で、乗りかご11の出入口上部から180度以上の視野角で乗りかご11内と乗場15とが撮影された場合を示している。図5における上側は乗場15を示し、下側は乗りかご11内を示している。
乗場15において、乗りかご11の到着口の両側に三方枠17a,17bが設けられており、その三方枠17a,17bの間の床面16に所定の幅を有する帯状の乗場シル18が乗場ドア14の開閉方向に沿って配設されている。また、乗りかご11の床面19の出入口側に所定の幅を有する帯状のかごシル47がかごドア13の開閉方向に沿って配設されている。
ここで、撮影画像に映されている正面柱41a,41bに対して、人または物を検知するための検知エリアE1,E2が設定される。
検知エリアE1,E2は、戸開動作における利用者のドア(戸袋)への引き込まれを事前に検知する(防止する)ためのエリアであり、正面柱41a,41bの内側側面41a−1,41b−1に設定される。以下では、検知エリアE1,E2を、引き込まれ検知エリアE1,E2と称して説明する。
具体的には、図5に示すように、引き込まれ検知エリアE1,E2は、正面柱41a,41bの内側側面41a−1,41b−1の幅方向に所定の幅D1,D2を有して帯状に設定される。上記した幅D1,D2は、例えば内側側面41a−1,41b−1の横幅(短手方向の幅)と同じか、あるいは、それよりも若干小さく設定される。上記した幅D1,D2は同じであっても、異なっていても良い。
引き込まれ検知エリアE1,E2を設定するに際し、撮影画像上で正面柱41a,41bが映る領域は、乗りかご11の各構成部の設計値や、カメラ12の各種パラメータ(カメラパラメータ)に基づいて算出される。乗りかご11の各構成部の設計値や、カメラパラメータには、例えば以下の項目が含まれる。
・間口の幅(かごの出入口の横幅)
・ドアの高さ
・柱の幅
・ドアのタイプ(両開き/右側あるいは左側の片開き)
・間口に対するカメラの相対位置(3次元)
・カメラの角度(3軸)
・カメラの画角(焦点距離)
検知エリア設定部22aは、上記した各種値に基づいて、撮影画像上で正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域を算出し、当該算出された領域に対して、引き込まれ検知エリアE1,E2を設定する。
以上説明したように、本システムにおいては、上記した図5に示す引き込まれ検知エリアE1,E2が撮影画像上で設定され、上記した図3に示す一連の検知処理が引き込まれ検知エリアE1,E2を対象にして実行される。これによれば、引き込まれ検知エリアE1,E2内にいる人または物(の動き)、具体的には、正面柱41a,41bの内側側面41a−1,41b−1に触れる利用者の手や腕(正面柱41a,41bの内側側面41a−1,41b−1に手を突いている利用者)を検知し、当該検知の結果に応じた戸開閉制御を実現することが可能である。
ここで、上記したように、画像処理装置20は、正面柱41a,41bの内側側面41a−1,41b−1に設定された引き込まれ検知エリアE1,E2における画像の輝度値の変化に基づいて、引き込まれ検知エリアE1,E2内にいる人または物を検知する検知処理を実行する。この検知処理では、引き込まれ検知エリアE1,E2における画像の輝度値の変化に着目するため、当該引き込まれ検知エリアE1,E2は、画像上において正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域に常に設定される必要がある。
しかしながら、エレベータシステムの運用に伴う乗りかご11やカメラ12に対する衝撃や、カメラ12を固定するための固定具の経年劣化、等によりカメラ12の取り付け位置(取り付け角度)にずれが生じてしまうと、上記した引き込まれ検知エリアE1,E2もずれた位置に設定されてしまうため、画像処理装置20は、実際に着目したいエリアとは異なるエリアの画像の輝度値の変化に着目してしまい、その結果、本来であれば検知する必要のない物体(例えば、かごドア13等)を誤検知してしまう可能性がある。特に、引き込まれ検知エリアE1,E2は、上記したように、正面柱41a,41bの内側側面41a−1,41b−1に設定され、この正面柱41a,41bの内側側面41a−1,41b−1の幅はおよそ50mmと僅かな幅であるため、カメラ12の取り付け位置に少しでもずれが生じてしまうと、上記した誤検知が生じてしまう可能性が高い。
このような誤検知によれば、エレベータ制御装置30による誤った戸開閉制御が行われてしまい、かごドア13の戸開速度が遅くなる(あるいは、かごドア13がいつまで経っても戸開されない)、乗りかご11内に連続して注意が喚起される、等の事態が生じる可能性がある。これは、利用者にとって好ましい事態ではない。
このため、本実施形態に係るエレベータの利用者検知システムにおいては、人または物がいると過剰に検知されている過検知エリアを検出(特定)し、当該検出された過検知エリアの配置に基づいて、カメラ12の取り付け位置がどのようにずれているのか(カメラ12のずれ方)を判別することを特徴とする。また、本実施形態に係るエレベータの利用者検知システムにおいては、判別したカメラ12のずれ方に基づいて、上記したカメラパラメータを変更し、引き込まれ検知エリアE1,E2の位置を適切な位置に変更する(補正する)ことをさらなる特徴とする。
上記した過検知エリアとは、引き込まれ検知エリアE1,E2に含まれるエリアであって、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知された1以上のブロックにより形成されるエリアである。なお、過検知エリアには、複数の階床にわたって連続して動きありのブロックとして検知された1以上のブロック以外の一部のブロックが含まれていても構わない。例えば、引き込まれ検知エリアE1,E2に含まれるブロックであって、動きありのブロックとして検知されたブロックと同じ行に位置するブロックが過検知エリアに含まれるとしても構わない。すなわち、過検知エリアは、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知された1以上のブロックを含む所定のエリアである。
また、過検知エリアは、上記したように、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知された1以上のブロックを含む所定のエリアであるため、例えば、ある1つの階床における子供の悪戯等により動きありのブロックとして検知された1以上のブロックがあったとしても、これら1以上のブロックが次の停止階床においても動きありのブロックとして検知されなければ、結果的に、過検知エリアとして検出されない。つまり、子供の悪戯等に基づく過検知エリアの誤検出を抑制することが可能であり、ひいては、カメラ12がずれていないにも関わらず、引き込まれ検知エリアE1,E2の位置が変更されてしまうことを抑制することが可能である。
上記した過検知エリアの検出は、例えば、各ブロックに予め識別番号が付されているような場合、検知処理部22bによって動きありのブロックとして検知されたブロックの識別番号を停止階床毎に記録しておき、同じ識別番号が所定階床にわたって連続して記録された場合に、この識別番号によって識別されるブロックを含む所定のエリアを過検知エリアとして検出する方法により実現されても良い。あるいは、各ブロックに予め識別番号が付されていない場合、上記した過検知エリアの検出は、検知処理部22bによって動きありのブロックとして検知されたブロックの画像上での位置(位置座標)を停止階床毎に記録しておき、同じ位置座標が所定階床にわたって連続して記録された場合に、当該位置座標を含む所定のエリアを過検知エリアとして検出する方法により実現されても良い。
上記したカメラ12のずれ方には、例えば、カメラ12の回転に起因したずれ、カメラ12の縦方向(乗場方向(ドア方向)、乗りかご方向)への首振りに起因したずれ、カメラ12の横方向(ドアの開閉方向)への首振りに起因したずれ、等が含まれる。
以下では、図6〜図8を参照して、検出された過検知エリアの配置と、カメラ12のずれ方との関係について説明する。なお、図6〜図8に示す点線の台形は、引き込まれ検知エリアE1,E2が設定されている領域を示している。また、図6〜図8では、乗りかご側では、台形状の引き込まれ検知エリアE1,E2の斜辺L1,L2に沿った形状の過検知エリアEaが検出され、乗場側(ドア側)では、台形状の引き込まれ検知エリアE1,E2の高さH1,H2に沿った形状の過検知エリアEbが検出された場合を例示しているが、実際には、過検知エリアEa,Ebはこの形状で検出されるとは限らない。しかしながら、本実施形態に係るエレベータの利用者検知システムおいては、過検知エリアが、引き込まれ検知エリアE1,E2が設定されている領域の、乗りかご側またはドア側のどちら側で検出されたかをそれぞれ特定できれば十分である。
図6は、検出された過検知エリアの配置と、カメラ12のずれ方との関係を説明するための図であって、引き込まれ検知エリアE1においては乗りかご側で過検知エリアE1aが検出され、引き込まれ検知エリアE2においてはドア側で過検知エリアE2bが検出された場合を例示している。
図6の点線の台形により示されるように、引き込まれ検知エリアE1,E2は、カメラ12がずれる前に正面柱41a,41bの内側側面41a−1,41b−1が映っていたであろう領域に設定されている。このため、図6に示す乗りかご側の過検知エリアE1aは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE1では検知する必要のない、例えば正面柱41aより少し後方にいる人または物の動きが誤検知されてしまっている可能性を示唆している。また、図6に示すドア側の過検知エリアE2bは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE2では検知する必要のない、かごドア13(ドアパネル13b)の動きが、人または物の動きと誤検知されてしまっている可能性を示唆している。
このため、検知エリア設定部22aは、図6に示す配置で過検知エリアが検出されている場合(換言すると、画像左側においては乗りかご側に過検知エリアE1aが検出され、画像右側においてはドア側に過検知エリアE2bが検出されている場合)、図6に示すように、カメラ12が時計回り方向に回転してずれてしまっていると判別する。
図7は、検出された過検知エリアの配置と、カメラ12のずれ方との関係を説明するための別の図であって、引き込まれ検知エリアE1においてはドア側で過検知エリアE1bが検出され、引き込まれ検知エリアE2においては乗りかご側で過検知エリアE2aが検出された場合を例示している。
図6の場合と同様に、図7においても、引き込まれ検知エリアE1,E2は、カメラ12がずれる前に正面柱41a,41bの内側側面41a−1,41b−1が映っていたであろう領域に設定されている。このため、図7に示すドア側の過検知エリアE1bは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE1では検知する必要のない、かごドア13(ドアパネル13a)の動きが、人または物の動きと誤検知されてしまっている可能性を示唆している。また、図7に示す乗りかご側の過検知エリアE2aは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE2では検知する必要のない、例えば操作盤近辺にいる人または物の動きが誤検知されてしまっている可能性を示唆している。
このため、検知エリア設定部22aは、図7に示す配置で過検知エリアが検出されている場合(換言すると、画像左側においてはドア側に過検知エリアE1bが検出され、画像右側においては乗りかご側に過検知エリアE2aが検出されている場合)、図7に示すように、カメラ12が反時計回り方向に回転してずれてしまっていると判別する。
図8は、検出された過検知エリアの配置と、カメラ12のずれ方との関係を説明するためのさらに別の図であって、引き込まれ検知エリアE1においてはドア側で過検知エリアE1bが検出され、引き込まれ検知エリアE2においてもドア側で過検知エリアE2bが検出された場合を例示している。
図6および図7の場合と同様に、図8においても、引き込まれ検知エリアE1,E2は、カメラ12がずれる前に正面柱41a,41bの内側側面41a−1,41b−1が映っていたであろう領域に設定されている。このため、図8に示すドア側の過検知エリアE1bは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE1では検知する必要のない、かごドア13(ドアパネル13a)の動きが、人または物の動きと誤検知されてしまっている可能性を示唆している。また、図8に示すドア側の検知エリアE2bは、カメラ12のずれに起因して、本来、引き込まれ検知エリアE2では検知する必要のない、かごドア13(ドアパネル13b)の動きが、人または物の動きと誤検知されてしまっている可能性を示唆している。
このため、検知エリア設定部22aは、図8に示す配置で過検知エリアが検出されている場合(換言すると、画像左側および画像右側の両方においてドア側に過検知エリアE1b,E2bが検出されている場合)、図8に示すように、カメラ12がドア側への首振りによりずれてしまっていると判別する。
なお、図8に示す配置での過検知エリアの検出は、乗りかご11内に利用者が乗車していない場合(つまり、利用者が乗車していない状態の乗りかご11が乗場呼びに応答し、かごドア13が乗場呼び登録階にて戸開した場合)にも起こり得る。このため、図8に示す配置で動きありのブロックが検知された場合、検知エリア設定部22aは、図示せぬ荷重センサや人感センサ等に基づいて乗りかご11内に利用者が乗車しているか否かを確認し、乗りかご11内に利用者が乗車していないことが確認された場合には、当該動きありのブロックが複数の階床(所定階床)にわたって連続して検知されていなかったとしても、当該動きありのブロックを含む所定のエリアを過検知エリアとして直ちに検出し、カメラ12がドア側への首振りによりずれてしまっていると判別しても良い。
以上のように、本実施形態に係るエレベータの利用者検知システムにおいては、引き込まれ検知エリアE1,E2において検出された過検知エリアの配置がどのような配置であるかに基づいて、カメラ12のずれ方がどのようなずれ方であるかを判別することが可能である。
次に、引き込まれ検知エリアE1,E2の位置を適切な位置に変更する処理について説明する。
検知エリア設定部22aは、カメラ12のずれ方を判別すると、判別したカメラ12のずれ方に基づいて、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域を算出する際に利用するカメラパラメータを変更し、変更後のカメラパラメータを利用して正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域を算出する。そして、検知エリア設定部22aは、算出された正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域に、引き込まれ検知エリアE1,E2を再設定する。これによれば、引き込まれ検知エリアE1,E2の位置は、カメラ12のずれを考慮した適切な位置に変更される。
カメラ12のずれ方が図6に示したように時計回り方向に回転したずれ方であった場合、検知エリア設定部22aは、引き込まれ検知エリアE1,E2が画像の中心を回転軸として所定角度だけ時計回り方向に回転して設定されるように、カメラパラメータを変更する。これによれば、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域として、変更前のカメラパラメータを利用して算出される領域よりも画像の中心を回転軸として所定角度だけ時計回り方向に回転した領域が算出されるため、結果的に、引き込まれ検知エリアE1,E2は、画像の中心を回転軸として所定角度だけ時計回り方向に回転して設定されることになる。
なお、上記した所定角度は予め決められた値であるものとする。つまり、カメラ12のずれ方が時計回り方向に回転したずれ方である場合に、検知エリア設定部22aが、どのようにカメラパラメータを変更するかは予め決められており、当該カメラパラメータの変更には、カメラ12が時計回り方向にどれだけずれているか(カメラ12の時計回り方向へのずれ量)は関係ないものとする。
カメラ12のずれ方が図7に示したように反時計回り方向に回転したずれ方であった場合、検知エリア設定部22aは、引き込まれ検知エリアE1,E2が画像の中心を回転軸として所定角度だけ反時計回り方向に回転して設定されるように、カメラパラメータを変更する。これによれば、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域として、変更前のカメラパラメータを利用して算出される領域よりも画像の中心を回転軸として所定角度だけ反時計回り方向に回転した領域が算出されるため、結果的に、引き込まれ検知エリアE1,E2は、画像の中心を回転軸として所定角度だけ反時計回り方向に回転して設定されることになる。
なお、上記した時計回り方向の場合と同様に、反時計回り方向の場合の上記した所定角度も予め決められた値であるものとする。つまり、カメラ12のずれ方が反時計回り方向に回転したずれ方である場合に、検知エリア設定部22aが、どのようにカメラパラメータを変更するかは予め決められており、当該カメラパラメータの変更には、カメラ12が反時計回り方向にどれだけずれているか(カメラ12の反時計回り方向へのずれ量)は関係ないものとする。また、時計回り方向の場合の上記した所定角度と、反時計回り方向の場合の上記した所定角度とは、同じ値であっても良いし、異なる値であっても良い。
カメラ12のずれ方が図8に示したようにドア側への首振りであった場合、検知エリア設定部22aは、引き込まれ検知エリアE1,E2が所定距離だけ乗りかご側に移動して設定されるように、カメラパラメータを変更する。これによれば、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域として、変更前のカメラパラメータを利用して算出される領域よりも所定距離だけ乗りかご側に移動した領域が算出されるため、結果的に、引き込まれ検知エリアE1,E2は、所定距離だけ乗りかご側に移動して設定されることになる。
なお、上記した所定距離は予め決められた値であるものとする。つまり、カメラ12のずれ方がドア側への首振りである場合に、検知エリア設定部22aが、どのようにカメラパラメータを変更するかは予め決められており、当該カメラパラメータの変更には、カメラ12がドア側への首振りによりどれだけずれているか(カメラ12のドア側への首振りによるずれ量)は関係ないものとする。
以上のように、本実施形態に係るエレベータの利用者検知システムにおいては、判別したカメラ12のずれ方に応じて、引き込まれ検知エリアE1,E2の位置を適切な位置に変更することが可能である。
図9は、本実施形態に係るエレベータの利用者検知システムにおいて実行される一連の処理の手順例を示すフローチャートである。なお、ここでは、カメラ12を設置した際の初期設定によりカメラ12にずれがない状態で設定された引き込まれ検知エリアE1,E2が画像上に位置している場合を想定する。
まず、検知エリア設定部22aは、検知処理部22bにより、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知された1以上のブロックがあるか否かを判定する(ステップS11)。この処理は、例えば、乗りかご11がある停止階床から次の停止階床に移動している最中に実行される。但し、この処理を実行するタイミングはこれに限定されず、任意のタイミングで実行されて構わない。
上記したステップS11の処理の結果、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知されたブロックがないと判定された(ステップS11のNo)、検知エリア設定部22aは、ここでの一連の処理を終了させる。
一方で、上記したステップS11の処理の結果、複数の階床(所定階床)にわたって連続して動きありのブロックとして検知された1以上のブロックがあると判定された場合(ステップS11のYes)、検知エリア設定部22aは、当該検知された1以上のブロックを含む所定のエリアを過検知エリアとして検出する(ステップS12)。
続いて、検知エリア設定部22aは、引き込まれ検知エリアE1,E2の両方から過検知エリアが検出されたか否かを判定する。換言すれば、検知エリア設定部22aは、画像の左側に位置する正面柱41aの内側側面41a−1に対して設定された引き込まれ検知エリアE1と、画像の右側に位置する正面柱41bの内側側面41b−1に対して設定された引き込まれ検知エリアE2との両方から過検知エリアが検出されたか否かを判定する(ステップS13)。
上記したステップS13の処理の結果、引き込まれ検知エリアE1,E2の両方からは過検知エリアが検出されていないと判定された場合、つまり、引き込まれ検知エリアE1,E2のうちの一方からしか過検知エリアが検出されていないと判定された場合(ステップS13のNo)、検知エリア設定部22aは、検出された過検知エリアを含む一方の引き込まれ検知エリアを上記した検知処理の対象から一時的に除外すると共に、カメラ12に何らかの異常が生じている可能性があることを保守員に通知して(ステップS14)、ここでの一連の処理を終了させる。
一方で、上記したステップS13の処理の結果、引き込まれ検知エリアE1,E2の両方から過検知エリアが検出されていると判定された場合(ステップS13のYes)、検知エリア設定部22aは、検出された過検知エリアの配置に基づいて、カメラ12のずれ方を判別する(ステップS15)。なお、カメラ12のずれ方の判別方法については、図6〜図8を用いて既に詳述したため、ここではその詳しい説明は省略する。
しかる後、検知エリア設定部22aは、判別したカメラ12のずれ方に基づいて、引き込まれ検知エリアE1,E2の位置を適切な位置に変更し(ステップS16)、ここでの一連の処理を終了させる。なお、カメラ12のずれ方に応じて、引き込まれ検知エリアE1,E2を再設定する方法についても、既に詳述したため、ここではその詳しい説明は省略する。
以上説明したように、本実施形態に係るエレベータの利用者検知システムは、乗りかご11のドア13近辺に設置され、乗りかご11内および乗場15を含む画像を撮影するカメラ12と、記撮影された画像上に人または物を検知するための複数の検知エリアE1,E2を設定する検知エリア設定部22aと、設定された複数の検知エリアE1,E2を対象にして、人または物を検知するための検知処理を実行する検知処理部22bと、検知処理の結果を乗りかご11のドア13の戸開閉制御に反映させるエレベータ制御装置30と、を備えている。また、検知エリア設定部22aは、検知処理部22bによる検知処理の結果、複数の階床にわたって連続して人または物がいると検知された画像上の位置(ブロック)を含む過検知エリアを検知エリアE1,E2毎に検出し、検出された過検知エリアの配置に基づいて、カメラ12のずれ方を判別し、判別されたカメラ12のずれ方に基づいて、画像上に設定された複数の検知エリアE1,E2の位置を適切な位置に変更する機能を備えている。
これによれば、検出された過検知エリアの配置に基づいてカメラ12のずれ方を判別することが可能であり、かつ、判別されたカメラ12のずれ方に基づいて引き込まれ検知エリアE1,E2の位置を適切な位置に変更することが可能であるので、カメラ12のずれに起因した誤検知を抑制することが可能となる。これによれば、エレベータ近辺にいる利用者の検知精度を向上させることも可能である。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11…乗りかご、11a…幕板、12…カメラ、13…かごドア、14…乗場ドア、15…乗場、20…画像処理装置、21…記憶部、22…検知部、22a…検知エリア設定部、22b…検知処理部、30…エレベータ制御装置、31…運転制御部、32…戸開閉制御部、33…通知部。
一実施形態によれば、エレベータの利用者検知システムは、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影する撮影手段と、前記撮影された画像上に人または物の前記ドアへの引き込まれを検知するための複数の検知エリアを設定する設定手段と、前記設定された複数の検知エリアを対象にして、前記人または物を検知するための検知処理を実行する検知手段と、前記検知処理の結果を前記乗りかごのドアの戸開閉制御に反映させる制御手段と、を具備し、前記複数の検知エリアは、前記画像上において前記乗りかご内の左右両側に設置された2つの正面柱の内側側面が映っていると推測される位置にそれぞれ設定され、前記設定手段は、前記検知処理の結果、複数の階床にわたって連続して前記人または物がいると検知された前記画像上の位置を含む過検知エリアを前記検知エリア毎に検出し、前記検出された過検知エリアの配置に基づいて、前記撮影手段のずれ方を判別し、前記判別された撮影手段のずれ方に基づいて、前記画像上に設定された複数の検知エリアの位置を適切な位置に変更する。
このため、検知エリア設定部22aは、図6に示す配置で過検知エリアが検出されている場合(換言すると、画像左側においては乗りかご側に過検知エリアE1aが検出され、画像右側においてはドア側に過検知エリアE2bが検出されている場合)、図6に示すように、カメラ12が時計回り方向に回転してずれてしまっていると判別する。
このため、検知エリア設定部22aは、図7に示す配置で過検知エリアが検出されている場合(換言すると、画像左側においてはドア側に過検知エリアE1bが検出され、画像右側においては乗りかご側に過検知エリアE2aが検出されている場合)、図7に示すように、カメラ12が時計回り方向に回転してずれてしまっていると判別する。
カメラ12のずれ方が図6に示したように時計回り方向に回転したずれ方であった場合、検知エリア設定部22aは、引き込まれ検知エリアE1,E2が画像の中心を回転軸として所定角度だけ時計回り方向に回転して設定されるように、カメラパラメータを変更する。これによれば、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域として、変更前のカメラパラメータを利用して算出される領域よりも画像の中心を回転軸として所定角度だけ時計回り方向に回転した領域が算出されるため、結果的に、引き込まれ検知エリアE1,E2は、画像の中心を回転軸として所定角度だけ時計回り方向に回転して設定されることになる。
なお、上記した所定角度は予め決められた値であるものとする。つまり、カメラ12のずれ方が時計回り方向に回転したずれ方である場合に、検知エリア設定部22aが、どのようにカメラパラメータを変更するかは予め決められており、当該カメラパラメータの変更には、カメラ12が時計回り方向にどれだけずれているか(カメラ12の時計回り方向へのずれ量)は関係ないものとする。
カメラ12のずれ方が図7に示したように時計回り方向に回転したずれ方であった場合、検知エリア設定部22aは、引き込まれ検知エリアE1,E2が画像の中心を回転軸として所定角度だけ反時計回り方向に回転して設定されるように、カメラパラメータを変更する。これによれば、正面柱41a,41bの内側側面41a−1,41b−1が映っているであろう領域として、変更前のカメラパラメータを利用して算出される領域よりも画像の中心を回転軸として所定角度だけ反時計回り方向に回転した領域が算出されるため、結果的に、引き込まれ検知エリアE1,E2は、画像の中心を回転軸として所定角度だけ反時計回り方向に回転して設定されることになる。
なお、上記した時計回り方向の場合と同様に、時計回り方向の場合の上記した所定角度も予め決められた値であるものとする。つまり、カメラ12のずれ方が時計回り方向に回転したずれ方である場合に、検知エリア設定部22aが、どのようにカメラパラメータを変更するかは予め決められており、当該カメラパラメータの変更には、カメラ12が時計回り方向にどれだけずれているか(カメラ12の時計回り方向へのずれ量)は関係ないものとする。また、時計回り方向の場合の上記した所定角度と、時計回り方向の場合の上記した所定角度とは、同じ値であっても良いし、異なる値であっても良い。

Claims (10)

  1. 乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影する撮影手段と、
    前記撮影された画像上に人または物を検知するための複数の検知エリアを設定する設定手段と、
    前記設定された複数の検知エリアを対象にして、前記人または物を検知するための検知処理を実行する検知手段と、
    前記検知処理の結果を前記乗りかごのドアの戸開閉制御に反映させる制御手段と、
    を具備し、
    前記設定手段は、
    前記検知処理の結果、複数の階床にわたって連続して前記人または物がいると検知された前記画像上の位置を含む過検知エリアを前記検知エリア毎に検出し、
    前記検出された過検知エリアの配置に基づいて、前記撮影手段のずれ方を判別し、
    前記判別された撮影手段のずれ方に基づいて、前記画像上に設定された複数の検知エリアの位置を適切な位置に変更する、エレベータの利用者検知システム。
  2. 前記複数の検知エリアは、
    前記画像の左右両側に少なくとも1つずつ設定され、
    前記設定手段は、
    前記画像の左側の検知エリアから検出された第1過検知エリアと、前記画像の右側の検知エリアから検出された第2過検知エリアとの配置に基づいて、前記撮影手段のずれ方を判別する、
    請求項1に記載のエレベータの利用者検知システム。
  3. 前記設定手段は、
    前記第1過検知エリアが前記乗りかご側から検出され、前記第2過検知エリアが前記乗場側から検出された場合、前記撮影手段が時計回り方向に回転してずれていると判別する、
    請求項2に記載のエレベータの利用者検知システム。
  4. 前記設定手段は、
    前記撮影手段が時計回り方向に回転してずれていると判別した場合、前記複数の検知エリアの位置を、前記画像の中心を回転軸として所定角度だけ時計回り方向に回転させた位置に変更する、
    請求項3に記載のエレベータの利用者検知システム。
  5. 前記設定手段は、
    前記第1過検知エリアが前記乗場側から検出され、前記第2過検知エリアが前記乗りかご側から検出された場合、前記撮影手段が反時計回り方向に回転してずれていると判別する、
    請求項2〜請求項4のいずれか1項に記載のエレベータの利用者検知システム。
  6. 前記設定手段は、
    前記撮影手段が反時計回り方向に回転してずれていると判別した場合、前記複数の検知エリアの位置を、前記画像の中心を回転軸として所定角度だけ反時計回り方向に回転させた位置に変更する、
    請求項5に記載のエレベータの利用者検知システム。
  7. 前記設定手段は、
    前記第1過検知エリアおよび前記第2過検知エリアが共に前記乗場側から検出された場合、前記撮影手段が前記乗場側への首振りによりずれていると判別する、
    請求項2〜請求項6のいずれか1項に記載のエレベータの利用者検知システム。
  8. 前記設定手段は、
    前記撮影手段が前記乗場側への首振りによりずれていると判別した場合、前記複数の検知エリアの位置を所定距離だけ前記乗りかご側に移動させた位置に変更する、
    請求項7に記載のエレベータの利用者検知システム。
  9. 前記設定手段は、
    前記画像の左側の検知エリアおよび前記画像の右側の検知エリアのうちの一方のみから過検知エリアを検出した場合、当該過検知エリアを含む検知エリアを前記検知処理の対象から除外し、前記撮影手段に異常が生じている可能性があることを保守員に通知する、
    請求項2〜請求項8のいずれか1項に記載のエレベータの利用者検知システム。
  10. 前記複数の検知エリアは、
    前記画像上において前記乗りかご内に設置された2つの正面柱が映っていると推測される位置にそれぞれ設定される、
    請求項1〜請求項9のいずれか1項に記載のエレベータの利用者検知システム。
JP2019164806A 2019-09-10 2019-09-10 エレベータの利用者検知システム Active JP6833942B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019164806A JP6833942B1 (ja) 2019-09-10 2019-09-10 エレベータの利用者検知システム
CN202010439899.2A CN112551292B (zh) 2019-09-10 2020-05-22 电梯的使用者探测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019164806A JP6833942B1 (ja) 2019-09-10 2019-09-10 エレベータの利用者検知システム

Publications (2)

Publication Number Publication Date
JP6833942B1 JP6833942B1 (ja) 2021-02-24
JP2021042035A true JP2021042035A (ja) 2021-03-18

Family

ID=74661648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019164806A Active JP6833942B1 (ja) 2019-09-10 2019-09-10 エレベータの利用者検知システム

Country Status (2)

Country Link
JP (1) JP6833942B1 (ja)
CN (1) CN112551292B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124897A (ja) * 2016-01-13 2017-07-20 東芝エレベータ株式会社 エレベータの乗車検知システム
JP2017126186A (ja) * 2016-01-13 2017-07-20 東芝エレベータ株式会社 画像処理装置
JP2018162117A (ja) * 2017-03-24 2018-10-18 東芝エレベータ株式会社 エレベータの乗車検知システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5660614B2 (ja) * 2011-03-04 2015-01-28 東芝エレベータ株式会社 エレベータ
JP6377795B1 (ja) * 2017-03-24 2018-08-22 東芝エレベータ株式会社 エレベータの乗車検知システム
JP6377797B1 (ja) * 2017-03-24 2018-08-22 東芝エレベータ株式会社 エレベータの乗車検知システム
JP6317004B1 (ja) * 2017-03-24 2018-04-25 東芝エレベータ株式会社 エレベータシステム
JP6657167B2 (ja) * 2017-12-15 2020-03-04 東芝エレベータ株式会社 利用者検知システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124897A (ja) * 2016-01-13 2017-07-20 東芝エレベータ株式会社 エレベータの乗車検知システム
JP2017126186A (ja) * 2016-01-13 2017-07-20 東芝エレベータ株式会社 画像処理装置
JP2018162117A (ja) * 2017-03-24 2018-10-18 東芝エレベータ株式会社 エレベータの乗車検知システム

Also Published As

Publication number Publication date
CN112551292B (zh) 2022-07-15
JP6833942B1 (ja) 2021-02-24
CN112551292A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
JP6657167B2 (ja) 利用者検知システム
JP7230114B2 (ja) エレベータの利用者検知システム
JP6524294B1 (ja) 利用者検知システム
JP2018158842A (ja) 画像解析装置及びエレベータシステム
JP2018090351A (ja) エレベータシステム
JP6702578B1 (ja) エレベータの利用者検知システム
CN112429609B (zh) 电梯的使用者探测系统
JP6878558B1 (ja) エレベータの利用者検知システム
JP6833942B1 (ja) エレベータの利用者検知システム
JP2023183735A (ja) エレベータシステム
CN112441490B (zh) 电梯的使用者探测系统
JP6716741B1 (ja) エレベータの利用者検知システム
JP6881853B2 (ja) エレベータの利用者検知システム
JP6828108B1 (ja) エレベータの利用者検知システム
JP6871324B2 (ja) エレベータの利用者検知システム
JP6828112B1 (ja) エレベータの利用者検知システム
JP6702579B1 (ja) エレベータの利用者検知システム
JP7305849B1 (ja) エレベータシステム
JP7367174B1 (ja) エレベータシステム
JP2021091556A (ja) エレベータの利用者検知システム
JP2022015531A (ja) エレベータの利用者検知システム
JP2022143963A (ja) エレベータの利用者検知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150