JP2019146269A - 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム - Google Patents

処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム Download PDF

Info

Publication number
JP2019146269A
JP2019146269A JP2019099218A JP2019099218A JP2019146269A JP 2019146269 A JP2019146269 A JP 2019146269A JP 2019099218 A JP2019099218 A JP 2019099218A JP 2019099218 A JP2019099218 A JP 2019099218A JP 2019146269 A JP2019146269 A JP 2019146269A
Authority
JP
Japan
Prior art keywords
unit
image
intercom
interphone
dwelling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019099218A
Other languages
English (en)
Other versions
JP6741972B2 (ja
Inventor
翔 池村
Sho Ikemura
翔 池村
山中 睦裕
Mutsuhiro Yamanaka
睦裕 山中
池田 光治
Mitsuharu Ikeda
光治 池田
古賀 義宏
Yoshihiro Koga
義宏 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019099218A priority Critical patent/JP6741972B2/ja
Publication of JP2019146269A publication Critical patent/JP2019146269A/ja
Application granted granted Critical
Publication of JP6741972B2 publication Critical patent/JP6741972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Abstract

【課題】集合住宅内を低コストできめ細かく監視する。【解決手段】処理装置に含まれる取得部421は、集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を、インターホン親機および当該インターホン親機が接続されている伝送路を介して取得する。処理装置に含まれる提供部424は、取得された画像の内、要求された画像を閲覧要求元で閲覧可能にする。【選択図】図3

Description

本発明は、マンション等の集合住宅に設置される処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステムに関する。
マンションには、セキュリティを強化するため通常、監視カメラが設置される。監視カメラは例えばロビー、エレベータ内、通路などに設置され、不審者が侵入していないか監視している。またマンションには通常、インターホンシステムも設置される。ロビーに設置されたロビーインターホン装置にカメラを搭載し、当該カメラで撮影した来訪者の顔を住戸内のインターホン親機で確認できるシステムも実用化されている。
特許文献1は、居室親機のモニタに集合玄関カメラ及び監視カメラで撮像された各映像を順次切り替えて表示するインターホンシステムを開示する。
特開2005−109804号公報
監視カメラには通常、死角が存在するため不審者を見逃す可能性がある。死角をなくすために大量の監視カメラを設置するとコストが高くなる。
本発明はこうした状況に鑑みなされたものであり、その目的は、集合住宅内を低コストできめ細かく監視するための処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステムを提供することにある。
上記課題を解決するために、本発明のある態様の処理装置は、集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を、前記インターホン親機および当該インターホン親機が接続されている伝送路を介して取得する取得部と、取得された画像の内、要求された画像を閲覧要求元で閲覧可能にする提供部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、集合住宅内を低コストできめ細かく監視できる。
本発明の実施の形態に係るインターホンシステムの構成を示す図である。 図1のドアインターホン装置、インターホン室内装置、ロビーインターホン装置、管理室インターホン装置の構成を示すブロック図である。 図1の制御装置の構成を示すブロック図である。 画像閲覧処理の一例を示す図である。 人物確認処理の一例を示す図である。 オブジェクト検出部による人物検出方法の一例を説明するための図である。 オブジェクト検出部による人物検出方法の別の例を説明するための図である。 来訪者の位置確認処理の一例を示す図である。 オブジェクト照合部による人物照合方法の一例を説明するための図である。 不審者通報処理の一例を示す図である。 不審者通報処理の別の例を示す図である。 不審者通報処理のさらに別の例を示す図である。
図1は、本発明の実施の形態に係るインターホンシステム1の構成を示す図である。本実施の形態ではインターホンシステム1をマンションに設置する例を想定する。インターホンシステム1はドアインターホン装置10、インターホン室内装置20、監視カメラ30、制御装置40、ロビーインターホン装置50及び管理室インターホン装置60を備える。
インターホン室内装置20は住戸内に設置される。ドアインターホン装置10は住戸玄関の外側に設置される。インターホン室内装置20とドアインターホン装置10は親機と子機の関係にある。来訪者と居住者はドアインターホン装置10とインターホン室内装置20を用いて通話可能である。インターホン室内装置20とドアインターホン装置10の組は住戸ごとに設置される。複数のインターホン室内装置20はそれぞれ伝送路2に接続される。伝送路2は例えば、ツイストペアケーブルを使用した専用の幹線で構成される。
伝送路2には複数のインターホン室内装置20の他に、監視カメラ30及び制御装置40が接続される。監視カメラ30はエレベータ内、通路などの共用スペースに設置される。監視カメラ30はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサ等の固体撮像素子を備える。監視カメラ30は当該固体撮像素子で光電変換した映像信号を伝送路2を介して制御装置40に送信する。
ロビーインターホン装置50はロビーに設置されたインターホン室外装置であり、専用の伝送路を介して制御装置40に接続される。来訪者はロビーインターホン装置50に部屋番号を入力して、訪問先の住戸内に設置されたインターホン室内装置20を発呼する。
管理室インターホン装置60は管理人室に設置され、専用の伝送路を介して制御装置40に接続される。制御装置40は機械室や管理人室などの共用スペースに設置される。制御装置40はロビーインターホン装置50と複数のインターホン室内装置20との間の信号を中継する。また制御装置40は管理室インターホン装置60と、ロビーインターホン装置50及び複数のインターホン室内装置20との間の信号を中継する。また制御装置40は分電盤や各種のセンサに接続されており、火災などの異常が発生した際、各住戸のインターホン室内装置20にアラート信号を送信する。また制御装置40はゲートウェイ装置3を介してインターネット上のサーバ4と接続できる。
図2は、図1のドアインターホン装置10、インターホン室内装置20、ロビーインターホン装置50、管理室インターホン装置60の構成を示すブロック図である。ドアインターホン装置10は制御部11、通信部12、撮像部13、送受話部14、操作部15及び人感センサ16を備える。
インターホン室内装置20は制御部21、通信部22、送受話部23、操作部24及び表示部25を備える。制御部21は識別情報付与部211、画像転送部212及び画像閲覧要求部213を含む。図2の制御部21の機能ブロックには、本実施の形態で注目する処理に関連する機能ブロックのみを描いている。制御部21の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてファームウェア、アプリケーション等のプログラムを利用できる。
ロビーインターホン装置50は制御部51、通信部52、撮像部53、送受話部54、操作部55及び人感センサ56を備える。管理室インターホン装置60は制御部61、通信部62、送受話部63、操作部64及び表示部65を備える。制御部61は画像閲覧要求部611を含む。
図3は、図1の制御装置40の構成を示すブロック図である。制御装置40は制御部41、通信部44及び記憶部45を備える。制御部41は撮像画像処理部42及び中継処理部43を含む。撮像画像処理部42は取得部421、閲覧要求受付部422、選択部423、提供部424、閲覧権限確認部425、オブジェクト検出部426、オブジェクト照合部427、判定部428及び通報部429を含む。図3の制御部41の機能ブロックにも、本実施の形態で注目する処理に関連する機能ブロックのみを描いている。制御部41の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。
記憶部45は撮像画像保持部451及び閲覧権限保持部452を含む。図3の記憶部45の機能ブロックには、本実施の形態で注目する処理に関連する機能ブロックのみを描いている。記憶部45はHDD(Hard Disk Drive)又はSSD(Solid State Drive)等の大容量の記憶媒体を備える。
以下、図1−3を参照して本実施の形態に係るインターホンシステム1の具体的動作を説明する。ロビーインターホン装置50の撮像部53はCMOSイメージセンサ、CCDイメージセンサ等の固体撮像素子を備え、当該固体撮像素子で光電変換した映像信号を制御部51に出力する。送受話部54は、来訪者が居住者と通話するためのユーザインタフェースであり、図示しないマイク及びスピーカを備える。マイクは来訪者の声を集音し、電気信号に変換して制御部51に出力する。スピーカは、インターホン室内装置20から取得された音声信号を物理的な振動に変換して出力する。
操作部55は来訪者の操作を受け付けるためのユーザインタフェースである。具体的には、部屋番号を入力するためのテンキーボタン、呼出ボタンを備える。人感センサ56は感知範囲内に人や動物などが侵入すると感知信号を制御部51に出力する。赤外線を利用した人感センサでは、人や動物などの温度を持つ主体から自然に放射される赤外線を検出して、感知範囲内の温度変化を検出する。温度変化を検出することにより感知範囲内に人や動物が侵入したことを感知できる。通信部52は伝送路を介して制御装置40と信号を送受信するための通信インタフェースである。
制御部51はロビーインターホン装置50全体を制御する。操作部55の呼出ボタンが押下されると制御部51は撮像部53に撮像開始を指示し、来訪者の映像を撮像させる。制御部51は撮像された映像を、制御装置40を介して来訪者により入力された部屋番号の住戸に設置されたインターホン室内装置20に送信する。当該インターホン室内装置20との間で通話チャンネルが確立すると制御部51は、制御装置40を介して当該インターホン室内装置20と音声信号を送受信する。なおロビーインターホン装置50は管理室インターホン装置60とも通話チャンネルを確立でき、来訪者は管理人とも通話できる。
本実施の形態では撮像部53を来訪者の映像を撮像する以外に、マンション内の監視用途としても使用する。撮像部53は来訪者がロビーインターホン装置50を使用していない期間、監視カメラとして動作する。通常の監視カメラのように画像を撮像し続けてもよい。この場合、人感センサ56は省略できる。ただし30Hzや60Hzで撮像すると伝送路にかかる負荷が大きくなるためフレームレートを低下させて撮像するとよい。例えば1Hzでもよい。また来訪者撮影モードではなく監視カメラモードで動作しているときは解像度を低下させてもよい。例えば画素を間引くことにより解像度を低下させ、データ量を圧縮してもよい。
また撮像部53は、人感センサ56により人や動物などのオブジェクトが感知されている期間に動作し、オブジェクトが感知されていない期間は停止していてもよい。なおオブジェクトが感知されている期間は高画質で撮像し、オブジェクトが感知されていない期間は低画質で撮像してもよい。低画質で撮像する場合はフレームレート及び/又は解像度を低下させる。撮像部53で撮像された画像は伝送路を介して制御装置40に送信される。
ドアインターホン装置10の撮像部13はCMOSイメージセンサ、CCDイメージセンサ等の固体撮像素子を備え、当該固体撮像素子で光電変換した映像信号を制御部11に出力する。送受話部14は、来訪者が居住者と通話するためのユーザインタフェースであり、図示しないマイク及びスピーカを備える。操作部15は来訪者の操作を受け付けるためのユーザインタフェースである。具体的には呼出ボタンを備える。人感センサ16は感知範囲内に人や動物などが侵入すると感知信号を制御部11に出力する。通信部12は通信線を介して、対になっているインターホン室内装置20と信号を送受信するための通信インタフェースである。
制御部11はドアインターホン装置10全体を制御する。操作部15の呼出ボタンが押下されると制御部11は撮像部13に撮像開始を指示し、来訪者の映像を撮像させる。制御部11は撮像された映像をインターホン室内装置20に送信する。当該インターホン室内装置20との間で通話チャンネルが確立すると制御部11は、当該インターホン室内装置20と音声信号を送受信する。
本実施の形態では撮像部13を来訪者の映像を撮像する以外に、マンション内の監視用途としても使用する。撮像部13の動作はロビーインターホン装置50の撮像部53の動作と基本的に同じである。撮像部13で撮像された画像は通信線を介してインターホン室内装置20に送信される。
インターホン室内装置20の送受話部23は、居住者が来訪者と通話するためのユーザインタフェースであり、図示しないマイク及びスピーカを備える。操作部24は居住者の操作を受け付けるためのユーザインタフェースである。具体的には通話ボタン、解錠ボタンを備える。その他に非常ボタン、警報音停止ボタン等を備えることができる。表示部25は、制御部21から供給される映像信号を再生して画像を表示する。例えば、ロビーインターホン装置50の撮像部53又はドアインターホン装置10の撮像部13により撮像された来訪者の画像を表示する。通信部22は伝送路2を介して制御装置40と信号を送受信するとともに、通信線を介してドアインターホン装置10と信号を送受信するための通信インタフェースである。
制御部21はインターホン室内装置20全体を制御する。操作部24の通話ボタンが押下されると制御部21はロビーインターホン装置50またはドアインターホン装置10と通話チャンネルを確立する。制御部21は当該通話チャンネルが確立すると、ロビーインターホン装置50またはドアインターホン装置10と音声信号を送受信する。操作部24の解錠ボタンが押下されると制御部21は制御装置40に解錠信号を送信し、ロビーの扉の鍵を解錠する。なおインターホン室内装置20は管理室インターホン装置60とも通話チャンネルを確立でき、居住者は管理人とも通話できる。
識別情報付与部211は、対になっているドアインターホン装置10の撮像部13が監視カメラモードのときに、撮像部13から送信されてくる画像に、住戸を識別するための識別情報を付加する。例えば画像ファイル内にメタデータとして識別情報を埋め込んでもよいし、識別情報を別ファイルで画像ファイルに付加してもよい。
画像転送部212は、撮像部13で撮像され、識別情報が付加された画像データを伝送路2を介して制御装置40に転送する。なお撮像部13で撮像された画像を低画質化する場合、ドアインターホン装置10の制御部11ではなく、インターホン室内装置20の画像転送部212で実行してもよい。その場合、画像転送部212は撮像部13から受信した画像のフレームレート及び/又は解像度を低下させる。
管理室インターホン装置60の送受話部63は、管理人が居住者または来訪者と通話するためのユーザインタフェースであり、図示しないマイク及びスピーカを備える。操作部64は管理人の操作を受け付けるためのユーザインタフェースである。表示部65は、制御部61から供給される映像信号を再生して画像を表示する。通信部62は伝送路を介して制御装置40と信号を送受信するための通信インタフェースである。制御部61は管理室インターホン装置60全体を制御する。
制御装置40の通信部44は、伝送路2を介して複数のインターホン室内装置20及び少なくとも1つの監視カメラ30と信号を送受信するための通信インタフェースである。またロビーインターホン装置50及び管理室インターホン装置60とそれぞれの伝送路を介して信号を送受信するための通信インタフェースでもある。
中継処理部43は、ロビーインターホン装置50とインターホン室内装置20間、ロビーインターホン装置50と管理室インターホン装置60間、及びインターホン室内装置20と管理室インターホン装置60間の信号の送受信を中継する。
撮像画像処理部42の取得部421は、ドアインターホン装置10の撮像部13で撮像された画像を、インターホン室内装置20及び伝送路2を介して取得する。また取得部421は監視カメラ30が撮像した画像を伝送路2を介して取得する。なお監視カメラ30が設置されない場合、及び監視カメラ30がインターホンシステム1と連携しない場合は監視カメラ30から画像を取得しない。また取得部421はロビーインターホン装置50の撮像部53で撮像された画像を伝送路を介して取得する。このようにマンション内に設置されたドアインターホン装置10の撮像部13、監視カメラ30、ロビーインターホン装置50の撮像部53で撮像された画像を収集する。
取得部421は取得した画像を撮像画像保持部451に格納する。撮像画像保持部451は、格納された画像を一定の保存期間、保持する。これによりマンション内に侵入した不審者の画像を記録できる。従って少なくとも、人感センサが反応したときに撮像された画像は保存する必要がある。なお人物が写っていない画像は保存対象から除外してもよい。また取得部421により取得された画像は、制御装置40の撮像画像保持部451ではなく、インターネット上のサーバ4に保存してもよい。この場合、撮像画像保持部451は不要となる。また保存期間が過ぎた画像は削除してもよい。
閲覧要求受付部422は、インターホン室内装置20または管理室インターホン装置60から画像閲覧要求を受け付ける。本実施の形態では原則的に居住者および管理人が、マンション内の所望の位置に設置された撮像部で撮像された画像を閲覧できる。居住者はインターホン室内装置20の操作部24を操作して画像閲覧アプリケーションを起動させると、当該画像閲覧要求アプリケーションは表示部25に、閲覧可能な撮像部の選択画面を表示させる。例えば、住戸1玄関前、住戸2玄関前、住戸3玄関前、・・・、ロビー、1階通路、2階通路、・・・といった撮像部の設置場所が表示され、住人は閲覧したい場所を選択する。
インターホン室内装置20の画像閲覧要求部213は、選択された場所情報を含む画像閲覧要求を伝送路2を介して制御装置40に送信する。管理人も同様に管理室インターホン装置60の操作部64を操作して閲覧したい場所を選択できる。管理室インターホン装置60の画像閲覧要求部611は、選択された場所情報を含む画像閲覧要求を伝送路2を介して制御装置40に送信する。
制御装置40の閲覧要求受付部422は、当該画像閲覧要求を受け付ける。選択部423は、当該画像閲覧要求に含まれる場所に設置された撮像部を選択する。提供部424は、選択された撮像部で撮像された画像を要求元のインターホン室内装置20または管理室インターホン装置60で閲覧可能にする。インターホン室内装置20の制御部21は、選択された場所で撮像された画像を表示部25に表示させる。同様に管理室インターホン装置60の制御部61は、選択された場所で撮像された画像を表示部65に表示させる。
図4は、画像閲覧処理の一例を示す図である。この例では住戸1の玄関前に設置された撮像部13で撮像された画像内に人物5が含まれており、住戸3の玄関前に設置された撮像部13で撮像された画像内に木6が含まれている。住戸Nの居住者はインターホン室内装置20の操作部24に対して、住戸3の玄関前の画像閲覧を要求する操作を行う。インターホン室内装置20の画像閲覧要求部213は、住戸3の識別情報(例えば、103号室前)を含む画像閲覧要求を制御装置40に送信する。
制御装置40の選択部423は、取得部421により取得された複数の画像の内、住戸3の玄関前に設置された撮像部13により撮像された画像を選択する。提供部424は選択された画像を、要求元のインターホン室内装置20で閲覧可能にする。インターホン室内装置20の制御部21は、閲覧可能になった画像を表示部25に表示させる。なお住戸3の玄関前に設置された撮像部13が停止または休止中であっても、閲覧要求があった場合は制御装置40からモード切替指示が通知されることにより、稼働状態に切り替わる。
画像閲覧要求の対象となっている撮像部13を備えるドアインターホン装置10が通話中である場合、提供部424は、当該撮像部13で撮像されている画像の閲覧を拒否する。通話中は撮像部13は来訪者の画像を撮像しているためプライバシー保護の観点から、訪問先の住戸の居住者しか画像を見ることができないようにする必要性が高い。
上記の例では居住者がマンション内の全ての撮像部で撮像される画像を無制限に閲覧できる例を想定したが、居住者ごとに閲覧権限を設定してもよい。閲覧権限は例えばマンションの管理組合で予め決定される。例えば2階の住戸者は2階の住戸に設置された撮像部で撮像された画像は閲覧可能であるが、他の階の住戸に設置された撮像部で撮像された画像は閲覧不可としてもよい。また入居後1年未満の住居者は他の住戸に設置された撮像部で撮像された画像を閲覧不可とし、1年経過後から閲覧可能としてもよい。また自己の住戸に設置された撮像部で撮像された画像を他の居住者に閲覧させたくない場合、その撮像部で撮像された画像を他の居住者から閲覧不可としてもよい。なお管理人は通常、全ての撮像部で撮像された画像を閲覧可能とする。
制御装置40の閲覧権限保持部452は、マンション内の各住戸内に設置されるインターホン室内装置20、管理室に設置される管理室インターホン装置60を含む各要求元の閲覧権限を保持する。閲覧権限確認部425は、閲覧要求受付部422により画像閲覧要求が受け付けられた際、閲覧権限保持部452に保持された閲覧権限を参照して、要求元が、指定してきた場所に設置された撮像部で撮像された画像の閲覧権限を有しているか否か確認する。当該要求元が当該画像の閲覧権限を有していない場合、提供部424は当該画像の閲覧要求を拒否する。
オブジェクト検出部426は、取得部421により取得された画像内からオブジェクトを検出する。以下、本明細書ではオブジェクトとして人物を想定する。居住者はインターホン室内装置20の操作部24を操作して画像閲覧アプリケーションを起動させ、閲覧したい1乃至複数の設置場所を選択する。インターホン室内装置20の図示しない人物確認要求部は、選択された場所情報を含む人物確認要求を伝送路2を介して制御装置40に送信する。
制御装置40の図示しない人物確認要求受付部は、当該人物確認要求を受け付ける。オブジェクト検出部426は、当該人物確認要求に含まれる1乃至複数の場所に設置された撮像部で撮像された画像内において人物を探索する。提供部424は、指定された各場所に設置された撮像部で撮像された画像内の人物の有無を要求元のインターホン室内装置20に通知する。また提供部424は、指定された各場所に設置された撮像部で撮像された画像の内、人物が写っている画像を要求元のインターホン室内装置20で閲覧可能にする。インターホン室内装置20の制御部21は、各場所に設置された撮像部で撮像された画像内における人物の有無、または人物が写った画像を表示部25に表示させる。以上に説明した、人物確認要求および確認結果の表示は管理室インターホン装置60からも可能である。
図5は、人物確認処理の一例を示す図である。この例でも図4に示した例と同様に住戸1の玄関前に設置された撮像部13で撮像された画像内に人物5が含まれており、住戸3の玄関前に設置された撮像部13で撮像された画像内に木6が含まれている。住戸Nの居住者は通路に人にいるか否か確認するため、インターホン室内装置20の操作部24に対して、住戸1、住戸2、住戸3の玄関前の画像に人物か含まれるか否かを確認する人物確認を要求する操作を行う。インターホン室内装置20の図示しない人物確認要求部は、住戸1、住戸2、住戸3の識別情報を含む人物確認要求を制御装置40に送信する。
制御装置40のオブジェクト検出部426は、取得部421により取得された住戸1、住戸2、住戸3の各玄関前に設置された撮像部13により撮像された各画像内において人物を探索する。図5に示す例では住戸1の玄関前に設置された撮像部13により撮像された画像内から人物5が検出される。提供部424は人物5が写っている、住戸1の玄関前に設置された撮像部13により撮像された画像を要求元のインターホン室内装置20で閲覧可能にする。インターホン室内装置20の制御部21は、閲覧可能になった画像を表示部25に表示させる。これにより住戸Nの住居者は、住戸1の玄関前の通路に人物5がいることを確認できる。
図6は、オブジェクト検出部426による人物検出方法の一例を説明するための図である。図6に示す方法は、フレーム画像間の時間方向の差分を算出し、オブジェクトを検出する方法である。オブジェクト検出部426は、現在のフレーム画像と1単位過去のフレーム画像間の差分フレームを生成する。背景同士は打ち消し合うため背景領域の画素値は略ゼロになる。画素値が有意な値をとる領域がオブジェクト領域(図6では人物5)として検出される。差分フレームを連続して生成する場合において、オブジェクト領域が特定の方向に移動している場合、オブジェクトがその方向に移動していると推定できる。
図7は、オブジェクト検出部426による人物検出方法の別の例を説明するための図である。図7に示す方法は、人物の形状を学習して生成した人物識別器425aを用いて画像内をスキャンして人物を検出する方法である。この方法では差分フレームを生成する必要がないため、1枚のフレーム画像単体から人物を検出できる。
オブジェクト照合部427は、ロビーインターホン装置50の撮像部53で撮像された来訪者の画像と、マンション内のロビー以外の場所に設置された撮像部で撮像された画像を照合する。オブジェクト検出部426は、ロビーインターホン装置50の撮像部53で撮像された画像から人物オブジェクトを検出する。その後、オブジェクト検出部426は、マンション内のロビー以外の場所に設置された撮像部で撮像された各画像から人物オブジェクトを検出する。
オブジェクト照合部427は、ロビーインターホン装置50の撮像部53で撮像された画像から検出した人物オブジェクトと、ロビー以外の場所に設置された撮像部で撮像された各画像から検出された人物オブジェクトを照合する。オブジェクト照合部427は、ロビーで撮像された画像から検出された人物オブジェクトと一致する人物オブジェクトが含まれる、ロビー以外で撮像された画像を抽出する。ロビーで撮像された画像から検出された人物オブジェクトと一致する人物オブジェクトを含む画像が存在しない場合は、該当なしと判定する。
提供部424は、オブジェクト照合部427により抽出された画像を撮像した撮像部の設置位置に関する情報を来訪者の位置情報として、来訪先の住戸に設置されたインターホン室内装置20に通知する。また提供部424は、オブジェクト照合部427により抽出された画像を、来訪先の住戸に設置されたインターホン室内装置20で閲覧可能にしてもよい。当該インターホン室内装置20の制御部21は、来訪者の位置情報、または来訪者が写った画像を表示部25に表示させる。
図8は、来訪者の位置確認処理の一例を示す図である。この例ではオブジェクト照合部427は、ロビーで撮像された画像に含まれる人物オブジェクトと、住戸1の玄関前で撮像された画像に含まれる人物オブジェクトが一致していると判定している。通路で撮像された画像に含まれる人物オブジェクトは、ロビーで撮像された画像に含まれる人物オブジェクトと不一致と判定している。提供部424は、住戸1の玄関前に設置された撮像部13で撮像された画像を、来訪者の訪問先のインターホン室内装置20で閲覧可能にする。当該インターホン室内装置20の制御部21は、閲覧可能になった画像を表示部25に表示させる。これにより住戸Nの住居者は、来訪者が現在どの位置にいるかを確認できる。
図9は、オブジェクト照合部427による人物照合方法の一例を説明するための図である。オブジェクト照合部427は、画像内からオブジェクト検出部426により検出された衣服の色および/柄を比較することにより、2枚の画像から検出された人物が同一人物であるか否か判定する。図9に示す例ではロビーで撮像された画像から検出された人物5aは、ストライプの柄の衣服を着ている。ロビー以外で撮像された画像の内、ストライプの柄の衣服を着ている人物5aを同一人物と判定し、それ以外の柄(例えば、無地)の衣服を着ている人物5bを同一人物でないと判定する。なお、トップスとボトムスの色の組み合わせを比較して同一人物であるか否か判定してもよい。
またオブジェクト照合部427は、顔認識により同一人物であるか否かを判定してもよい。例えばロビーで撮像された人物の顔の特徴を抽出して顔識別器を生成し、当該顔識別器を用いて、ロビー以外で撮像された画像内を探索する。
オブジェクト照合部427は、ロビーで撮像された来訪者の画像に含まれる人物オブジェクトと、ドアインターホン装置10から中の住人を呼び出した際に撮像部13で撮像される来訪者の画像に含まれる人物オブジェクトとを照合する。両者が一致する場合、判定部428は、来訪者がロビーインターホン装置50で呼び出した住戸番号と、ドアインターホン装置10で呼び出した住戸番号が一致するか否か判定する。住戸番号が一致しない場合、通報部429は不審者として通報する。例えば管理室インターホン装置60に通報する。またゲートウェイ装置3を介して警備会社の警備システムに通報してもよい。
図10は、不審者通報処理の一例を示す図である。この例ではオブジェクト照合部427は、ロビーで撮像された画像に含まれる人物オブジェクトと、住戸1の玄関前で撮像された画像に含まれる人物オブジェクトが一致していると判定している。住戸3の玄関前で撮像された画像に含まれる人物オブジェクトは、ロビーで撮像された画像に含まれる人物オブジェクトと不一致と判定している。判定部428は、住戸1の部屋番号とロビーインターホン装置50で呼び出した住戸番号が一致するか否か判定する。一致しない場合、通報部429は管理室インターホン装置60に不審者検知を通報する。ロビーで呼び出した住戸番号と、実際に訪問した住戸の住戸番号が一致しない場合、何らかの悪意を持ってマンション内に侵入した可能性があり、管理人または警備会社に通報する。
制御装置40はゲートウェイ装置3を介して、指名手配犯や近隣マンションの不審者画像を蓄積するサーバ4と接続することができる。オブジェクト照合部427は、ロビーで撮像された来訪者の画像と、インターネット上のサーバ4に構築されている不審者画像を蓄積しているデータベース内の画像とを照合する。具体的にはロビーで撮像された画像内に含まれる人物の顔画像と、当該データベース内に登録されている複数の顔画像とを照合する。一致する顔画像がヒットした場合、通報部429はゲートウェイ装置3を介して警察が管理するインターネット上の通報システムに通報する。なお最寄りの警察署または交番に自動音声による電話を発信してもよい。また警察の通報システムに加えて又は代えて、管理室インターホン装置60に通報してもよい。
図11は、不審者通報処理の別の例を示す図である。この例ではオブジェクト照合部427は、ロビーで撮像された画像に含まれる人物の顔画像と、インターネット上のサーバ4に構築される不審者画像データベース4a内に登録された複数の顔画像と照合する。一致する顔画像がヒットした場合、通報部429は警察に通報する。これにより近隣の警察官に出動命令が出され、通報先のマンションに到着した警察官により、不審者に対して職務質問、注意、逮捕などの措置がとられる。
ロビーで撮像された来訪者の顔画像が不審者画像データベース4a内の顔画像とヒットした後、オブジェクト照合部427は当該顔画像と、マンション内のロビー以外の場所に設置された撮像部で撮像された画像を照合する。当該顔画像と一致する顔画像を含む画像が存在する場合、通報部429は当該画像を撮像した撮像部の設置位置に関する情報を不審者の位置情報として、警察の通報システム及び/又は管理室インターホン装置60に通知する。また通報部429は上記の不審者が写っている画像を、警察の通報システム及び/又は管理室インターホン装置60に送信する。
図12は、不審者通報処理のさらに別の例を示す図である。この例ではオブジェクト照合部427は、住戸1の玄関前で撮像された画像を、不審者画像データベース4aに登録された顔画像と一致する顔画像を含む画像と判定している。通報部429は住戸1の住戸番号及び/又は住戸1の玄関前で撮像された画像を、警察の通報システム及び/又は管理室インターホン装置60に送信する。
以上説明したように本実施の形態によれば、ドアインターホン装置10の撮像部13で撮像された画像も監視用途に使用することにより、マンション内を低コストできめ細かく監視することができる。即ち監視カメラを増設しなくても監視範囲を拡大できる。また管理人や居住者が、マンション内の撮像部で撮像された画像を閲覧可能とすることにより、利便性を向上させることができる。また居住者ごとに閲覧権限を設定することにより、利便性とプライバシー保護のバランスを図ることができる。またロビーで撮像された画像から検出された人物を、マンション内のロビー以外で撮像された画像内で探索することにより、マンション内における来訪者の位置を把握できる。またマンション内で撮像された画像に含まれる顔画像と、不審者画像データベース4aに登録された顔画像を照合することにより、不審者を検知できる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上記の説明において、オブジェクト検出部426により画像内から人物オブジェクトが検出された場合、制御部41の図示しないズーム指示部は、当該画像の送信元に当該人物オブジェクトのズーム撮影を指示してもよい。またオブジェクト検出機能をドアインターホン装置10の制御部11またはインターホン室内装置20の制御部21に搭載して、ドアインターホン装置10またはインターホン室内装置20がズーム撮影するか否か判断してもよい。
またドアインターホン装置10の撮像部13で画像を撮像する際、マイクで音声を集音し、音声付き画像を制御装置40に送信してもよい。この音声収集は撮像中、常時行ってもよいし、人感センサにより人物が感知されている間のみ行ってもよい。制御装置40の取得部421は、音声付き画像を取得し撮像画像保持部451に保存する。
また制御装置40の撮像画像処理部42は、ある住戸に設置されたドアインターホン装置10の人感センサ16で人物が感知され、その撮像部13で撮像が開始された後、人物の歩行速度をもとに当該人物が他の住戸(例えば隣の住戸)前を通過する時刻を推定する。推定した他の住戸前を通過する時刻をもとに、当該他の住戸に設置されたドアインターホン装置10に撮像開始時刻を通知する。これにより人物が当該他の住戸前を通過する際、当該住戸に設置された撮像部を稼働状態にしておくことができる。人感センサの反応漏れや遅延があっても当該撮像部を稼働状態にしておくことができる。
また上記の実施の形態ではドアインターホン装置10の撮像部13で撮像された画像を制御装置40に集めて、撮像画像保持部451に保存する例を説明した。この点、ドアインターホン装置10と対になっているインターホン室内装置20のそれぞれに、当該ドアインターホン装置10の撮像部13で撮像された画像を保存してもよい。このように各住戸に設置されたインターホン室内装置20に分散して画像を保存し、必要なときに制御装置40が各インターホン室内装置20に保存された画像を吸い上げる方式でもよい。
また上記の実施の形態では、マンション内で撮像された画像を収集管理する撮像画像処理部42を制御装置40の中に構築する例を説明した。この点、撮像画像処理部42を、ロビーインターホン装置50の中に構築してもよい。また管理室インターホン装置60の中に構築してもよい。また制御装置40、ロビーインターホン装置50及び管理室インターホン装置60から独立した処理装置を別途に設けてもよい。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
集合住宅の住戸内に設置されるインターホン親機(20)と通話可能な当該住戸玄関の外側に設置されるインターホン子機(10)の撮像部(13)で撮像された画像を、前記インターホン親機(20)および当該インターホン親機(20)が接続されている伝送路(2)を介して取得する取得部(421)と、
取得された画像の内、要求された画像を要求元に閲覧させる提供部(424)と、
を備えることを特徴とする処理装置(42)。
これにより集合住宅内で撮像された画像を収集し、閲覧可能にすることにより、集合住宅内を低コストできめ細かく監視できる。
[項目2]
前記取得部(421)は、前記集合住宅内の複数のインターホン子機(10)の撮像部(13)のそれぞれで撮像された画像を取得し、
前記提供部(424)は、複数の撮像部(13)で撮像された画像の内、要求元から指定されたインターホン子機(10)の撮像部(13)で撮像された画像を閲覧可能にすることを特徴とする項目1に記載の処理装置(42)。
これにより、所望の位置に設置された撮像部で撮像された画像を閲覧でき、利便性が向上する。
[項目3]
前記提供部(424)は、要求元から指定された場所に設置されたインターホン子機(10)が通話中である場合、当該インターホン子機(10)の撮像部(13)で撮像された画像の閲覧を拒否することを特徴とする項目2に記載の処理装置(42)。
これにより、来訪者と訪問先の居住者のプライバシーを保護することができる。
[項目4]
前記住戸内に設置されるインターホン親機(20)を含む要求元の閲覧権限を保持する閲覧権限保持部(452)と、
指定された場所に設置されたインターホン子機(10)の撮像部(13)で撮像された画像の閲覧権限を要求元が有しているか否か確認する閲覧権限確認部(425)と、をさらに備え、
前記提供部(424)は、前記要求元が前記画像の閲覧権限を有していない場合、前記要求元からの閲覧要求を拒否することを特徴とする項目1から3のいずれかに記載の処理装置(42)。
これにより、利便性とプライバシー保護のバランスを図ることができる。
[項目5]
集合住宅のロビーに設置されるロビーインターホン装置(50)と、当該集合住宅の住戸内に設置されるインターホン親機(20)との間の信号を中継する制御装置(40)であって、
前記住戸内に設置されるインターホン親機(20)と通話可能な当該住戸玄関の外側に設置されるインターホン子機(10)の撮像部(13)で撮像された画像を、前記インターホン親機(20)および当該インターホン親機(20)が接続されている伝送路(2)を介して取得する取得部(421)と、
取得された画像の内、要求された画像を要求元で閲覧可能にする提供部(424)と、
を備えることを特徴とする制御装置(40)。
これにより集合住宅内で撮像された画像を収集し、閲覧可能にすることにより、集合住宅内を低コストできめ細かく監視できる。
[項目6]
集合住宅のロビーに設置されるロビーインターホン装置(50)であって、
前記集合住宅の住戸内に設置されるインターホン親機(20)と通話可能な当該住戸玄関の外側に設置されるインターホン子機(10)の撮像部(13)で撮像された画像を、前記インターホン親機(20)および当該インターホン親機(20)が接続されている伝送路(2)を介して取得する取得部(421)と、
取得された画像の内、要求された画像を要求元で閲覧可能にする提供部(424)と、
を備えることを特徴とするロビーインターホン装置(50)。
これにより集合住宅内で撮像された画像を収集し、閲覧可能にすることにより、集合住宅内を低コストできめ細かく監視できる。
[項目7]
集合住宅の住戸内に設置されるインターホン親機(20)と、
前記インターホン親機(20)と通話可能な当該住戸玄関の外側に設置されるインターホン子機(10)と、
前記インターホン親機(20)と伝送路(2)を介して接続される処理装置(42)と、を備え、
前記処理装置(42)は、前記インターホン子機(10)の撮像部(13)で撮像された画像を、前記インターホン親機(20)および前記伝送路(2)を介して取得する取得部(421)と、
取得された画像の内、要求された画像を要求元で閲覧可能にする提供部(424)と、
を備えることを特徴とするインターホンシステム(1)。
これにより集合住宅内で撮像された画像を収集し、閲覧可能にすることにより、集合住宅内を低コストできめ細かく監視できる。
1 インターホンシステム、 2 伝送路、 3 ゲートウェイ装置、 4 サーバ、 4a 不審者画像データベース、 5 人物、 6 木、 10 ドアインターホン装置、 11 制御部、 12 通信部、 13 撮像部、 14 送受話部、 15 操作部、 16 人感センサ、 20 インターホン室内装置、 21 制御部、 211 識別情報付与部、 212 画像転送部、 213 画像閲覧要求部、 22 通信部、 23 送受話部、 24 操作部、 25 表示部、 30 監視カメラ、 40 制御装置、 41 制御部、 42 撮像画像処理部、 421 取得部、 422 閲覧要求受付部、 423 選択部、 424 提供部、 425 閲覧権限確認部、 426 オブジェクト検出部、 427 オブジェクト照合部、 428 判定部、 429 通報部、 43 中継処理部、 44 通信部、 45 記憶部、 451 撮像画像保持部、 452 閲覧権限保持部、 50 ロビーインターホン装置、 51 制御部、 52 通信部、 53 撮像部、 54 送受話部、 55 操作部、 56 人感センサ、 60 管理室インターホン装置、 61 制御部、 611 画像閲覧要求部、 62 通信部、 63 送受話部、 64 操作部、 65 表示部。

Claims (7)

  1. 集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を取得する取得部と、
    前記インターホン親機とは異なる閲覧要求元から要求されたとき、前記画像を前記閲覧要求元で閲覧可能にする提供部とを備え、
    前記提供部は、要求元から指定された場所に設置されたインターホン子機が通話中である場合、当該インターホン子機の撮像部で撮像された画像の閲覧を拒否する処理装置。
  2. 集合住宅のロビーに設置されるロビーインターホン装置と、当該集合住宅の住戸内に設置されるインターホン親機との間の信号を中継する制御装置であって、
    前記住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を取得する取得部と、
    前記インターホン親機とは異なる閲覧要求元から要求されたとき、前記画像を前記閲覧要求元で閲覧可能にする提供部とを備え、
    前記提供部は、要求元から指定された場所に設置されたインターホン子機が通話中である場合、当該インターホン子機の撮像部で撮像された画像の閲覧を拒否する制御装置。
  3. 集合住宅のロビーに設置されるロビーインターホン装置であって、
    前記集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を取得する取得部と、
    前記インターホン親機とは異なる閲覧要求元から要求されたとき、前記画像を前記閲覧要求元で閲覧可能にする提供部とを備え、
    前記提供部は、要求元から指定された場所に設置されたインターホン子機が通話中である場合、当該インターホン子機の撮像部で撮像された画像の閲覧を拒否するロビーインターホン装置。
  4. 集合住宅の住戸内に設置されるインターホン親機と、
    前記インターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機と、
    処理装置とを備え、
    前記処理装置は、前記インターホン子機の撮像部で撮像された画像を取得する取得部と、
    前記インターホン親機とは異なる閲覧要求元から要求されたとき、前記画像を前記閲覧要求元で閲覧可能にする提供部とを備え、
    前記提供部は、要求元から指定された場所に設置されたインターホン子機が通話中である場合、当該インターホン子機の撮像部で撮像された画像の閲覧を拒否するインターホンシステム。
  5. インターホン親機とは異なる画像閲覧端末の制御方法であって、
    集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像の要求を送信するステップと、
    前記送信ステップにおいて要求した、前記インターホン子機の撮像部で撮像された画像を受信するステップと、
    前記画像閲覧端末の表示部に、前記受信ステップにおいて受信した画像を表示するステップとを有し、
    前記インターホン子機が通話中であるとき、前記画像を表示しない制御方法。
  6. 請求項5に記載の制御方法をコンピュータで実行するためのプログラム。
  7. 集合住宅の住戸内に設置されるインターホン親機と通話可能な当該住戸玄関の外側に設置されるインターホン子機の撮像部で撮像された画像を、前記インターホン親機とは異なる閲覧要求元の端末から要求されたときに、前記閲覧要求元の端末で閲覧可能にする提供部を備え、
    前記提供部は、要求元から指定された場所に設置されたインターホン子機が通話中である場合、当該インターホン子機の撮像部で撮像された画像の閲覧を拒否する処理装置。
JP2019099218A 2019-05-28 2019-05-28 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム Active JP6741972B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019099218A JP6741972B2 (ja) 2019-05-28 2019-05-28 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019099218A JP6741972B2 (ja) 2019-05-28 2019-05-28 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015054862A Division JP6807548B2 (ja) 2015-03-18 2015-03-18 処理装置、制御方法、プログラム、及びインターホンシステム

Publications (2)

Publication Number Publication Date
JP2019146269A true JP2019146269A (ja) 2019-08-29
JP6741972B2 JP6741972B2 (ja) 2020-08-19

Family

ID=67772888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019099218A Active JP6741972B2 (ja) 2019-05-28 2019-05-28 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム

Country Status (1)

Country Link
JP (1) JP6741972B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274027A (ja) * 2002-03-19 2003-09-26 Aiphone Co Ltd 集合住宅用インターホンシステム
JP2008085850A (ja) * 2006-09-28 2008-04-10 Aiphone Co Ltd インターホンシステム
JP2011205569A (ja) * 2010-03-26 2011-10-13 Aiphone Co Ltd 集合住宅インターホンシステム
JP2016178363A (ja) * 2015-03-18 2016-10-06 パナソニックIpマネジメント株式会社 処理装置、制御装置、ロビーインターホン装置、及びインターホンシステム
JP2018074446A (ja) * 2016-10-31 2018-05-10 パナソニックIpマネジメント株式会社 集合住宅用インターホンシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274027A (ja) * 2002-03-19 2003-09-26 Aiphone Co Ltd 集合住宅用インターホンシステム
JP2008085850A (ja) * 2006-09-28 2008-04-10 Aiphone Co Ltd インターホンシステム
JP2011205569A (ja) * 2010-03-26 2011-10-13 Aiphone Co Ltd 集合住宅インターホンシステム
JP2016178363A (ja) * 2015-03-18 2016-10-06 パナソニックIpマネジメント株式会社 処理装置、制御装置、ロビーインターホン装置、及びインターホンシステム
JP2018074446A (ja) * 2016-10-31 2018-05-10 パナソニックIpマネジメント株式会社 集合住宅用インターホンシステム

Also Published As

Publication number Publication date
JP6741972B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6807548B2 (ja) 処理装置、制御方法、プログラム、及びインターホンシステム
US9802789B2 (en) Elevator security system
KR100897339B1 (ko) 공동주택의 통합 보안 시스템 및 그것의 운용방법
KR20100006302A (ko) 시큐리티 시스템 및 방법
JP2004013871A (ja) 防犯システム
JP2004054536A (ja) 広域監視システム
JP5636205B2 (ja) 画像記録制御装置及び監視システム
KR102467814B1 (ko) 인공지능 영상분석을 기반으로 하는 공동주택단지 통합 보안시스템
US20160044282A1 (en) Desk-side surveillance
JP6554409B2 (ja) 集合住宅用インターホンシステム
JP6741972B2 (ja) 処理装置、制御装置、制御方法、プログラム、ロビーインターホン装置、及びインターホンシステム
JP2002165211A (ja) 通信ネットワークを用いた防犯監視システム及びコンピュータに防犯監視システムの基本機能を実行させるためのプログラム、そのプログラムを記憶した記録媒体
KR102596695B1 (ko) 무인 매장 운영 시스템 및 무인 매장 관리 방법
KR20030012950A (ko) 인터넷-유,무선통신망을 이용한 원격 네트워크 출입통제시스템
KR102128546B1 (ko) 스마트 초인종 및 이를 이용한 방범 방법
KR101065134B1 (ko) 경비효율을 높인 로컬 경비시스템
JP2004104510A (ja) 監視システム
JP7442289B2 (ja) 集合住宅インターホンシステム
JP2008182346A (ja) 集合住宅インターホンシステム
KR101704466B1 (ko) 블랙박스 일체형 디지털도어록을 이용한 방범 관제시스템
JP7487888B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP2017092726A (ja) 複数の録画メモリを備えたインターホンシステム
CN210038916U (zh) 设有人脸识别的门禁终端及系统
JP2017215735A (ja) 振り込め詐欺防止システム及び振り込め詐欺防止方法
JP2009130522A (ja) 集合住宅インターホンシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R151 Written notification of patent or utility model registration

Ref document number: 6741972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151