JP2020102238A - 事象監視システム、事象監視方法及び事象監視プログラム - Google Patents

事象監視システム、事象監視方法及び事象監視プログラム Download PDF

Info

Publication number
JP2020102238A
JP2020102238A JP2020028048A JP2020028048A JP2020102238A JP 2020102238 A JP2020102238 A JP 2020102238A JP 2020028048 A JP2020028048 A JP 2020028048A JP 2020028048 A JP2020028048 A JP 2020028048A JP 2020102238 A JP2020102238 A JP 2020102238A
Authority
JP
Japan
Prior art keywords
event
camera
abnormal event
detected
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020028048A
Other languages
English (en)
Inventor
真宏 谷
Masahiro Tani
真宏 谷
有熊　威
Takeshi Arikuma
威 有熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2020102238A publication Critical patent/JP2020102238A/ja
Priority to JP2022104242A priority Critical patent/JP7420169B2/ja
Priority to JP2024001598A priority patent/JP2024038300A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/006—Alarm destination chosen according to type of event, e.g. in case of fire phone the fire service, in case of medical emergency phone the ambulance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】異常事象に対して適切な大きさで監視領域内の異常事象を捉える改善された監視システムを提供する。【解決手段】事象監視システム（映像監視システム１００）は、カメラと、センサとを有するシステムであって、センサデータに基づいて異常事象を検出するセンサデータ分析部と、センサデータ分析部に接続されて、検出された異常事象に基づいた種類に応じて、カメラの制御を変更するように制御するカメラ制御部と、を備える。【選択図】図１

Description

この発明は、監視システムに関する。より詳細には、この発明は、事象関連データを監視するためのシステムに関する。
映像監視システムなどである監視システムは、いくつかの領域での周期的な監視および事象の検出のために用いられてきた。例えばテロリズム、暴動、窃盗、喧嘩、火事、自動車事故等である異常事象は、そうした監視システムが捉えるものである。
しかしながら、監視カメラは、状況によっては、異常事象を十分にカバーする適切な大きさで監視領域内の異常事象を撮影することができない。従って、監視カメラによる撮影が事象の全貌のうちの一部のみであるため、警備員や警察官を含む利用者は、事件を適切に理解することができない。
そのため、必要とされていることおよびこの開示の目的は、異常事象に対して適切な大きさで監視領域内の異常事象を捉える、改善された監視システムを提供することである。また、他の望ましい特徴および特性は、添付の図面およびこの開示の背景とあわせて、後述の詳細な説明および添付の特許請求の範囲から明らかになることとなる。
本発明の一態様に係る事象監視システムは、カメラと、センサとを有するシステムであって、前記センサのセンサデータに基づいて異常事象を検出するセンサデータ分析部と、前記センサデータ分析部に接続されて、検出された前記異常事象に基づいた種類に応じて、前記カメラの制御を変更するように制御する駆動部とを備える。
本発明の一態様に係る事象監視方法は、センサのセンサデータに基づいて異常事象を検出し、検出された前記異常事象に基づいた種類に応じて、カメラの制御を変更する。
本発明の一態様に係る事象監視プログラムは、コンピュータに、センサのセンサデータに基づいて異常事象を検出する検出処理、および、出された前記異常事象に基づいた種類に応じて、カメラの制御を変更する制御処理を実行させる。
その別個の図にわたって同一または機能的に類似の要素は同様の参照符号とし、かつ、下記詳細な説明と共に明細書に組み込まれてその一部を形成する添付図面は、本実施形態に係る様々な実施形態の説明ならびに様々な原理および利点の説明に役立つ。
図１は、第１の実施形態による映像監視システムのブロック図を示す。 図２は、第１の実施形態による音に基づく撮像範囲調節（ズームアウト）の例を示す。 図３は、第１の実施形態による音に基づく撮像範囲調節（ズームインおよびカメラ方向の制御）の例を示す。 図４は、第１の実施形態による、音事象の種類に基づく撮像範囲調節（ズームアウト）の例を示す。 図５は、第１の実施形態による臭気センサおよび赤外線センサを用いた撮像範囲調節（ズームアウト）の例を示す。 図６は、第１の実施形態による事象関連データの監視方法のフローチャートを示す。 図７は、第１の実施形態による、検出事象全体の推定された大きさを地図に示すディスプレイを示す。 図８は、第１の実施形態による警報通知システムのためのルックアップテーブルを示す。 図９は、第２の実施形態によるシステムのブロック図を示す。 図１０は、第１および第２の実施形態による事象関連データ監視方法を実施するためのコンピュータシステムを示す。
当業者は、図面中の要素は簡単かつ明瞭に示されており、必ずしも縮尺通りに示されていないということがわかるであろう。例えば、模式図内の要素やフローチャートのステップの一部の寸法は、本実施形態の理解の向上に役立つように、他の要素に対して大きく示すことがある。
次の詳細な説明は、事実上の例にすぎず、この発明またはこの発明の用途および使用を限定することを意図していない。また、前述の発明の背景または以下の詳細な説明において提示するいずれの理論によっても制限する意図はない。以下の実施形態は、改善された事象関連データ監視方法を提示することを意図している。
（第１の実施形態） 図１は、本実施形態による映像監視システム１００のブロック図を示している。映像監視システム１００は、センサデータ分析部１０４、事象サイズ推定部１０８およびカメラ制御部１１０を含む。センサデータ分析部１０４は、検知装置が捉えたセンサデータ１０２を受信して、監視領域内で、検出時間を含む関連情報を伴う異常事象を検出する。事象サイズ推定部１０８は、センサデータ分析部１０４に接続され、時系列の検出事象と、検知装置情報データベース１０６内に記憶される装置位置を含む検知装置情報とを用いて検出事象全体の大きさを推定する。カメラ制御部１１０は、検出事象全体の推定された大きさに基づいて、監視カメラを制御（例えば、ズームイン、ズームアウト、カメラ方向を変更）する。あるいは、ディスプレイ１１２が、検出事象全体の推定された大きさに基づく情報を示してもよい。また、警報通知システム１１４が、検出事象全体の推定された大きさに基づいて所定の宛先に警報を送信してもよい。ある例では、システム１００は、次の所定の装置、カメラ制御部１１０、ディスプレイ１１２および警報通知システム１１４のうちの１つまたは複数を含みうる。
事象サイズ推定部１０８が、検出事象全体の適切な大きさを有利に推定する。その後駆動部が、状況の理解を容易にするために所定の検知装置を駆動する。一例では、監視カメラが事象の全貌を捉えて、警備員に対して速やかな状況の理解をし易くする。あるいは、ディスプレイ装置が検出事象全体の推定された大きさを地図上に示して、警備員に対して速やかな状況の理解を助ける。利用者は、所定の状況の検出に応じて所定の方式で駆動するように、所定の装置をカスタマイズしてよい。
また、検出事象全体の大きさの推定は、センサデータ分析部１０４により検出された事象の種類に基づく。例えば検出事象の種類が爆発であれば、検出事象全体の大きさは、大きいと考えられる。そのため駆動部は、検出事象全体の大きさが大きいことを考慮して所定の装置を駆動する。従って、監視カメラまたは他の装置は、自動的に事件（異常事象）の大きさに基づいて調節されて事象の全貌を捉えるため、警備員や警察官を含む利用者は、適切に事件を理解することができる。本実施形態は、利用者に対して、速やかに適切に事件に対処することができるようにする。利用者は、事象の種類に応じて事象の大きさをカスタマイズしてもよい。利用者はまた、事象後に適切なビデオ映像を用いて事件を調査することもできる。
図２は、本実施形態による音に基づく撮像範囲調節（ズームアウト）２００を示す。タイムライン２０２は、撮像範囲調節２００に関する４つのステップ（ＡからＤ）を示す。ステップＡでは、カメラおよびマイクロホンアレイ２０８の視野（Field of View）２０６が、初期撮像範囲２０４に設定されている。ステップＢでは、カメラおよびマイクロホンアレイ２０８が、到達方向２１２からのガラスの破壊２１０の音を捉える。ステップＣでは、カメラおよびマイクロホンアレイ２０８が、到達方向２１６からの叫び２１４の音をさらに捉える。ステップＤでは、事象サイズ推定部１０８が、カメラおよびマイクロホンアレイ２０８におけるカメラ方向内と、所定の時間幅内とにおいて、視野の左右双方の最大角を計算することによって事象の大きさを推定する。その後、カメラ制御部１１０が、カメラの現在の設定を該最大角ならびにカメラおよびマイクロホンアレイ２０８の視野２０６で構成される事象の推定された大きさと比較することによって、カメラおよびマイクロホンアレイ２０８を調節撮像範囲２１８にズームアウトさせるようにカメラおよびマイクロホンアレイ２０８のカメラを制御する。
図３は、音に基づく撮像範囲調節（ズームインおよびカメラ方向の制御）３００を示す。タイムライン３０２は、撮像範囲調節３００に関する３つのステップ（ＡからＣ）を示す。ステップＡでは、カメラおよびマイクロホンアレイ３０８の視野３０６が、初期調節範囲３０４に設定されている。ステップＢでは、カメラおよびマイクロホンアレイ３０８が、到達方向３１２からの喧嘩３１０の音を捉える。ステップＣでは、事象サイズ推定部１０８が、カメラおよびマイクロホンアレイ３０８の方向内と、所定の時間幅内とにおいて、視野の左右双方の最大角を計算することによって事象の大きさを推定する。その後、カメラ制御部１１０が、カメラの現在の設定を該最大角で構成される事象の推定された大きさと比較することによって、カメラおよびマイクロホンアレイ３０８に対してカメラの方向および視野の制御を引き起こして調節撮像範囲３１４に回転およびズームインするように、カメラおよびマイクロホンアレイ３０８を制御する。
図４は、音事象の種類に基づく撮像範囲調節（ズームアウト）４００を示す。タイムライン４０２は、撮像範囲調節４００に関する３つのステップ（ＡからＣ）を示す。ステップＡでは、カメラおよびマイクロホンアレイ４０８の視野４０６が、初期調節範囲４０４に設定されている。ステップＢでは、カメラおよびマイクロホンアレイ４０８が、到達方向４１２からの爆発４１０の音を捉える。ステップＣでは、事象サイズ推定部１０８が、事象の種類で事象の大きさを推定する（例えば、センサデータ分析部１０４が、爆発４１０のような大規模な事象を検出するとき、事象サイズ推定部１０８が、事象の大きさは「大」であると決定する）。その後、カメラ制御部１１０が、受信した事象の大きさに応じて監視カメラ４０８を制御する。大きさが「大」である場合、カメラ制御部１１０が、カメラを所定の設定（最も幅広の設定）にズームアウトする。その後、カメラ制御部１１０が、調節撮像範囲４１４にズームアウトするようにカメラ４０８の方向および視野を制御する。センサデータ分析部１０４が、窃盗のような小規模の事象を検出するとき、事象サイズ推定部１０８は、事象の大きさは「小」であると決定することが可能である。また、センサデータ分析部１０４が、火事のような中規模の事象を検出するとき、事象サイズ推定部１０８は、事象の大きさは「中」であると決定することが可能である。
図５は、臭気センサおよび赤外線センサを用いた撮像範囲調節（ズームアウト）５００を示す。タイムライン５０２は、撮像範囲調節５００に関する４つのステップ（ＡからＤ）を示す。ステップＡでは、カメラおよびマイクロホンアレイ５１２の視野５０８が、初期調節範囲５１０に設定されている。センサデータ分析部１０４が、例えば臭気センサ５０４および赤外線センサ５０６などである任意の検知装置が捉えたセンサデータを受信して、異常事象を検出しうる。
ステップＢでは、異臭５１４が、検出時間内において臭気センサ５０４で検出される。ステップＣでは、異常な人だかり５１６が赤外線センサ５０６で検出される。ステップＤでは、事象サイズ推定部１０８が、センサの位置情報を用いて、カメラ方向内と、所定の時間幅内とにおいて、視野の左右双方の最大角を計算することによって事象の大きさを推定する。その後、カメラ制御部１１０が、カメラの現在の設定を、該最大角で構成される事象の推定された大きさと比較することによって監視カメラを制御する。カメラ制御部１１０が、その後、調節撮像範囲５１８にズームアウトするように、カメラおよびマイクロホンアレイ５１２を制御する。
図６は、本実施形態による事象関連データ監視方法のフローチャート６００を示す。センサデータ分析部が、センサデータに基づいて事象を検出する（Ｓ６０２）。該検出事象の事象関連データに基づいて、検出事象全体の大きさを推定する（Ｓ６０４）。その後、該検出事象全体の推定された大きさに基づいて所定の装置を駆動する（Ｓ６０６）。
図７は、本実施形態による、検出事象全体の推定された大きさを地図上に示すディスプレイ７００を示す。本実施形態においては、ガラスの破壊７０２の音が、例えばマイクロホンであるセンサによって検出される。次に、人だかり７０４が、例えば赤外線センサであるセンサによって検出される。その後、喧嘩７０６の音が、例えばマイクロホンであるセンサによって検出される。これら事象関連データに基づいて、検出事象全体７０８の地理的な大きさが、事象サイズ推定部１０８によって推定される。ディスプレイ７００が、検出事象全体の推定された大きさを地図上に示すように駆動される。
図８は、本実施形態による警報通知システム１１４のためのルックアップテーブル８００を示す。本実施形態では、一事象または複数の事象を１つ又は複数のセンサによって検出する。該センサからの事象関連データに基づいて、検出事象全体の大きさが、事象サイズ推定部によって推定される。駆動部が、警報通知システム１１４が検出事象全体の推定された大きさに基づいて通知先を選択するように、警報通知システム１１４を駆動する。例えば、検出事象全体の推定された大きさが「小」であれば、警報通知システム１１４は、ルックアップテーブル８００を参照して、通知先として「警察」を選択する。その後、警報通知システム１１４が「警察」に警報を送信する。あるいは、検出事象全体の推定された大きさが「中」または「大」であれば、警報通知システム１１４が、ルックアップテーブル８００に基づいて通知先として「消防署」または「テロ対策行動グループ」を選択する。利用者は、ルックアップテーブル８００で、通知先と検出事象全体の大きさとをカスタマイズすることができる。
（第２の実施形態） 図９は、第２の実施形態によるシステム８５０のブロック図を示す。システム８５０は、センサデータ分析部８６０、事象分析部８７０および駆動部８８０を含む。センサデータ分析部８６０は、センサデータに基づいて事象を検出する。事象分析部８７０は、センサデータ分析部８６０に接続されて、センサデータ分析部８６０からの検出された事象の事象関連データに基づいて該検出事象全体の大きさを推定する。駆動部８８０は、センサデータ分析部８６０および事象分析部８７０に接続されて、検出事象全体の推定された大きさに基づいて所定の装置を駆動する。
センサデータ分析部８６０は、第１の実施形態のセンサデータ分析部１０４を含む。事象分析部８７０および駆動部８８０は、第１の実施形態の事象サイズ推定部１０８を含む。
上記した構成により、第２の実施形態によれば、異常事象に適した大きさで監視領域内の異常事象を捉えることができる改善されたシステムを提供することができる。
記載される実施形態の方法およびシステムは、図１０に概略的に示される、コンピュータシステム９００上で実施することができる。それは、コンピュータシステム９００内で実行され、実施形態の方法を行うようにコンピュータシステム９００を指示するコンピュータプログラムなどであるソフトウェアとして実施されうる。
続く記載の一部は、コンピュータメモリ内のデータの演算のアルゴリズムおよび機能的もしくは記号的な表現で明確にまたは暗に提示される。これらアルゴリズムの記述および機能的または記号的な表現は、他の当業者に対して、データ処理技術の当業者による作業の実体を最も効果的に伝えるためにデータ処理技術の当業者によって用いられる手段である。アルゴリズムは、ここでは、概して所望の結果を導く首尾一貫した一連のステップであることが考えられている。該ステップは、記憶され、送信され、組み合わせられ、比較され、その他操作されることが可能である、例えば電気的、磁気的または光学的信号である物理量の物理的操作を要求する。
特別に別の方法で示すものでなく、以下から明らかであれば、本明細書を通して、例えば「スキャンする（scanning）」、「計算する（calculating）」、「判断する（determining）」、「置換する（replacing）」、「生成する（generating）」、「初期化する（initializing）」、「出力する（outputting）」等の用語を用いる議論は、コンピュータシステム、または、コンピュータシステム内の物理量として表現されるデータを操作し、かつ、同様にコンピュータシステム内または他の情報記憶部内の物理量として表現される他のデータに変形する類似の電子デバイス、伝達もしくは表示装置の動作および処理を指すことが認識されるであろう。
本明細書はまた、方法の動作を実行する装置を開示する。そうした装置は、要求される目的に対して特別に構成されてよく、または、コンピュータに記憶されたコンピュータプログラムにより選択的に有効にされるか、または再構成される、汎用コンピュータまたは他の装置を含んでよい。本明細書に提示されるアルゴリズムおよび表示は、本質的に何らかの特定のコンピュータまたは他の装置に関するものではない。本明細書における教示に応じて、様々な汎用機械がプログラムとともに用いられてよい。あるいは、要求される方法のステップを実行するためにより特化した装置の構成が適切でありうる。従来の汎用コンピュータの構造は、以下の記載から明らかになることとなる。
さらに、本明細書はまた、コンピュータプログラムを暗に開示しており、本明細書で説明する方法の個々のステップは、コンピュータコードによって具体化されうるということが当業者には明らかであるだろう。該コンピュータプログラムは、何らかの特定のプログラミング言語およびその実行に限定されることを意図していない。本明細書に含まれる開示の教示を実施するために種々のプログラミング言語およびその符号化を用いることができるということが認識されるであろう。また、該コンピュータプログラムは、何らかの特定の制御フローに限定されることを意図していない。この発明の精神または範囲から逸脱することなく様々な制御フローを用いることが可能な、他の異なったコンピュータプログラムが多数存在する。
また、コンピュータプログラムの１つまたは複数のステップは、順次でなく並行して実行されてよい。そうしたコンピュータプログラムは、任意のコンピュータ読み取り可能な媒体に記憶されうる。コンピュータ読み取り可能な媒体は、汎用コンピュータとのインタフェースに好適な、例えば磁気もしくは光ディスク、メモリチップまたは他の記憶装置である記憶装置を含みうる。コンピュータ読み取り可能な媒体はまた、例えばインターネットシステムなどの有線媒体またはＧＳＭ（グローバルシステムフォーモバイルコミュニケーションズ）の携帯電話システムなどの無線媒体を含みうる。そうした汎用コンピュータ上でロードおよび実行されるとき、コンピュータプログラムが、事実上、結果として好ましい方法のステップを実施する装置になる。
コンピュータシステム９００は、コンピュータモジュール９０２、キーボード９０４およびマウス９０６などの入力モジュールならびにディスプレイ９０８およびプリンタ９１０などの複数の出力装置を含む。
コンピュータモジュール９０２は、好適なトランシーバ装置９１４を介してコンピュータネットワーク９１２に接続され、例えばインターネットまたは、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）などの他のネットワークシステムにアクセスすることが可能にされる。
例えば、コンピュータモジュール９０２は、プロセッサ９１８、ランダムアクセスメモリ（ＲＡＭ）９２０およびリードオンリメモリ（ＲＯＭ）９２２を含む。コンピュータモジュール９０２はまた、いくつかの入力／出力（Ｉ／Ｏ）インタフェースを含み、例えばディスプレイ９０８とのＩ／Ｏインタフェース９２４およびキーボード９０４とのＩ／Ｏインタフェース９２６である。
コンピュータモジュール９０２の構成要素は典型的に、相互接続バス９２８経由で、関連分野の当業者に公知の方式で通信する。
アプリケーションプログラムはコンピュータシステム９００の利用者に典型的に供給されて、ＣＤ（コンパクトディスク）−ＲＯＭまたはフラッシュメモリキャリアなどのデータ記憶媒体上で符号化され、データ記憶装置９３０の対応するデータ記憶媒体ドライブを利用して読み取られる。アプリケーションプログラムは、プロセッサ９１８により読み出されてその実行が制御される。プログラムデータの中間記憶装置は、ＲＡＭ９２０を用いて達成されうる。
プロセッサ９１８は、図６で主張した方法を実行する指示セットを実行することができる。プロセッサ９１８は、図１に示す検知装置が捉えたセンサデータ１０２を受信するように構成される。センサデータ１０２は、例えば遠隔監視領域に配置されているセンサ９５０が受信しうる。プロセッサ９１８は、事象および事象関連データを検出するためにセンサデータ１０２を分析するように構成される。プロセッサ９１８は、検出された事象の事象関連データに基づいて、検出事象全体の大きさを推定するように構成される。プロセッサ９１８は、１つまたは複数の駆動部９５４が例えばカメラ、ディスプレイおよび警報通知システムである１つまたは複数の所定の装置を駆動することができるように、駆動データ９５２を１つまたは複数の駆動部９５４に送信する。検出事象全体の推定された大きさに基づいて、１つまたは複数の所定の装置が駆動される。
この発明の前述の詳細な説明において実施形態を提示したが、膨大な数のバリエーションが存在することを認識されたい。例えば、当業者には、本明細書の教示から、本技術はまた他の種類の化学センサの任意の部分に適用されうるということがわかるであろう。
上記実施形態はほんの例であり、どのような方法であっても、この発明の範囲、適用性、動作または構成を限定することを意図していないことをさらに認識されたい。むしろ、前述の詳細な説明は、当業者に対して、この発明の実施形態を実施するための簡便な道筋を提供することとなる。様々な変更が、添付の特許請求の範囲に記載されるこの発明の範囲から逸脱することなく、ある実施形態において説明した要素の機能ならびに配置および動作方法に対してなされてよいということが理解される。
上記の実施形態およびその変形例の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
センサデータ分析部により、センサデータに基づいて事象を検出する処理と、
前記検出された事象の事象関連データに基づいて該検出事象全体の大きさを推定する処理と、
前記検出事象全体の該推定された大きさに基づいて所定の装置を駆動する処理とを、
コンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的記録媒体。
この出願は、２０１５年２月１７日に出願されたシンガポール出願１０２０１５０１２２２Ｘを基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、例えば、ルーチンの監視のためにいくつかの領域において用いられる映像監視システムに適用することが可能である。
１００ 映像監視システム
１０２ センサデータ
１０４ センサデータ分析部
１０６ 検知装置情報データベース
１０８ 事象サイズ推定部
１１０ カメラ制御部
１１２ ディスプレイ
１１４ 警報通知システム
２００ 撮像範囲調節（ズームアウト）
２０２ タイムライン
２０４ 初期撮像範囲
２０６ 視野
２０８ カメラおよびマイクロホンアレイ
２１０ ガラスの破壊
２１２ 到達方向
２１４ 叫び
２１６ 到達方向
２１８ 調節撮像範囲
３００ 音に基づく撮像範囲調節（ズームインおよびカメラ方向制御）
３０２ タイムライン
３０４ 初期調節範囲
３０６ 視野
３０８ カメラおよびマイクロホンアレイ
３１０ 喧嘩
３１２ 到達方向
３１４ 調節撮像範囲
４００ 音事象の種類に基づく撮像範囲調節（ズームアウト）
４０２ タイムライン
４０４ 初期調節範囲
４０６ 視野
４０８ カメラおよびマイクロホンアレイ
４１０ 爆発
４１２ 到達方向
４１４ 調節撮像範囲
５００ 臭気センサおよび赤外線センサを用いた撮像範囲調節（ズームアウト）
５０２ タイムライン
５０４ 臭気センサ
５０６ 赤外線センサ
５０８ 視野
５１０ 初期調節範囲
５１２ カメラおよびマイクロホンアレイ
５１４ 異臭
５１６ 異常な人だかり
５１８ 調節撮像範囲
６００ 事象関連データを監視するための方法のフローチャート
６０２ 事象検出ステップ
６０４ 検出事象全体の大きさを推定するステップ
６０６ 推定された事象の大きさに基づいて所定の装置を駆動するステップ
７００ ディスプレイ
７０２ ガラスの破壊
７０４ 人だかり
７０６ 喧嘩
７０８ 検出事象全体の大きさ
８００ ルックアップテーブル
９００ コンピュータシステム
９０２ コンピュータモジュール
９０４ キーボード
９０６ マウス
９０８ ディスプレイ
９１０ プリンタ
９１２ コンピュータネットワーク
９１４ 好適なトランシーバ装置
９１８ プロセッサ
９２０ ランダムアクセスメモリ（ＲＡＭ）
９２２ リードオンリメモリ（ＲＯＭ）
９２４ ディスプレイとのＩ／Ｏインタフェース
９２６ キーボードとのＩ／Ｏインタフェース
９２８ 相互接続バス
９３０ データ記憶装置
９５０ センサ
９５２ 駆動データ
９５４ 駆動部

Claims (12)

  1. カメラと、センサとを有するシステムであって、
    前記センサのセンサデータに基づいて異常事象を検出するセンサデータ分析部と、
    前記センサデータ分析部に接続されて、検出された前記異常事象に基づいた種類に応じて、前記カメラの制御を変更するように制御する駆動部と
    を備える、事象監視システム。
  2. 前記駆動部は、前記異常事象の少なくとも一部が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項１に記載の事象監視システム。
  3. 前記駆動部は、前記異常事象の全体が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項１に記載の事象監視システム。
  4. 前記センサデータ分析部に接続されて、前記センサデータ分析部からの検出された前記異常事象の事象関連データに基づいて、検出された前記異常事象全体の地理的な大きさを推定する事象分析部をさらに備え、
    前記駆動部は、前記事象分析部にさらに接続されて、前記事象関連データおよび検出された前記異常事象全体の前記推定された地理的な大きさに基づいて、前記カメラの撮像範囲を調節するように前記カメラを制御する、請求項１から請求項３のいずれか一項に記載の事象監視システム。
  5. センサのセンサデータに基づいて異常事象を検出し、
    検出された前記異常事象に基づいた種類に応じて、前記カメラの制御を変更するように制御する、事象監視方法。
  6. 前記異常事象の少なくとも一部が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項５に記載の事象監視方法。
  7. 前記異常事象の全体が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項５に記載の事象監視方法。
  8. 検出された前記異常事象の事象関連データに基づいて、検出された前記異常事象全体の地理的な大きさを推定し、
    前記事象関連データおよび検出された前記事象全体の前記推定された地理的な大きさに基づいて、前記カメラの撮像範囲を調節するように前記カメラを制御する、請求項５から請求項７のいずれか一項に記載の事象監視方法。
  9. コンピュータに、
    センサのセンサデータに基づいて異常事象を検出する検出処理、および、
    検出された前記異常事象に基づいた種類に応じて、カメラの制御を変更する駆動処理
    を実行させるための事象監視プログラム。
  10. 前記駆動処理は、前記異常事象の少なくとも一部が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項９記載の事象監視プログラム。
  11. 前記駆動処理は、前記異常事象の全体が前記カメラの視野に含まれるように前記カメラの撮像範囲を調節する
    請求項９記載の事象監視プログラム。
  12. 検出された前記異常事象の事象関連データに基づいて、検出された前記異常事象全体の地理的な大きさを推定する事象分析処理をさらにコンピュータに実行させ、
    前記駆動処理は、前記事象関連データおよび検出された前記異常事象全体の前記推定された地理的な大きさに基づいて、前記カメラの撮像範囲を調節するように前記カメラを制御する、請求項９から請求項１１のいずれか一項に記載の事象監視プログラム。
JP2020028048A 2015-02-17 2020-02-21 事象監視システム、事象監視方法及び事象監視プログラム Pending JP2020102238A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022104242A JP7420169B2 (ja) 2015-02-17 2022-06-29 監視システム、監視方法及びプログラム
JP2024001598A JP2024038300A (ja) 2015-02-17 2024-01-10 カメラの撮影範囲を制御するためのプログラム、方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10201501222XA SG10201501222XA (en) 2015-02-17 2015-02-17 System for monitoring event related data
SG10201501222X 2015-02-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017538442A Division JP6766812B2 (ja) 2015-02-17 2016-02-16 事象関連データ監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022104242A Division JP7420169B2 (ja) 2015-02-17 2022-06-29 監視システム、監視方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2020102238A true JP2020102238A (ja) 2020-07-02

Family

ID=56692171

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017538442A Active JP6766812B2 (ja) 2015-02-17 2016-02-16 事象関連データ監視システム
JP2020028048A Pending JP2020102238A (ja) 2015-02-17 2020-02-21 事象監視システム、事象監視方法及び事象監視プログラム
JP2022104242A Active JP7420169B2 (ja) 2015-02-17 2022-06-29 監視システム、監視方法及びプログラム
JP2024001598A Pending JP2024038300A (ja) 2015-02-17 2024-01-10 カメラの撮影範囲を制御するためのプログラム、方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017538442A Active JP6766812B2 (ja) 2015-02-17 2016-02-16 事象関連データ監視システム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022104242A Active JP7420169B2 (ja) 2015-02-17 2022-06-29 監視システム、監視方法及びプログラム
JP2024001598A Pending JP2024038300A (ja) 2015-02-17 2024-01-10 カメラの撮影範囲を制御するためのプログラム、方法及び装置

Country Status (4)

Country Link
US (5) US20180276983A1 (ja)
JP (4) JP6766812B2 (ja)
SG (2) SG10201501222XA (ja)
WO (1) WO2016132734A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106568419A (zh) * 2016-10-31 2017-04-19 易瓦特科技股份公司 一种发送图像的方法和无人机
CN106571965B (zh) * 2016-11-07 2020-01-17 成都科曦科技有限公司 一种用于酒店设备故障自检、互检反馈的监测展示系统及方法
CN107274612A (zh) * 2017-07-31 2017-10-20 杨兴 一种基于云端数据库的报警系统及其实现方法
US11328163B2 (en) 2017-10-25 2022-05-10 Hitachi, Ltd. Methods and apparatus for automated surveillance systems
JP7106327B2 (ja) * 2018-03-30 2022-07-26 セコム株式会社 管制装置
US11587415B2 (en) * 2019-01-31 2023-02-21 Nec Corporation Data stream allocation method, system and program
US10909839B1 (en) 2019-09-23 2021-02-02 Toyota Connected North America, Inc. System and method for optimizing rescue efforts
DE102020204053A1 (de) * 2020-03-28 2021-09-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Behandlung einer Anomalie von Daten, insbesondere bei einem Kraftfahrzeug
US11760169B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Particulate control systems and methods for olfaction sensors
US11636870B2 (en) 2020-08-20 2023-04-25 Denso International America, Inc. Smoking cessation systems and methods
US11932080B2 (en) 2020-08-20 2024-03-19 Denso International America, Inc. Diagnostic and recirculation control systems and methods
US11828210B2 (en) 2020-08-20 2023-11-28 Denso International America, Inc. Diagnostic systems and methods of vehicles using olfaction
US11881093B2 (en) 2020-08-20 2024-01-23 Denso International America, Inc. Systems and methods for identifying smoking in vehicles
US11813926B2 (en) 2020-08-20 2023-11-14 Denso International America, Inc. Binding agent and olfaction sensor
US11760170B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Olfaction sensor preservation systems and methods
CN113191278B (zh) * 2021-05-06 2024-02-20 浙江工业大学 基于视频和声音数据融合的打架行为检测方法
CN113409536B (zh) * 2021-07-29 2022-11-29 重庆予胜远升网络科技有限公司 基于机器视觉的电力设备潜在火警识别系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083243A (ja) * 1998-09-04 2000-03-21 Canon Inc 撮像装置、撮像システム、撮像制御方法、及び記憶媒体
JP2000092368A (ja) * 1998-09-09 2000-03-31 Canon Inc カメラ制御装置及びコンピュータ読み取り可能な記憶媒体
JP2005130033A (ja) * 2003-10-21 2005-05-19 Ipsquare Inc 監視システム、制御装置、及び撮像装置
JP3113937U (ja) * 2005-06-22 2005-09-22 有限会社Ｐａｎａｓｏ 監視ライブカメラ・セキュリティシステム
JP2006186739A (ja) * 2004-12-28 2006-07-13 Konica Minolta Holdings Inc 撮像装置
JP2009290501A (ja) * 2008-05-29 2009-12-10 Funai Electric Co Ltd 監視カメラ及び監視システム
JP2011217055A (ja) * 2010-03-31 2011-10-27 Sogo Keibi Hosho Co Ltd 画像記録制御装置及び監視システム
WO2014174737A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2615270B2 (ja) * 1991-04-03 1997-05-28 ホーチキ株式会社 火災監視装置
JPH07274150A (ja) * 1994-03-28 1995-10-20 Kyocera Corp 遠隔カメラ操作機能を有するテレビ会議装置
US6970183B1 (en) * 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
JP2002158801A (ja) * 2000-11-21 2002-05-31 Toshiba Corp 災害情報受信処理装置
JP3958026B2 (ja) 2001-04-03 2007-08-15 株式会社東芝 防災情報システム及び防災情報提供プログラム
JP2003168179A (ja) 2001-12-03 2003-06-13 Foundation Of River & Basin Integrated Communications Japan リアルタイムハザードマップシステム
JP3762362B2 (ja) 2001-12-13 2006-04-05 アジア航測株式会社 土砂災害危機管理システム
JP2003208682A (ja) 2002-01-15 2003-07-25 Sohatsu System Kenkyusho:Kk 道路トンネル情報提供装置
JP2003256964A (ja) 2002-02-27 2003-09-12 Nef:Kk 危険エリア自動設定装置
JP2003284053A (ja) * 2002-03-27 2003-10-03 Minolta Co Ltd 監視カメラシステムおよび監視カメラ制御装置
JP2004078393A (ja) * 2002-08-13 2004-03-11 Nec Fielding Ltd 交通事故緊急対応システムおよび交通事故緊急対応プログラム
US7389144B1 (en) * 2003-11-07 2008-06-17 Flint Hills Scientific Llc Medical device failure detection and warning system
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
GB0507869D0 (en) 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
JP4882276B2 (ja) 2005-05-23 2012-02-22 富士通株式会社 画像配信方法、及び画像配信装置
JP2007135000A (ja) 2005-11-10 2007-05-31 Nippon Hoso Kyokai <Nhk> 災害情報配信装置及び端末装置
JP2008097222A (ja) * 2006-10-10 2008-04-24 Yamaguchi Univ カメラを用いた火災検出装置、火災検知方法、火災報知システム、及び遠隔火災監視システム
US8558883B2 (en) 2007-07-27 2013-10-15 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
US8671737B2 (en) * 2007-09-24 2014-03-18 Freddie R. Brasfield Target odor detection and security apparatus
KR101403223B1 (ko) * 2007-09-28 2014-06-03 삼성전자주식회사 무선 센서 네트워크를 통한 카메라 제어 방법 및 이를 위한시스템
US8260006B1 (en) 2008-03-14 2012-09-04 Google Inc. System and method of aligning images
US7872948B2 (en) * 2008-04-14 2011-01-18 The Boeing Company Acoustic wide area air surveillance system
US9786164B2 (en) * 2008-05-23 2017-10-10 Leverage Information Systems, Inc. Automated camera response in a surveillance architecture
JP2009288843A (ja) 2008-05-27 2009-12-10 Seiko Epson Corp サーバシステム、避難誘導システム及び避難通知方法
US9111237B2 (en) 2008-12-01 2015-08-18 International Business Machines Corporation Evaluating an effectiveness of a monitoring system
JP5189536B2 (ja) * 2009-03-26 2013-04-24 池上通信機株式会社 監視装置
JP5271227B2 (ja) * 2009-09-30 2013-08-21 富士フイルム株式会社 群衆監視装置および方法ならびにプログラム
US8619643B2 (en) 2010-03-24 2013-12-31 Skyhook Wireless, Inc. System and method for estimating the probability of movement of access points in a WLAN-based positioning system
JP2012043392A (ja) * 2010-08-17 2012-03-01 Takeshi Isogai デジタルテレビホームセキュリティーシステムユニット
JP2012203595A (ja) 2011-03-25 2012-10-22 Yasuaki Iwai ナビゲーション装置、誘導方法、誘導プログラム、防災システム
JP5940853B2 (ja) 2012-03-23 2016-06-29 株式会社日立国際電気 火災検知システム及び火災検知方法
US9135808B2 (en) 2012-12-18 2015-09-15 James Vincent Petrizzi Systems, devices and methods to communicate public safety information
US9841492B2 (en) * 2013-02-25 2017-12-12 Quake Global, Inc. Ceiling-mounted RFID-enabled tracking
US9035763B2 (en) 2013-03-14 2015-05-19 Comcast Cable Communications, Llc Processing alarm signals
KR20150066714A (ko) 2013-12-09 2015-06-17 삼성전자주식회사 일과 관리 방법 및 장치
SG10201407100PA (en) 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
US9781348B1 (en) 2014-11-03 2017-10-03 Alarm.Com Incorporated Automatic orientation of a camera in response to sensor data
CN111062304A (zh) 2016-02-26 2020-04-24 亚马逊技术有限公司 共享来自音频/视频记录和通信装置的视频录像

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083243A (ja) * 1998-09-04 2000-03-21 Canon Inc 撮像装置、撮像システム、撮像制御方法、及び記憶媒体
JP2000092368A (ja) * 1998-09-09 2000-03-31 Canon Inc カメラ制御装置及びコンピュータ読み取り可能な記憶媒体
JP2005130033A (ja) * 2003-10-21 2005-05-19 Ipsquare Inc 監視システム、制御装置、及び撮像装置
JP2006186739A (ja) * 2004-12-28 2006-07-13 Konica Minolta Holdings Inc 撮像装置
JP3113937U (ja) * 2005-06-22 2005-09-22 有限会社Ｐａｎａｓｏ 監視ライブカメラ・セキュリティシステム
JP2009290501A (ja) * 2008-05-29 2009-12-10 Funai Electric Co Ltd 監視カメラ及び監視システム
JP2011217055A (ja) * 2010-03-31 2011-10-27 Sogo Keibi Hosho Co Ltd 画像記録制御装置及び監視システム
WO2014174737A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム

Also Published As

Publication number Publication date
JP7420169B2 (ja) 2024-01-23
SG11201706695SA (en) 2017-09-28
US20230252885A1 (en) 2023-08-10
SG10201501222XA (en) 2016-09-29
JP6766812B2 (ja) 2020-10-14
WO2016132734A1 (en) 2016-08-25
US10970995B2 (en) 2021-04-06
JP2022133344A (ja) 2022-09-13
JP2018510398A (ja) 2018-04-12
US11670159B2 (en) 2023-06-06
US20190213867A1 (en) 2019-07-11
US20180276983A1 (en) 2018-09-27
JP2024038300A (ja) 2024-03-19
US20190213868A1 (en) 2019-07-11
US20210118283A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7420169B2 (ja) 監視システム、監視方法及びプログラム
JP2023155362A (ja) プログラム、監視装置及び監視方法
US11010254B2 (en) System and method for prioritization of data file backups
JP5790761B2 (ja) 分散画像処理システム
CN104980653B (zh) 视频监控系统中的照相机参数更新的方法
US10863144B2 (en) System and method for protecting critical data on camera systems from physical attack
US20160019427A1 (en) Video surveillence system for detecting firearms
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
WO2014190851A1 (zh) 一种视频监控方法、装置及系统
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
KR20160139582A (ko) 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템 및 네트워크 기반 감시 카메라
KR101842564B1 (ko) 다중 영상에 대한 집중 영상 감시 방법 및 이를 위한 집중 영상 관리 서버, 집중 영상 감시 시스템, 컴퓨터 프로그램, 그 기록매체
KR20160146051A (ko) 교통 사고 감시 장치
Nishanthini et al. Smart Video Surveillance system and alert with image capturing using android smart phones
KR101445361B1 (ko) 현장 모니터링 장치
KR101698864B1 (ko) 메타 데이터를 이용한 영상 검출 방법을 실행시키는 프로그램이 기록된 기록 매체
JP2014142696A (ja) 解析処理制御システム
JP2013115566A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP7256082B2 (ja) 監視システム、プログラム、およびリスト作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220629

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220707

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220712

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220930

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221004

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230228

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230411