JP2021508896A - 疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステム - Google Patents

疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステム Download PDF

Info

Publication number
JP2021508896A
JP2021508896A JP2020542373A JP2020542373A JP2021508896A JP 2021508896 A JP2021508896 A JP 2021508896A JP 2020542373 A JP2020542373 A JP 2020542373A JP 2020542373 A JP2020542373 A JP 2020542373A JP 2021508896 A JP2021508896 A JP 2021508896A
Authority
JP
Japan
Prior art keywords
person
infected
infected person
public place
confirmed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020542373A
Other languages
English (en)
Other versions
JP6980928B2 (ja
Inventor
▲謙▼ ▲羅▼
▲謙▼ ▲羅▼
婉▲麗▼ 党
婉▲麗▼ 党
▲暁▼ ▲羅▼
▲暁▼ ▲羅▼
睿 ▲とう▼
睿 ▲とう▼
▲龍▼ 耿
▲龍▼ 耿
野 潘
野 潘
肇欣 ▲陳▼
肇欣 ▲陳▼
二改 郁
二改 郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Publication of JP2021508896A publication Critical patent/JP2021508896A/ja
Application granted granted Critical
Publication of JP6980928B2 publication Critical patent/JP6980928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本発明は、疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステムを提供する。本発明による方法には、感染確認者の関連情報に基づいて、前記感染確認者の公共場所での活動の時間ノード及び前記時間ノードとマッチングする位置情報を決定するステップと、公共場所における前記感染確認者の時間ノードと位置情報、感染症の伝播メカニズムに基づいて、前記公共場所におけるビデオ監視装置のビデオフレームデータを利用して潜在感染者を検索するステップと、マルチターゲット追跡技術に従って前記潜在感染者を追跡し、前記公共場所における前記潜在感染者の活動を行った時間ノードを結合して身元を確認するステップとを含む。本発明は、主動的に公共場所で感染確認者と関連する潜在感染者を検索し、その身元を決定する。データテストの結果、その精度は８０％以上に達することができ、これにより、公共交通機関における潜在感染者の検索と確認の問題を大幅に解決し、感染の予防と制御に重要な役割を果たす。
【選択図】図１

Description

本発明は、公共場所の密集エリアにおける目標追跡の技術分野に関し、特に、疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステムに関する。
感染症の伝播過程において、Ａ、Ｂ、Ｃの３種類の人がいると想定する。ＣとＡが明らかな知り合いの場合、Ａが患者と診断されたら、Ａと接触したＣを決定することは簡単である。また、Ａが公共場所（旅行中の空港、駅又は埠頭など）で知らないＢに出会い、ＡはＢの存在を知らず、ＢもＡの存在を知らないと想定すると、数日間のウイルス潜伏期間を経た後、Ａがウイルス感染者であることが判明されたら、Ａと公共場所で接触したことがあるＢもウイルス潜在感染者になる。しかしながら、Ｂが感染者であると明確に診断される前に、Ｂが感染者であるとのことを、Ｂ自身を含んだ誰も知らないため、Ｂのような潜在感染者は非常に危険である。それにもかかわらず、Ｂは何の感染防止措置もせずに公共場所に出ることになり、ＡとＢの接触により確実にＢの感染を引き起こした場合、Ｂが潜伏期間にあったこの期間は間違いなくウイルスのより広い範囲の拡散と伝播につながる。
潜在感染者（「Ｂ類の人」と呼ぶ）が公共の交通機関や場所で感染確認者又は疫病源地の人（「Ａ類の人」と呼ぶ）と接触したことがあったかを確認する方法は、疫病の予防に係る重要な部分である。
潜在感染者の発見問題を解決できる解決策又はソフトウェアが既に幾つかある。例えば、空港又は待機室又は改札口では、下記の解決策が採用される。
解決策１：乗った車両、フライト情報及び座席情報によって、自分と感染確認者が同じフライトであるかどうか、及び座席番号が近いかどうかを確認する。
解決策２：利用者の旅行データに基づいて、ウイルスに感染される確率を分析する。
解決策３：人工的に感染確認者の移動軌跡に従って、主動的に潜在感染者を検索する。
しかし、上記３つの主流的な解決策は、下記の問題が存在する。
（１）解決策１は、比較的に狭い範囲で潜在感染者を検索するため、フライトしか特定できない。既に感染者の滞在が確認され且つ滞在時間が長い場所を含むターミナルに対しては、潜在感染者を特定して確認することが難しい。
（２）解決策２は、主に利用者の旅行データに基づいて、時間を関連付けて潜在感染者を検索する方案である。この解決策は、応用範囲が広い利点があるが、分析の粒度が粗く、主動的な検索による確認であるため、受動的にスクリーニングし検索して身元を確認することはできない。
（３）解決策３は、主に人工的に、主動的に検索を行って、感染確認者の移動軌跡を公開することにより、接触者が自ら自分が潜在感染者であるかどうかを確認する。
上記の３つの解決策は、どちらもある程度で潜在感染者をスクリーニングすることができるが、空港ターミナルの場合、いずれによってもターミナルにおける潜在感染者の身元を確認する課題は解決できない。
要するには、大型の空港ターミナル、駅、バス停留所などは人々が比較的に集中して長く滞在する公共場所であって、感染症の予防で重点的に注目される場所である。このため、感染確認者の情報に基づいて、上記のような公共場所から潜在感染者を正確に特定して身元を確認する方法は、当業者が早急に解決する必要のある技術的な課題である。
上記のような実情に鑑みて、本発明は、感染症の伝播メカニズムをルートとして、マルチターゲット追跡に基づいて潜在感染者の位置及び軌跡を決定し、時間及び空間の次元の特徴を結合して潜在感染者に対する身元確認を実現する、疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステムを提供する。
第一において、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法は、
感染確認者の関連情報によって、前記感染確認者の公共場所における活動の時間ノード、及び前記時間ノードとマッチングする位置情報を決定することと、
前記感染確認者の前記公共場所における時間ノードと前記位置情報により、感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して、潜在感染者を検索することと、
マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者の前記公共場所における活動の時間ノードを結合して身元を確認することとを含む。
さらに、上記の追跡方法において、前記感染確認者の関連情報には、感染確認者の身元情報と利用した交通手段の運行情報とが含まれる。
さらに、上記の追跡方法において、前記感染確認者の前記公共場所における位置情報を決定することには、
前記感染確認者の前記公共場所における活動に対応する時間ノードにより、前記公共場所での対応のビデオ監視装置を決定するステップと、
前記ビデオ監視装置から抽出された各時間ノードのビデオフレームを受信するステップと、
前記ビデオフレームにおいて、前記感染確認者の検出、抽出及び確認を行うステップとが含まれる。
さらに、上記の追跡方法において、前記ビデオフレームから前記感染確認者の検出、抽出及び確認を行うことには、
異なる時間ノードの異なるビデオフレームにおける前記感染確認者の位置及び特徴を抽出して特徴空間を構築することと、
移動距離と軌跡確率に基づいて空間確率特徴を構築することと、
前記特徴空間及び前記空間確率特徴に従い、隣接する時点の異なるビデオフレームにおける感染確認者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける感染確認者をもとにして追跡を続けて、前記感染確認者の前記公共場所におけるすべての位置を記述した後、前記感染確認者の公共エリアにおける軌跡を確認することとが含まれる。
さらに、上記の追跡方法において、前記感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索することには、
前記ビデオフレームにおいて、前記感染確認者の位置を円心として、所定の感染症の伝播範囲をビデオフレームでの距離にマッピングした後、前記距離を半径として円形エリアを構築することと、
前記円形エリアにおける通行人を潜在感染者として決定することと、
前記感染確認者の現在のビデオフレームを開始ビデオフレームとして、前記感染確認者の位置が条件：
（ここで、Ｏｉは前記感染確認者の現在の位置を表し、Ｏｉ−１は前記感染確認者の移動軌跡における他の位置を表す。）
を満たすまで、前記ビデオフレームに対応する時間ノードに対し前後の追跡を行うことと、
Ｏｉを中心として、ｄｉを半径として、継続して円形エリアを構築し、再び潜在感染者を検索することとが含まれており、
前記公共場所におけるすべての感染者を見つけるまで、上記のステップを繰り返す。
さらに、上記の追跡方法において、マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者前記公共場所で行った活動の時間ノードを結合して身元を確認することには、
検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出して、特徴空間を構築することと、
移動距離と軌跡確率に基づいて空間確率特徴を構築することと、
前記特徴空間及び前記空間確率特徴に基づいて、隣接する時点の異なるビデオフレームにおける潜在感染者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける潜在感染者をもとにしてて追跡を続けて、前記潜在感染者の登録を行ったノードを追跡した時に前記潜在感染者の身元を確認して報告することとが含まれる。
さらに、上記の追跡方法において、前記感染確認者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前期特徴空間を決定することを含み、及び、
検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後も、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前記特徴空間を決定することを含む。
さらに、上記の追跡方法において、前記感染確認者又は前記潜在感染者のビデオフレームにより取得された特徴空間と及び空間確立特徴に基づいて、隣接する時点の異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を判断するには、
第ｉ時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
として、
第ｊ＝ｉ＋１時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
として、
前記感染確認者又は前記潜在感染者の異なる方向における空間確率特徴をＰｉとした場合、
異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を、次のように計算される。
ここで、Ｑは異なるビデオフレームにおける前記感染確認者の類似度又は異なるビデオフレームにおける前記潜在感染者の類似度であって、ｉとｊはいずれも自然数である。実際の応用では、Ｐ１＞Ｐ２＞Ｐ３である。
第二において、本発明の他の実施形態による疫病期間中の公共場所における潜在感染者の追跡装置は、
感染確認者の関連情報によって、前記感染確認者の公共場所における活動の時間ノード、及び前記時間ノードとマッチングする位置情報を決定する、感染確認者検索モジュールと、
前記感染確認者の前記公共場所での時間ノードと位置情報に基づき及び感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索する、潜在感染者検索モジュールと、
マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者の前記公共場所での活動の時間ノードを結合して身元を確認する、潜在感染者身元確認モジュールとを含む。
さらに、上記の追跡装置において、前記感染確認者の関連情報には、前記感染確認者の身元情報と利用した交通手段の運行情報とが含まれる。
さらに、上記の追跡装置において、前記感染確認者検索モジュールには、
前記感染確認者の前記公共場所における活動の時間ノードによって、前記公共場所での対応のビデオ監視装置を決定するビデオ監視デバイス決定ユニットと、
前記ビデオ監視装置から抽出された各時間ノードのビデオフレームを受信する受信ユニットと、
前記ビデオフレームで、前記感染確認者の検出、抽出及び確認を行う感染確認者確認ユニットとを含む。
さらに、上記の追跡装置において、前記感染確認者確認ユニットは、

異なる時間ノードの異なるビデオフレームにおける前記感染確認者の位置及び特徴を抽出して、特徴空間を構築する第１特徴空間構築サブユニットと、
移動距離と軌跡確率に基づいて空間確率特徴を構築する第１空間確率特徴構築サブユニットと、
前記特徴空間及び前記空間確率特徴に基づいて、隣接する時点の異なるビデオフレームにおける感染確認者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける感染確認者をもとにして追跡を続けて、前記感染確認者の登録を行ったノードを追跡した時に、前記感染確認者に対して確認を行う第１確認ユニットとを含む。
さらに、上記の追跡装置において、前記潜在感染者検索モジュールにより、
前記ビデオフレームにおいて、前記感染確認者の位置を円心とし、所定の感染症の伝播範囲をビデオフレームでの距離にマッピングした後、前記距離を半径として円形エリアを構築することと、
前記円形エリアにおける通行人を潜在感染者と決定することと、
前記感染確認者の現在のビデオフレームを開始ビデオフレームとして、前記感染確認者の位置が条件：
（ここで、Ｏｉは前記感染確認者の現在の位置を表し、Ｏｉ−１は前記感染確認者の移動軌跡における他の位置を表す。）
を満すまで、前記ビデオフレームに対応する時間ノードに対し前後の追跡を行うことと、
Ｏｉを中心として、ｄｉを半径として、継続して円形エリアを構築し、再び潜在感染者を検索することとを実現する。
さらに、上記の追跡装置において、潜在感染者身元確認モジュールは、
検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出し、特徴空間を構築する第２特徴空間構築サブユニットと、
移動距離と軌跡確率に基づいて空間確率特徴を構築する第２空間確率特徴構築サブユニットと、
前記特徴空間及び前記空間確率特徴に基づいて、隣接する時点の異なるビデオフレームにおける潜在感染者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける潜在感染者をもとにして追跡を続けて、前記潜在感染者の登録を行ったノードが追跡されたときに前記潜在感染者の身元を確認して報告する第２確認サブユニットとを含む。
上記の追跡装置において、前記感染確認者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前期特徴空間を決定することを含み、及び、
検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後も、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前記特徴空間を決定することを含む。
さらに、上記の追跡装置は、前記第１確認サブユニット及び前記第２確認サブユニットにおいて、
第ｉ時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
とし、
第ｊ＝ｉ＋１時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
とし、
前記感染確認者又は前記潜在感染者の異なる方向における空間確率特徴をＰｉとした場合、
異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度が次のように計算される。
ここで、Ｑは異なるビデオフレームにおける前記感染確認者の類似度又は異なるビデオフレームにおける前記潜在感染者の類似度であって、ｉとｊはいずれも自然数である。実際の応用では、Ｐ１＞Ｐ２＞Ｐ３である。
第三において、本発明のまた他の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、
前記公共場所はターミナルであって、前記ターミナルはチェックインエリア、セキュリティチェックエリア、待機エリアに分けられており、前記チェックインエリア、前記セキュリティチェックエリア及び前記待機エリアにおいて、上記のいずれか一項に記載の疫病期間中の公共場所における潜在感染者の追跡方法を実行し、前記感染確認者に対し、前記チェックインエリアで確認された潜在感染者を第１集合とし、前記セキュリティチェックエリアで確認された潜在感染者を第２集合とし、前記待機エリアで確認された潜在感染者を第３集合とする場合、前記第１集合、第２集合、及び第３集合の和集合を潜在感染者と見なす。
本発明は、公共場所（空港ターミナルなど）の既存の監視環境に基づいており、感染確認者の身元が確認された上で、主動的に公共場所で感染確認者と関連する潜在感染者を検索して、その身元を決定する。データテストの結果、その精度は８０％以上も達し、これにより、公共交通機関における潜在感染者の検索と確認の課題を大幅に解決して、感染予防と制御に重要な役割を果たすことができる。
本発明の実施形態の技術方案をより明確に説明するために、以下では、実施形態に必要な図面を簡単に説明する。明らかに、以下の説明における図面は、本発明の幾つかの実施形態に過ぎなく、当業者であれば創造的な作業なしにこれらの図面に基づいて他の図面を得ることができる。
図１は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法のステップを示すフローチャートである。 図２は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法の業務フローチャートである。 図３は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、感染確認者のターミナルビルにおける活動の時間ノード、及び時間ノードとマッチングする位置情報を決定するステップを示すフローチャートである。 図４は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、潜在感染者を検索するステップを示すフローチャートである。 図５は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、感染確認者が出ているビデオフレームに対し通行人の検出及び番号付けを行う際の概略図である。 図６は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、感染確認者を円心として、平面上の円を構築して第１陣の潜在感染者を決定する場合の概略図である。 図７は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、円Ｏ1の半径を計算するためのモデルの概略図である。 図８は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、円Ｏに外接される円Ｏ1における第２陣の潜在感染者を示す概略図である。 図９は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法において、特徴ピラミッドを示す概略図である。 図１０は、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡装置の構造ブロック図である。
以下、図面を参照して、本発明の実施形態について詳細に説明する。
以下では、特定の具体実施例を通じて本発明の実施形態を説明するが、当業者であれば、本明細書に記載された内容から本発明の他の利点及び効果を容易に理解することができる。明らかに、説明された実施形態は、本発明の実施形態の一部に過ぎず、すべての実施形態ではない。本発明は、他の具体の実施形態を通じて実施又は応用されることもでき、本明細書の各細部に対しても、異なる視点及び用途に基づいて、本発明の精神をら逸脱しない範囲で様々な修正又は変更を行うことができる。説明すべきことは、以下の実施形態及び実施形態に関わる特徴は、矛盾がない限り相互組み合わせることができる。本明細書に記載されたの実施形態に基づいて、当業者が創造的な努力をすることなく取得した他のすべての実施形態は、すべて本発明の保護範囲に属する。
説明すべきことは、本明細書では、本発明の特許請求の範囲における実施形態の様々な態様を説明する。明らかに、本明細書で説明される態様は多種多様な形態で具現化されてもよく、本明細書で説明されるいずれの特定の構造及び／又は機能は単に例示的なものである。当業者であれば、本明細書の記載に基づいて、本明細書で説明する各形態がそれぞれ単独に実施可能であり、または２つ以上の形態が様々な形式で組み合わせて実施可能であることを分かるべきである。例えば、本明細書に記載されている任意の数の実施形態を使用して、装置及び／又は方法を実施することができる。なお、本明細書に記載の実施形態による１つ又は複数の構成に加えて、他の構造及び／又は機能を使用して、該当の装置及び／又は方法を実施することができる。
また、説明すべきことは、以下の実施形態で提供される図面は、本明細書の記載の基本的な概念を概略的に示すだけであって、図面では、本発明の実際の実施に関連する構成要素の数、形状、及びサイズではなく、本明細書の記載に関連する構成要素のみを示している。実際の実施において、各構成要素のタイプ、数及び比率は自由に変更でき、構成要素のレイアウトタイプもより複雑になる場合がある。
また、以下の説明では、実施形態の完全な理解を容易にするために具体的な細部を提供して説明しいる。しかしながら、当業者であれば、これらの具体的な細部が説明されなくても各実施形態の実施が可能であることを分かるべきである。
本発明の技術方案のステップの説明に進む前に、Ｂ類の人について定義を行う。
感染症の伝播過程において、Ａ、Ｂ、Ｃの３種類の人がいると想定する。Ａはウイルス感染の感染確認者である。Ａは感染が確認される前に、２種類の人に遭遇した可能性があって、一種類はＢで、他の一種類はＣである。ＡとＢは知らない。ＡとＣは知っている。Ａがウイルス感染者と確認されたた後、Ｃ類の人を確認することは容易である。しかし、Ｂ類の人を見つけるのは難しい。これは、例えば、Ａが公共場所で知らないＢに会ったとしても、ＡはＢの存在を知らなく、ＢもＡの存在を知らないからである。したがって、Ｂは最大の隠れた危険となって、簡単に見つけることができず、誰がＢであるかはＢ自身を含んだ誰も知らない。
それで、本発明の実施形態では、疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステムを提供して、感染症の伝播メカニズムをルートとして、マルチターゲット追跡に基づいて潜在感染者の位置及び軌跡を決定し、時間及び空間の次元の特徴を結合して、潜在感染者の身元を確認する。ステップは下記の通りである。
（１）公共場所の業務フローチャートを結合し、キーエリアにおける感染確認者の移動位置を記述する。
（２）感染確認者の移動位置に従い、感染症の伝播メカニズムに基づく潜在感染者の検索と確認を行う。
（３）マルチターゲット追跡技術に基づく潜在感染者の軌跡の記述及び身元の確認を行う。
図１を参照すると、本発明の実施形態による、疫病期間中の公共場所における潜在感染者の追跡方法のステップフローチャートを示しており、以下のステップを含む。
Ｓ１１０：感染確認者の関連情報によって、公共場所における感染確認者の活動を行った時間ノード、及びその時間ノードとマッチングする位置情報を決定する。
Ｓ１２０：公共場所における感染確認者の時間ノードと位置情報によって、感染症の伝播メカニズムに基づいて、公共場所におけるビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索する。
Ｓ１３０：マルチターゲット追跡に基づいて潜在感染者を追跡し、その潜在感染者の公共場所における活動の時間ノードを結合して身元を確認する。
次は、空港ターミナルを例として、本実施形態による疫病期間中の公共場所における潜在感染者の追跡方法をさらに詳細に説明する。説明すべきことは、本実施形態は、空港ターミナルを例に挙げて説明するが、本発明は空港ターミナルに限定されず、ビデオ監視装置が設置されてあって、認証を行う必要があるバス停留所、駅、埠頭等にも適用可能である。
図２を参照すると、図２は、本発明の実施形態による、疫病期間中の公共場所における潜在感染者の追跡方法の業務フローチャートを示している。
簡単に言えば、ウイルスに感染された感染確認者がポートから離れる前に、感染確認者の関連情報（感染確認者の個人情報とフライトの運行情報を含む）及び感染症の伝播メカニズムに基づいて、チェックインエリア、セキュリティチェックエリア、待機エリアでビデオフレームの時間軸情報に従って通行人の特徴を特定し、潜在感染者を検索することである。そのうち、各エリアには、三つの重要なポイントが含まれる。１）キーエリアにおける感染確認者の時間ノード及び位置情報を確認する。２）ウイルスの伝播メカニズムに基づいて、感染可能者の位置及び画像の身元をキャリブレーションする。３）キーエリアにおける潜在感染者の身元情報の追跡及び確認を行う。一実施形態として、上記のプロセスは、図３のように、以下のステップによって実現できる。
図３は、感染確認者の関連情報によって、公共場所における感染確認者の活動を行った時間ノード、及び時間ノードとマッチングする位置情報を決定する流れを示している。つまり、キーエリアにおけるウイルス感染確認者の移動位置を決定する方法である。
ステップＳ３１０：感染確認者の身元情報とフライト情報を照会する。
ステップＳ３２０：身元情報とフライト情報に基づいて、感染確認者の空港ターミナルのチェックインエリア、セキュリティチェックエリア及び待機エリアにおける三つの時間ノードを決定する。
ステップＳ３３０：感染確認者情報集合
を確立する。そのうち、Faceは身元情報の表現形式の一つであって、顔情報を表す。Fliはフライト情報である。Timeは時系列の集合を表し、Ａのチェックイン時間Ctime、セキュリティチェック時間Stime、搭乗チケットチェック時間Btimeを含む。具体的には、下記のように表示される。
ステップＳ３４０：時間ノード及びチェックインカウンタ、セキュリティチェック通路、及び待機チケットチェックカウンタを介して、対応されるカメラＩＤを確認する。
ステップＳ３５０：カメラＩＤに従い、Time時間ノードのビデオフレームを抽出する。
ステップＳ３６０：ビデオフレーム中の通行人について検出を行って、感染確認者を抽出する。このステップは、次の流れで実現できる。
異なる時間ノードの異なるビデオフレームにおける感染確認者の位置及び特徴を抽出して、特徴空間を構築する。
移動距離と軌跡確率に基づいて空間確率特徴を構築する。
特徴空間及び空間確率特徴に従い、隣接する時点の異なるビデオフレームにおける感染確認者の類似度を判断し、類似度が所定の閾値より大きい場合、ビデオフレームにおける感染確認者をもとにして、感染確認者の登録を行ったノードまで追跡を続けることで、感染確認者の確認を行う。
上記の確認方法については、潜在感染者（Ｂ類の人）に係る場合にさらに説明するため、ここでは説明を繰り返さない。関連部分については、以下の説明を参照すればいい。
次に、Ｓ１２０について説明する。つまり、公共場所における感染確認者の時間ノードと位置情報及び感染症の伝播メカニズムに基づいて、公共場所におけるビデオ監視装置によって提供されるビデオフレームデータを利用しながら潜在感染者を検索する方法について説明する。具体的には、図４のようなステップが含まれる。
ステップＳ４１０：ウイルス感染者Ａの位置を確認した上、３つのエリアにおけるＡの位置を円心Ｏとして、感染症の伝播範囲の半径をビデオフレームにマッピングした距離を半径として、円形エリアを構築する。円形エリアにおける通行人をＢ類の人に決定できる。つまり、潜在感染者と決定できる。このとき、Ｂ類の人の位置をBiとして、ビデオフレーム画像の時間を
と記録する。
ステップ４２０：ウイルス感染確認者Ａがいるビデオフレームを開始ビデオフレームとして、３つのエリアの時間をCtime,Stime,Btimeとして、位置Ｏｉが次の関係式を満たすまでに、時間ノードCtime,Stime,Btime の前と後でＡを追跡する。
ここで、ｄｉは、実際の感染症の伝播距離をビデオフレームにおける距離にマッピングしたものである。
ステップＳ４３０：Ｏｉを円心として、ｄｉで円形エリアを構築し続け、Ｂ類の人Bjを決定する。
ステップＳ４４０：すべてのＢ類の人が確認されるまでに、ステップ４２０、ステップ４３０を繰り返す。
次は、ステップＳ１３０をさらに説明する。一実施形態として、潜在感染者をもとに追跡して身元を確認することは、以下のステップによって実現できる。
ｉ）抽出された
時間ノードに対応するビデオフレームを開始点として、Biの位置及び特徴を決定する。
ｉｉ）このビデオフレームBiにおける特徴ピラミッドを抽出して構成し、特徴空間を構成する。
ｉｉｉ）空間確率特徴を構築する。主には、移動距離、軌跡確率を参照し、それらを追跡することを指す。
ｉｖ）チェックイン、セキュリティチェック、又は搭乗ゲートの場所まで追跡し、ノード時間に従いＢ類の人の身元情報を確認する。
本実施形態では、空港ターミナルの既存の監視環境で、感染確認者の身元が確認されたことを土台にして、主動的に公共場所で感染確認者と関連する潜在感染者を検索して、その身元を決定する。データテストの結果、その精度は８０％以上に達することができて、これにより、公共交通機関における潜在感染者の検索と確認の課題を大幅に解決し、感染予防と制御に重要な役割を果たす。
以下は、より具体的な実施例を結合して、本発明による疫病期間中の公共エリアにおける潜在感染者の追跡方法を説明する。本実施例では、ターミナルのセキュリティチェックエリアを例として説明する。
ステップ１：感染確認者Ａの関連情報に基づいて、空港ターミナルにおける感染確認者Ａの活動を行った時間ノード、及びその時間ノードとマッチングする位置情報を決定する。
具体的には、感染確認者Ａの身元情報とフライト情報に基づいて、感染確認者Ａがセキュリティチェック通路に出現した位置及び時間を確認する。例えば、ある空港のセキュリティチェックエリアに出現して、チェックインをした時間が１１時２３分で、通ったセキュリティチェック通路の番号が１０であるとする。
時間ノード１１：２３及びセキュリティチェック通路の番号１０によって、ビデオフレームを取得し、その中の１つのフレーム画像を取得する。その後、そのフレーム画像を分割し、既存のＲＣＮＮモデルを使用して通行人を検出し、通行人に番号を付ける。図５の通りである。チケットチェックの位置によって感染確認者Ａを決定し、画像における番号が４５であることが分かる。図５で、Ａとマークされた枠が感染確認者Ａである。
ステップ２：ターミナルのセキュリティチェックエリアにおける感染確認者Ａの時間ノードと位置情報に基づき、感染症の伝播メカニズムに基づいて、ターミナルのセキュリティチェックエリアにおけるビデオ監視装置によって提供されるビデオフレームデータを利用して、潜在感染者、つまりＢ類の人を検索する。
感染症の伝播メカニズムに従い、ｍメートル以内の範囲での滞留時間がｔであるという条件を満たせば、すべて潜在感染者Ｂと見なすことができる。
セキュリティチェックエリアのチケットチェックカウンタに立っている通行人の安全距離がｄであり、画像にマッピングした距離がｙであるとする。ｙを基準距離として定義し、後続の半径計算に基礎根拠を提供する。
ビデオの視点モデルによれば、３次元空間における距離の変化と２次元空間における距離の変化には比例関係がある。
とする。
この場合、画像における感染確認者Ａの位置に従い、この画像にマッピングされたｍの大きさはｍａである。
図６に示すように、ビデオフレームにおいて、感染確認者Ａの位置を円心として、ｍａを半径とする円を構築する。図６は、感染確認者を円心にして平面上の円を構築することで第１陣の潜在感染者を決定する場合の概略図である。ここで、ｍ＝１メートル、ａ＝０．０５である。図６で、円Ｏのエリアにいる人が第１陣の潜在感染者B1であり、図６における番号は１９と３０である。
次は、履歴データを使用し、感染確認者Ａがこの位置に出現する前の軌跡を逆順で追跡し、感染確認者Ａが出現する前の次の位置を円心として円Ｏ1を構築する。円Ｏと円Ｏ1は接しており、円Ｏ1の半径は、図７に示すモデルに従って計算する。
図７で、ｙ1は、円Ｏ1における感染確認者の位置及び対応して作った２次元座標系におけるｙ軸の値を表しており、ｘ1は、円Ｏ1位置におけるＸ軸の値を表しており、基準線の座標は(ｘ,ｙ)である。ｙ2とｘ2はそれぞれ円Ｏにおける感染確認者の位置を表す。その場合、画像で占めるピクセル（面積）S1とS2は、次の関係を満たす。
Ｏ1の半径をr1とし、円Ｏの半径をrとすると、r1の計算式は次の通りである。
rとr1は次の関係を満たす。
上記の方法により円Ｏ1を決定する。そして、円Ｏ1における潜在感染者を決定する。図８を参照すればいい。図８は、円Ｏに外接する円Ｏ1における第２陣の潜在感染者を示す概略図である。
円Ｏから円Ｏ1に至るステップを繰り返して、感染者Ａの移動軌跡に沿って、すべての潜在感染者すなわちＢ類の人の位置を確認する。
ステップ３：潜在感染者をもとして追跡しながら身元を確認する。本実施形態は、マルチターゲット追跡技術に基づく潜在感染者の軌跡記述と身元確認である。
上述のように、円Ｏにおける感染者の位置は既に確認されており、その番号は１９と３０である。潜在感染者の追跡技術は、感染確認者にも適用される。
時間のビデオフレームを従来技術のｍａｓｋ−ＲＣＮＮネットワークに入力し、番号が１９と３０の人の特徴を抽出して、それらの特徴ピラミッドを構築し、特徴空間を構築する。特徴ピラミッドを使用すると、より高レベルのセマンティック情報が検出できるように促すことができる。その特徴空間を次のように設定する。
図９を参照すると、図９は、特徴ピラミッドの概略図である。図９で、各レイヤーのセマンティック情報は、下から上へ、低から高へ、セマンティックがますます強くなって、検出された情報のレベルもますます高くなり、マイニングされた画像情報もより徹底的である。
フレーム画像に対し通行人の検出を行って、同様にその特徴ピラミッドを構築する。次のように記録する。
セキュリティチェックエリアの地理的な位置特徴に従い、通行人の空間移動方向は決定的であり、異なる方向へ移動する確率は異なる。異なる方向への移動確率をＰｉとする（Ｐｉは統計経験値である。例えば、セキュリティゲートの場合、通行人がセキュリティゲートに向かって移動する確率は、他の方向を向かって移動する確率より大きい）。したがって、両者の間の類似度（Ｑ）の測定は次のように定義される。
計算量を削減するために、実際の類似度の計算では、次のように、対応レイヤーの特徴を使用して類似度の計算を行う。
最終的には下記の通りである。
また、実際の使用中において、Ｐ１＞Ｐ２＞Ｐ３である。
その結果、特徴全体の計算の重複を回避でき、実際の応用における計算速度をさらに向上する。
この類似度に従い、
フレームにおける潜在感染者の位置を確認し、位置がセキュリティチェック通路のチケットチェックカウンタになるまで追跡を行い、チケットチェック情報によって、潜在感染者Ｂの身元を確認して報告する。
一実施例として、ステップ１でも、上述の類似度に基づく方法を使用して、セキュリティチェックエリアにおける感染確認者Ａの身元を継続的に検証する。アルゴリズムは同じなので、ここでは説明を繰り返さない。
説明すべきことは、上記の実施例では、セキュリティチェックエリアを例として、潜在感染者Ｂの身元を確認する方法を説明するだけで、チェックインエリアや待機エリアには関与していないが、この２つのエリアにおける潜在感染者Ｂの身元を確認方法も、該実施例による方法と同じとなるため、ここでは説明を繰り返さない。具体的な実施では、感染確認者について、チェックインエリアから確定した潜在感染者を第１集合とし、セキュリティチェックエリアから確定した潜在感染者を第２集合とし、待機エリアで確定した潜在感染者を第３集合とする場合、第１集合、第２集合及び第３集合の和集合を潜在感染者と見なす。
本実施形態では、公共場所（空港ターミナルなど）の既存の監視環境に基づいており、感染確認者の身元が確認された上に、主動的に公共場所で感染確認者と関連する潜在感染者を検索して、その身元を決定する。データテストの結果、その精度は８０％以上に達することができ、これにより、公共交通機関における潜在感染者の検索と確認の課題を大幅に解決し、感染予防と制御に重要な役割を果たす。
以下、図１０のように、本発明のまた他の実施形態による疫病期間中の公共場所における潜在感染者の追跡装置は、
感染確認者の関連情報によって、感染確認者の公共場所における活動の時間ノード、及びその時間ノードとマッチングする位置情報を決定する、感染確認者検索モジュール１００１と、
公共場所における感染確認者の時間ノードと位置情報に従い、感染症の伝播メカニズムに基づいて、その公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索する、潜在感染者検索モジュール１００２と、
マルチターゲット追跡に基づいて潜在感染者を追跡し、その潜在感染者の公共場所における活動の時間ノードを結合して身元を確認する、潜在感染者身元確認モジュール１００３とを含む。
説明すべきことは、疫病期間中の公共場所における潜在感染者の追跡装置と、疫病期間中の公共場所における潜在感染者の追跡方法との原理は同じである。疫病期間中の公共場所における潜在感染者の追跡方法は上に説明されており、関連する点は互いに参照すればいいので、ここでは説明を繰り返さない。
なお、本発明のさらに他の実施形態では、疫病期間中の公共場所における潜在感染者の追跡システムを提供する。本実施形態によるシステムは、少なくとも一つのプロセッサと、少なくとも１つのプロセッサに通信可能に接続されたメモリとを含んでおり、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、少なくとも１つのプロセッサにより該当の命令を実行することで、本発明の実施形態による疫病期間中の公共場所における潜在感染者の追跡方法が少なくとも１つのプロセッサによって実行される。
疫病期間中の公共場所における潜在感染者の追跡方法については既に説明しており、関連する点は互いに参照することができるため、ここでは説明を繰り返さない。
上記は本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されない。本発明に記載の技術的範囲により当業者が容易に考えられる変更又は置換は、すべて本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
さらに、上記の追跡方法において、前記感染確認者又は前記潜在感染者のビデオフレームにより取得された特徴空間と及び空間確立特徴に基づいて、隣接する時点の異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を判断するには、
第ｉ時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
として、
第ｊ＝ｉ＋１時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
として、
前記感染確認者又は前記潜在感染者の異なる方向における空間確率特徴をＰｉとした場合、
異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を、次のように計算される。
ここで、Ｑは異なるビデオフレームにおける前記感染確認者の類似度又は異なるビデオフレームにおける前記潜在感染者の類似度であって、ｉとｊはいずれも自然数である。実際の応用では、Ｐ１＞Ｐ２＞Ｐ３である。
時間のビデオフレームを従来技術のｍａｓｋ−ＲＣＮＮネットワークに入力し、番号が１９と３０の人の特徴を抽出して、それらの特徴ピラミッドを構築し、特徴空間を構築する。特徴ピラミッドを使用すると、より高レベルのセマンティック情報が検出できるように促すことができる。その特徴空間を次のように設定する。
図９を参照すると、図９は、特徴ピラミッドの概略図である。図９で、各レイヤーのセマンティック情報は、下から上へ、低から高へ、セマンティックがますます強くなって、検出された情報のレベルもますます高くなり、マイニングされた画像情報もより徹底的である。
フレーム画像に対し通行人の検出を行って、同様にその特徴ピラミッドを構築する。次のように記録する。
セキュリティチェックエリアの地理的な位置特徴に従い、通行人の空間移動方向は決定的であり、異なる方向へ移動する確率は異なる。異なる方向への移動確率をＰｉとする（Ｐｉは統計経験値である。例えば、セキュリティゲートの場合、通行人がセキュリティゲートに向かって移動する確率は、他の方向を向かって移動する確率より大きい）。したがって、両者の間の類似度（Ｑ）の測定は次のように定義される。
計算量を削減するために、実際の類似度の計算では、次のように、対応レイヤーの特徴を使用して類似度の計算を行う。
また、実際の使用中において、Ｐ１＞Ｐ２＞Ｐ３である。

Claims (10)

  1. 感染確認者の関連情報によって、前記感染確認者の公共場所における活動の時間ノード、及び前記時間ノードとマッチングする位置情報を決定するステップと、
    前記感染確認者の前記公共場所における前記時間ノードと前記位置情報により、感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して、潜在感染者を検索するステップと、
    マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者の前記公共場所における活動の時間ノードを結合して身元を確認するステップとを含む、ことを特徴とする疫病期間中の公共場所における潜在感染者の追跡方法。
  2. 前記感染確認者の関連情報には、感染確認者の身元情報と利用した交通手段の運行情報とが含まれ、
    前記感染確認者の前記公共場所における位置情報を決定することには、
    前記感染確認者の前記公共場所で行った活動に対応する時間ノードによって、前記公共場所での対応のビデオ監視装置を決定するステップと、
    前記ビデオ監視装置から抽出された各時間ノードのビデオフレームを受信するステップと、
    前記ビデオフレームにおいて、前記感染確認者を検出、抽出し、継続的に追跡確認するステップとが含まれる、
    ことを特徴とする請求項１に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  3. 前記ビデオフレームにおいて、前記感染確認者を検出、抽出し、継続的に追跡確認することには、
    異なる時間ノードの異なるビデオフレームにおける前記感染確認者の位置及び特徴を抽出し、特徴空間を構築することと、
    移動距離と軌跡確率に基づいて空間確率特徴を構築することと、
    前記特徴空間及び前記空間確率特徴に基づいて、隣接する時点の異なるビデオフレームにおける感染確認者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける感染確認者をもとにして、前記感染確認者の公共場所におけるすべての位置の記述が完了するまで追跡を続けて、前記感染確認者の公共場所における軌跡を確認することとが含まれる、
    ことを特徴とする請求項２に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  4. 前記感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索することには、
    前記ビデオフレームにおいて、前記感染確認者の位置を円心として、所定の感染症の伝播範囲をビデオフレームでの距離にマッピングした後、前記距離を半径として円形エリアを構築することと、
    前記円形エリアにおける通行人を潜在感染者として決定することと、
    前記感染確認者の現在のビデオフレームを開始ビデオフレームとして、前記感染確認者の位置が条件：
    （ここで、Ｏｉは前記感染確認者の現在の位置を表し、Ｏｉ−１は前記感染確認者の移動軌跡における他の位置を表す。）
    を満たすまで、該当のビデオフレームに対応する時間ノードに対し、前後の追跡を行うことと、
    Ｏｉを中心として、ｄｉを半径として、継続して円形エリアを構築し、再び潜在感染者を検索することとが含まれており、
    前記公共場所におけるすべての感染者を見つけるまで、上記のステップを繰り返す、
    ことを特徴とする請求項３に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  5. マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者の前記公共場所における活動の時間ノードを結合して身元を確認することには、
    検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出して、特徴空間を構築するステップと、
    移動距離と軌跡確率に基づいて空間確率特徴を構築するステップと、
    前記特徴空間及び前記空間確率特徴に従い、隣接する時点の異なるビデオフレームにおける潜在感染者の類似度を判断し、類似度が所定の閾値より大きい場合、そのビデオフレームにおける潜在感染者をもとに追跡を続け、前記潜在感染者の登録を行ったノードを追跡した時に前記潜在感染者の身元を確認して報告するステップとが含まれる、
    ことを特徴とする請求項４に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  6. 前記感染確認者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前期特徴空間を決定することを含み、及び、
    検索された前記潜在感染者の異なる時間ノードの異なるビデオフレームにおける位置及び特徴を抽出した後、さらに、特徴ピラミッドを構築し、前記特徴ピラミッドに応じて前記特徴空間を決定することを含む、
    ことを特徴とする請求項５に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  7. 前記感染確認者又は前記潜在感染者のビデオフレームにより取得された特徴空間及び空間確立特徴に基づいて、隣接する時点の異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を判断するには、
    第ｉ時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
    として、
    第ｊ＝ｉ＋１時刻にビデオフレームから抽出した特徴ピラミッドで構築される特徴空間を
    として、
    前記感染確認者又は前記潜在感染者の異なる方向における空間確率特徴をPｉとした場合、
    異なるビデオフレームにおける前記感染確認者又は前記潜在感染者の類似度を、下記の計算式：
    （ここで、Ｑは異なるビデオフレームにおける前記感染確認者の類似度又は異なるビデオフレームにおける前記潜在感染者の類似度であって、ｉとｊはいずれも自然数であって、実際の応用では、Ｐ１＞Ｐ２＞Ｐ３である。）により計算される、
    ことを特徴とする請求項６に記載の疫病期間中の公共場所における潜在感染者の追跡方法。
  8. 前記公共場所はターミナルであって、
    前記ターミナルは、チェックインエリア、セキュリティチェックエリア、待機エリアに分けられており、
    前記チェックインエリア、前記セキュリティチェックエリア及び前記待機エリアにおいて、請求項１から請求項７のいずれか１項に記載の疫病期間中の公共場所における潜在感染者の追跡方法を実行し、
    前記感染確認者に対して、前記チェックインエリアで確認された潜在感染者を第１集合とし、前記セキュリティチェックエリアで確認された潜在感染者を第２集合とし、前記待機エリアで確認された潜在感染者を第３集合とする場合、
    前記第１集合、前記第２集合、及び前記第３集合の和集合を潜在感染者と見なす、
    ことを特徴とする疫病期間中の公共場所における潜在感染者の追跡方法。
  9. 感染確認者の関連情報によって、前記感染確認者の公共場所における活動の時間ノード、及び前記時間ノードとマッチングする位置情報を決定する、感染確認者検索モジュールと、
    前記感染確認者の前記公共場所における時間ノードと位置情報により、感染症の伝播メカニズムに基づいて、前記公共場所のビデオ監視装置によって提供されるビデオフレームデータを利用して潜在感染者を検索する、潜在感染者検索モジュールと、
    マルチターゲット追跡に基づいて、前記潜在感染者を追跡し、前記潜在感染者の前記公共場所における活動の時間ノードを結合して身元を確認する、潜在感染者身元確認モジュールとを含む、ことを特徴とする疫病期間中の公共場所における潜在感染者の追跡装置。
  10. 少なくとも一つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリとを含んでおり、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、
    前記少なくとも１つのプロセッサにより前記命令を実行することで、請求項１から請求項９のいずれか１項に記載の疫病期間中の公共場所における潜在感染者の追跡方法が前記少なくとも１つのプロセッサによって実行される、
    ことを特徴とする疫病期間中の公共場所における潜在感染者の追跡システム。
JP2020542373A 2020-03-09 2020-03-24 疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステム Active JP6980928B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010154976.XA CN111027525B (zh) 2020-03-09 2020-03-09 疫情期间公共场所潜在被感染者追踪方法、装置及系统
CN202010154976.X 2020-03-09
PCT/CN2020/080855 WO2020114528A2 (zh) 2020-03-09 2020-03-24 疫情期间公共场所潜在被感染者追踪方法、装置及系统

Publications (2)

Publication Number Publication Date
JP2021508896A true JP2021508896A (ja) 2021-03-11
JP6980928B2 JP6980928B2 (ja) 2021-12-15

Family

ID=70199437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020542373A Active JP6980928B2 (ja) 2020-03-09 2020-03-24 疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステム

Country Status (4)

Country Link
US (1) US20230121997A1 (ja)
JP (1) JP6980928B2 (ja)
CN (1) CN111027525B (ja)
WO (1) WO2020114528A2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816320A (zh) * 2020-04-22 2020-10-23 杭州溪塔科技有限公司 基于区块链的病患接触者匹配方法及系统
US12062455B2 (en) * 2020-04-23 2024-08-13 Marwan Hassan Coronavirus real-time map
CN111461677A (zh) * 2020-04-27 2020-07-28 深圳市城市公共安全技术研究院有限公司 疫情期间人员管理方法、装置、终端及存储介质
CN111695048B (zh) * 2020-05-09 2023-06-02 珠海中科先进技术研究院有限公司 疫情溯源方法及介质
CN113761964A (zh) * 2020-05-18 2021-12-07 深圳云天励飞技术有限公司 同行人员确定方法及相关产品
CN111863270B (zh) * 2020-05-20 2024-06-18 京东城市(北京)数字科技有限公司 疾病传染概率确定方法、装置、系统及存储介质
CN111627564B (zh) * 2020-05-25 2024-02-27 日立楼宇技术（广州）有限公司 用户检测模型的训练及检测方法、装置、设备和存储介质
CN111369721B (zh) * 2020-05-26 2021-02-19 浙江宇视科技有限公司 一种检疫方法、闸机单元和闸机系统
CN112530600B (zh) * 2020-05-26 2024-10-15 第四范式（北京）技术有限公司 传染病的溯源方法、装置、电子设备及存储介质
CN113744887A (zh) * 2020-05-29 2021-12-03 京东城市(北京)数字科技有限公司 传染病的传染概率计算方法及装置、存储介质、电子设备
CN111695472A (zh) * 2020-06-02 2020-09-22 广州市泰睿科技有限公司 一种辅助进行信息快速录入的方法、电子设备及存储介质
CN111901753A (zh) * 2020-06-04 2020-11-06 中国联合网络通信集团有限公司 一种基于区块链的传染病密切接触者确定方法及区块链节点
CN111711925A (zh) * 2020-06-04 2020-09-25 中国联合网络通信集团有限公司 一种密切接触者判断方法及装置
CN111711676B (zh) * 2020-06-04 2021-12-10 中国联合网络通信集团有限公司 传染病患者的室内密切接触者的确认方法及服务器
CN111812688B (zh) * 2020-06-05 2021-09-14 中南大学湘雅二医院 一种基于gps的呼吸道传染病潜在携带者追踪方法
US20210391089A1 (en) * 2020-06-15 2021-12-16 Honeywell International Inc. Methods and systems for reducing a risk of spread of an illness in a building
CN111798353A (zh) * 2020-06-17 2020-10-20 广州通达汽车电气股份有限公司 一种公共交通的信息通知方法及装置
CN111798354A (zh) * 2020-06-17 2020-10-20 广州通达汽车电气股份有限公司 一种公共交通的乘车人员信息管理方法及装置
CN111710424A (zh) * 2020-06-19 2020-09-25 浙江新芮信息科技有限公司 餐饮人员健康监测方法、设备和计算机可读存储介质
JP7396214B2 (ja) * 2020-06-26 2023-12-12 トヨタ自動車株式会社 情報処理システム、情報処理方法、及び、プログラム
CN111885502B (zh) * 2020-06-28 2021-07-27 华东师范大学 一种保护隐私的疫情防控预警与追溯系统及方法
CN113851227A (zh) * 2020-06-28 2021-12-28 浙江宇视科技有限公司 一种人员追踪方法、装置、设备
CN113873441B (zh) * 2020-06-30 2024-02-09 香港科技大学 接触者追踪的方法及相应的处理方法、系统、设备和介质
CN111818450A (zh) * 2020-07-01 2020-10-23 中国医学科学院生物医学工程研究所 人员定位方法、装置、设备及存储介质
CN112382400B (zh) * 2020-07-02 2024-02-13 浙江宇视科技有限公司 一种疫情防控方法、装置、电子设备和存储介质
CN111798342A (zh) * 2020-07-07 2020-10-20 德能森智能科技(无锡)有限公司 一种基于云平台的智慧社区系统
CN111885498B (zh) * 2020-07-13 2023-03-24 中国联合网络通信集团有限公司 一种应急响应等级的预测方法及预测装置
CN113938835B (zh) * 2020-07-13 2023-07-07 华为技术有限公司 一种确定密切接触终端设备的方法及装置
US20220020481A1 (en) 2020-07-20 2022-01-20 Abbott Laboratories Digital pass verification systems and methods
CN111737585B (zh) * 2020-08-07 2020-11-17 中航信移动科技有限公司 位置的选择方法、装置、计算机设备及存储介质
CN112037927A (zh) * 2020-08-24 2020-12-04 北京金山云网络技术有限公司 与被追踪人关联的同行人确定方法、装置及电子设备
CN112135261A (zh) * 2020-09-23 2020-12-25 维沃移动通信有限公司 潜在感染者确定方法、装置、电子设备和存储介质
CN112153575B (zh) * 2020-09-27 2024-01-19 深圳前海微众银行股份有限公司 一种接触者追踪方法、装置、设备及存储介质
CN112367622A (zh) * 2020-11-04 2021-02-12 南京科技职业学院 一种用于紧急公共卫生事件预警的方法
CN112635073B (zh) * 2020-12-18 2022-02-08 四川省疾病预防控制中心 一种密切接触者排查方法、装置、计算机设备及存储介质
CN112735605A (zh) * 2021-01-22 2021-04-30 中国银行股份有限公司 人员密切接触识别追踪分析方法及装置
CN113132912B (zh) * 2021-04-12 2022-11-29 东南大学 基于人地数字画像的传染病密接者的双重追溯方法及系统
CN113365211A (zh) * 2021-04-19 2021-09-07 中科劲点（北京）科技有限公司 基于活动轨迹的疫情预报方法及其装置、介质及电子设备
CN113643824B (zh) * 2021-07-19 2024-03-26 南京理工大学 基于γ-疑似感染社区模型的疑似流行病感染人员搜索方法
CN113539512B (zh) * 2021-07-21 2023-06-16 医渡云（北京）技术有限公司 传染病传播趋势的预测方法及装置、存储介质、电子设备
CN113538678A (zh) * 2021-07-28 2021-10-22 视伴科技(北京)有限公司 一种确定潜在目标人的方法及装置
CN113539513A (zh) * 2021-08-03 2021-10-22 卫宁健康科技集团股份有限公司 患者行踪追溯方法、系统、计算机设备及存储介质
CN113327103B (zh) * 2021-08-03 2021-10-26 深圳市知酷信息技术有限公司 智慧校园疫情在线监测预警方法、系统及存储介质
CN113793690B (zh) * 2021-08-31 2024-03-12 医渡云（北京）技术有限公司 传染病的区域风险评估方法、装置、存储介质及设备
CN114067935B (zh) * 2021-11-03 2022-05-20 广西壮族自治区通信产业服务有限公司技术服务分公司 一种流行病调查方法、系统、电子设备及存储介质
CN114496291A (zh) * 2021-12-31 2022-05-13 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 疫情风险评估方法、装置、计算机设备及存储介质
CN115187916B (zh) * 2022-09-13 2023-02-17 太极计算机股份有限公司 基于时空关联的建筑内疫情防控方法、装置、设备和介质
CN117476250B (zh) * 2023-12-21 2024-03-12 华侨大学 基于多目标跟踪的流行病调查预测方法、装置及可读介质
CN118299068B (zh) * 2024-05-29 2024-08-23 四川省大数据中心 一种疫情防控管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118775A (ja) * 2010-12-01 2012-06-21 Nec Casio Mobile Communications Ltd 食中毒管理システム、食中毒管理方法および食中毒管理プログラム
KR101885031B1 (ko) * 2017-05-24 2018-08-03 서울시립대학교 산학협력단 교통 네트워크에 기반하여 질병 위험 지역을 감시하고 정보를 제공하는 장치 및 방법
CN109360660A (zh) * 2018-10-31 2019-02-19 河南省疾病预防控制中心 一种疾控与出行信息互联的防控方法及防控系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7993266B2 (en) * 2002-04-26 2011-08-09 Lawrence Livermore National Security, Llc Early detection of contagious diseases
CN1567329A (zh) * 2003-06-25 2005-01-19 北京行者华视网络系统集成技术有限公司 无污染健康身份证明和健康申报的方法和装置
JP2011142558A (ja) * 2010-01-08 2011-07-21 Fujitsu Ltd イメージセンサおよび撮像システム
CN101999888B (zh) * 2010-12-01 2012-07-25 北京航空航天大学 一种对体温异常者进行检测与搜寻的疫情防控系统
CN103970977A (zh) * 2013-02-06 2014-08-06 翦宜军 疫情监控的方法
CN103259962B (zh) * 2013-04-17 2016-02-17 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
CN103310013A (zh) * 2013-07-02 2013-09-18 北京航空航天大学 一种面向主题的网页采集系统
US9916485B1 (en) * 2015-09-09 2018-03-13 Cpg Technologies, Llc Method of managing objects using an electromagnetic guided surface waves over a terrestrial medium
CN105740615B (zh) * 2016-01-28 2018-10-16 中山大学 利用手机轨迹追踪传染源和预测传染病流行趋势的方法
KR101806521B1 (ko) * 2016-06-08 2017-12-07 (주)에코비즈 열화상 카메라를 이용하는 가축의 방역 시스템
CN107239655A (zh) * 2017-05-26 2017-10-10 陈明福 一种在线健康证明文件的识别方法
CN207067411U (zh) * 2017-08-02 2018-03-02 长沙九兴动物防检用品有限公司 一种用于畜禽防疫的智能跟踪脚标装置
CN108700468A (zh) * 2017-09-29 2018-10-23 深圳市大疆创新科技有限公司 对象检测方法、对象检测终端及计算机可读介质
CN108615214A (zh) * 2018-05-17 2018-10-02 邵春芝 出入境口岸旅客卫生检疫系统及操作方法
CN108812407B (zh) * 2018-05-23 2020-11-27 平安科技（深圳）有限公司 动物健康状态监测方法、设备及存储介质
CN109036579B (zh) * 2018-08-22 2021-11-26 泰康保险集团股份有限公司 基于区块链的信息预测方法、装置、介质及电子设备
CN110771064A (zh) * 2018-09-28 2020-02-07 深圳市大疆创新科技有限公司 一种估计方法、监听设备及计算机可读存储介质
CN110197502B (zh) * 2019-06-06 2021-01-22 山东工商学院 一种基于身份再识别的多目标跟踪方法及系统
CN110717414B (zh) * 2019-09-24 2023-01-03 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118775A (ja) * 2010-12-01 2012-06-21 Nec Casio Mobile Communications Ltd 食中毒管理システム、食中毒管理方法および食中毒管理プログラム
KR101885031B1 (ko) * 2017-05-24 2018-08-03 서울시립대학교 산학협력단 교통 네트워크에 기반하여 질병 위험 지역을 감시하고 정보를 제공하는 장치 및 방법
CN109360660A (zh) * 2018-10-31 2019-02-19 河南省疾病预防控制中心 一种疾控与出行信息互联的防控方法及防控系统

Also Published As

Publication number Publication date
WO2020114528A3 (zh) 2021-01-14
CN111027525A (zh) 2020-04-17
WO2020114528A2 (zh) 2020-06-11
US20230121997A1 (en) 2023-04-20
JP6980928B2 (ja) 2021-12-15
CN111027525B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
JP6980928B2 (ja) 疫病期間中の公共場所における潜在感染者の追跡方法、装置及びシステム
CN106017473B (zh) 一种室内社交导航系统
Elbes et al. A platform for power management based on indoor localization in smart buildings using long short‐term neural networks
Cho et al. An automated direction setting algorithm for a smart exit sign
CN112684430A (zh) 一种室内老人行走健康检测方法、系统、存储介质、终端
Al Qathrady et al. Infection tracing in smart hospitals
CN115019428A (zh) 一种基于场所码的通行管理方法及装置
Pennisi et al. Multi-robot surveillance through a distributed sensor network
Xiang et al. Towards customizable robotic disinfection with structure-aware semantic mapping
Zhao et al. A multi-sensor fusion system for improving indoor mobility of the visually impaired
Tang et al. Development of a real‐time indoor location system using bluetooth low energy technology and deep learning to facilitate clinical applications
Wu et al. Indoor surveillance video based feature recognition for pedestrian dead reckoning
Biswas Vector Map-Based, Non-Markov Localization for Long-Term Deployment of Autonomous Mobile Robots.
Ahmed Designing a Framework to Control? the Spread of Covid-19 by Utilizing? Cellular System
CN115690157A (zh) 一种基于Transformer的毫米波雷达行人轨迹预测方法
Hu et al. Wi-Fi indoor localization based on long short-term memory neural network model of genetic algorithm
Kitbutrawat et al. Easytrack: Zero-calibration smart-home tracking system
Kumari et al. Deep learning and computer vision-based social distancing detection system
Zhou et al. Automatic construction of floor plan with smartphone sensors
Mabrouk et al. Smart COVID-19 GeoStrategies using spatial network Voronoï diagrams
Wang et al. Indoors positioning based on spatial relationships in locality description
US20240292188A1 (en) Multimodal indoor positioning systems and methods for privacy localization
Pennisi et al. Distributed sensor network for multi-robot surveillance
Massollar et al. Fencebot: an elderly tracking app for mitigating health risk contacts
Li et al. Assisting video surveillance in micro-spatial environments with a GIS approach

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200826

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211117

R150 Certificate of patent or registration of utility model

Ref document number: 6980928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250