JP2023070608A - 携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステム - Google Patents

携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステム Download PDF

Info

Publication number
JP2023070608A
JP2023070608A JP2021194242A JP2021194242A JP2023070608A JP 2023070608 A JP2023070608 A JP 2023070608A JP 2021194242 A JP2021194242 A JP 2021194242A JP 2021194242 A JP2021194242 A JP 2021194242A JP 2023070608 A JP2023070608 A JP 2023070608A
Authority
JP
Japan
Prior art keywords
evacuation
mobile device
information
evacuation route
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021194242A
Other languages
English (en)
Other versions
JP7232309B1 (ja
Inventor
グンシク チョン
Gunsik Jeong
ソングン ベ
Sunggeun Bae
ウォンギュ オ
Wonkyu Oh
スビン アン
Subin An
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Disaster Management Research Institute
Original Assignee
National Disaster Management Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Disaster Management Research Institute filed Critical National Disaster Management Research Institute
Application granted granted Critical
Publication of JP7232309B1 publication Critical patent/JP7232309B1/ja
Publication of JP2023070608A publication Critical patent/JP2023070608A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G06Q90/205—Building evacuation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G08B7/062—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources indicating emergency exits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G08B7/066—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources guiding along a path, e.g. evacuation path lighting strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

【課題】災害時に建物内の在室者が迅速かつ安全に避難できるようにするための携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。【解決手段】避難誘導システムは、災害発生時に避難経路を提示するための避難誘導アプリケーションをインストール済みの携帯機器１００及び携帯機器に複数の避難経路情報を提供するサーバを含む。携帯機器は、避難誘導アプリケーションを実行して避難誘導インターフェース１１０を表示し、撮影した風景映像を映像表示領域１１１に表示し、災害の種類、使用者の運動能力及び個人状況に関する詳細情報に基づいて設定された複数の避難経路のいずれか１つをマップ表示領域１１２上に表示する。携帯機器は、映像表示領域上に風景映像と重畳してマップ表示領域上に表示された避難経路に沿って現在地から移動する方向を表示するためのガイド情報を表示する。【選択図】図６

Description

本発明は、携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムに関する。
急激な産業の発達、社会の発展、人口の増加に伴い、建築物に文化施設、商業施設、住居施設などの中大規模建物が増加し、その規模の大型化及び用途の複合化につれて、建物の内部が複雑になり使用者が建物内の道探しに困難を経験する場合が増えている。これは、特に、火災、ガス漏れ、地震、テロなどの災難・災害が発生する場合、その建物の使用者の避難と救助において混乱を加重させる可能性がある。従って、中大規模建物の複雑な内部で発生する災難・災害の状況において避難者の信頼できる避難経路案内システムの必要性が提起された。近年、多様な分野で避難に関する技術が開発されることにより、災難・災害の状況により能動的に対処できる避難経路案内システムの設計が可能となった。現在開発されている避難関連技術としては、避難者の室内位置を把握する通信技術、災難・災害を測定するセンサ技術、建築物の倒壊危険度を測定するセンサ技術、災難・災害の拡散をモニターする技術などがある。さらに、建築物施設管理のためのＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）ベースのスマート建築と現在開発されている避難関連技術とを統合して適用することにより、建物内部の状況を把握することが可能となり、これにより新しい避難経路案内システムの設計も可能となっている。従来の技術は、屋内の災難状況の予測に集中しているため、災難状況のような混乱状況において避難者に適切な避難経路を提供するに限界があった。最近は、これを解決するために、韓国登録特許第１０－２１２４０９７号公報はモノのインターネットセンサを利用して煙や火炎を感知し、在室者のスマートフォンに避難路をリアルタイムで案内する技術を紹介している。しかしながら、火災などによりモノのインターネットセンサの作動エラーや破損が発生すると、避難経路上の様々な地点の時々刻々と変化する災害状況を考慮した適切な避難経路の案内には限界があった。また、韓国公開特許第１０－２０１９－０１３８２２２号公報は拡張現実に基づいて建物内の避難経路をスマートフォンに案内する技術を紹介しているが、予め設定された避難経路の提供に過ぎず、避難経路上の突発的な状況を事前に確認して時期に適切に対処できない限界がある。
韓国登録特許第１０－２１２４０９７号公報 韓国公開特許第１０－２０１９－０１３８２２２号公報 欧州特許第３１４９７１６号明細書
本発明は、災害時に建物内の在室者が迅速かつ安全に避難できるようにするための携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。
また、本発明は、避難経路上の複数の地点の突発的な状況などを把握して在室者に迂回経路への回避避難を可能とする携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。
また、本発明は、避難経路上に位置する災害の種類に応じた様々な非常用品の位置情報と非常用品の使い方などに関する情報を提供することにより、在室者が安全に避難できるようにする携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。
また、本発明は、避難経路上の様々な地点での撮影映像をディープラーニングマシン学習方式で分析し、分析された地点の人の移動可能の可否を判断して避難者に迂回経路に回避して避難するか否かを迅速に判断できるようにする携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。
また、本発明は、建物内部の天井や通路などに複数設置されて、火災・地震などの災害時に非常口（ｅｍｅｒｇｅｎｃｙ ｅｘｉｔ）又は避難場所への避難を誘導する避難誘導補助装置を活用するとともに、避難者の個人特有の状況や現在の環境状態を反映して聴覚的、視覚的な方法でメッセージを出力することにより、障害を持つ避難者や子ども等も避難に関する情報を正確に受信できるようにする携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供する。
実施例は、災害発生時に在室者の現在地から避難所までの避難経路を提示するための避難誘導アプリケーションのインストール済みの在室者の携帯機器；及び前記携帯機器に複数の避難経路情報を提供するサーバ；を含み、前記携帯機器は、前記避難誘導アプリケーションを実行して避難誘導インターフェースを表示し、前記携帯機器は、撮影した風景映像を前記避難誘導インターフェースの映像表示領域に表示し、災害の種類、使用者の運動能力、個人状況に関する詳細情報に基づいて設定された前記複数の避難経路のいずれか１つを前記避難誘導インターフェースのマップ表示領域上に表示し、前記携帯機器は、前記映像表示領域上に前記風景映像と重畳して前記マップ表示領域上に表示された避難経路に沿って現在地から移動する方向を表示するためのガイド情報を表示する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記サーバは、前記災害の種類、使用者の運動能力、個人状況に関する詳細情報に基づいて前記複数の避難経路の優先順位を設定し、前記携帯機器は、前記サーバから受信した複数の避難経路の優先順位に基づいて選択されたいずれか１つの避難経路を前記マップ表示領域上に表示する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器は、災害の種類に関連した少なくとも１つの非常用品に関する位置情報を前記サーバから受信して前記マップ表示領域上の避難経路上に表示する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器が前記非常用品の配置位置とマッチングする前記マップ表示領域上に表示された避難経路上の一地点上に位置すると、前記携帯機器は、撮影映像を分析して撮影映像から非常用品の検出可否を判断し、前記携帯機器は、撮影映像から非常用品が検出されると、前記非常用品の識別を容易にする表示を行い、検出された非常用品の使用方法に関する情報を含むタグを表示する携帯機器の拡張現実を利用した避難経路案内のための避難経路を提供することができる。
他の側面において、前記携帯機器が前記非常用品の配置位置とマッチングする前記マップ表示領域上に表示された避難経路上の一地点上に位置すると、前記携帯機器は、撮影映像を分析して撮影映像から非常用品の検出可否を判断し、前記携帯機器は、撮影映像から非常用品が未検出されると、非常用品の使用済み情報及び使用済み非常用品の位置情報を前記サーバに送信し、避難経路上に表示された使用済みの非常用品の位置を除去するために前記サーバは使用済みの非常用品及び使用済みの非常用品の位置情報を前記サーバと通信する全ての在室者の携帯機器に送信する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器は現在地から避難所までの残りの経路上の複数の異なる地点において他の携帯機器により撮影された映像イメージである経由地点状態イメージを前記サーバから受信して表示する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器は、表示された経由地点状態イメージ及び経路再設定アフォーダンスの選択に応答して選択された経由地点状態イメージ上の地点を迂回する避難経路を再設定して前記マップ表示領域上に表示する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器の位置変更に応じて前記携帯機器上で表示される経由地点状態イメージは周期的にアップデートされる携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器の現在地から前記避難所までの残りの距離と、現在地から前記避難所までの残り経路上での他の使用者の携帯機器の個数情報と、他の使用者の携帯機器相互間の位置上の離隔距離に基づいて前記サーバが使用者の携帯機器に送信する経由地点状態イメージの個数が決定される携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記サーバは、同一の避難経路に沿って移動する複数の使用者のそれぞれが撮影した同一地点の撮影映像イメージデータを受信し、複数の撮影映像イメージデータを分析して前記同一地点の環境状態情報を検出して前記同一地点を移動することが適切でない回避地点であると判断されると、前記同一の避難経路に沿って移動する複数の使用者の携帯機器に避難経路再設定要求及び回避地点に関する位置情報並びに回避地点を撮影した映像イメージデータを送信する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
他の側面において、前記携帯機器は、前記避難経路に沿って既設定された距離の移動完了の可否を判断して前記既設定された距離移動の平均移動速度及び前記既設定された距離の移動中に消耗した前記携帯機器のバッテリの消耗量を算出し、残りの経路の移動に必要なバッテリの消耗量の推定値が現在の前記バッテリの充電量を超過しているかを判断し、超過していない場合はリアルタイム災難状況通知モード及び災難状況バッテリ消耗量制御モードを実行し、前記携帯機器は、所定時間の間使用記録があるメッセンジャアプリケーションと前記メッセンジャアプリケーション内で予め設定された時間の間対話を行った主要対話者情報を抽出して表示し、表示された主要対話者情報の選択に応答して選択された主要対話者にリアルタイム避難経路情報及び現在の使用者の位置情報を送信し、既設定された時間内に前記選択された主要対話者から応答が受信されると、前記選択された主要対話者との対話モードを実行し、前記携帯機器は、予め登録された使用者の生体情報の感知可否を判断して、前記生体情報が感知されると、前記携帯機器のディスプレイのオン状態を維持して前記選択された主要対話者に使用者を撮影した映像及び前方の撮影映像情報を送信し、前記生体情報が検知されない間は前記ディスプレイをオフにし、避難情報を音声で案内する携帯機器の拡張現実を利用した避難経路案内のためのシステムを提供することができる。
実施例は、災害時に建物内にいる在室者が迅速かつ安全に避難できるようにするための携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供することができる。
実施例は、避難経路上の複数の地点の突発的な状況などを把握できるようにして在室者に迂回経路への回避避難を可能とする携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステムを提供することができる。
実施例は、避難経路上に位置する災害の種類に応じた様々な非常用品に関する位置情報と非常用品の使い方などの情報を提供して在室者が避難中に非常用品の位置を速やかに把握できるようにするとともに、非常用品の使用の有無に応じて非常用品の位置情報をアップデートすることにより寸秒を争う緊急状況に既に使用された非常用品を収集するために時間を費やす問題を解決することができる。
実施例は、災害の種類、使用者の運動能力、個人の特異事項を考慮して複数の避難経路の設定及び複数の避難経路の優先順位を設定して現在環境と使用者に適した避難経路を提供することができる。
実施例は、使用者が避難経路に沿って移動中に残りの経路上の複数の地点の実際状況情報を映像イメージから把握できるようにして、経由する地点の現状と移動可能の可否に対する迅速な判断ができるようにするとともに、移動不可能と予測される地点が存在する場合、該当地点を回避する迂回避難経路を設定できるようにする。
実施例は、同一の避難経路上の任意の地点に対する複数の撮影イメージをディープラーニングマシン学習により分析して該当地点が移動可能な地点であるか否かを判断し、その結果を使用者に通知して使用者に現在の避難経路の安全性と避難経路の再設定の必要性に対して速やかに判断できるようにする。
実施例は、災害の種類、使用者の運動能力、個人状況に関する詳細情報に基づいて現在の環境と使用者の個人特有の状況に応じた形態のメッセージを使用者の携帯機器とペアリングされた避難誘導補助装置を介して出力することにより、障害を持つ避難者や子どもなども避難に関する情報を正確に受信できるようにする。
本発明の一実施例による避難誘導システムを実現するための構成を示すブロック図である。 携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようサポートするために携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。 携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようサポートするために携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。 携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようサポートするために携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。 携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようサポートするために携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。 携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようサポートするために携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。 経由地点状態イメージを表示する方法を説明するための図である。 避難経路を再設定する方法に関連する避難誘導インターフェースを概略的に示す図である。 サーバが複数の携帯機器から映像イメージデータを受信し、環境状態情報を分析する方法を説明するための実施例によるシステムを概略的に示す図である。 回避地点の表示及び経路再設定のための案内タグの表示に関連する避難誘導インターフェースを概略的に示す図である。 非常用品が除去された状態を検出して避難経路上から非常用品の位置情報を除去する方法を説明するための例示的な避難誘導インターフェースを示す図である。 携帯機器の拡張現実を利用した在室者の避難経路案内方法において、リアルタイム災難状況通知モード実行及び災害状況バッテリ消耗量制御モード実行に関するフローチャートである。 携帯機器の拡張現実を利用した在室者の避難経路案内方法において、リアルタイム災難状況通知モード実行及び災害状況バッテリ消耗量制御モード実行に関するフローチャートである。 携帯機器の拡張現実を利用した在室者の避難経路案内方法において、リアルタイム災難状況通知モード実行及び災害状況バッテリ消耗量制御モード実行に関するフローチャートである。 リアルタイム災難状況通知モード実行による避難誘導インターフェースを示す図である。 リアルタイム災難状況通知モード実行による避難誘導インターフェースを示す図である。
本発明は、多様な変換を加えることができ、様々な実施例を有することができるところ、特定の実施例を図面に例示し、詳細な説明に詳しく説明しようとする。本発明の効果及び特徴、並びにそれらを達成する方法は図面とともに詳細に後述されている実施例を参照すると明確になる。しかしながら、本発明は、以下に開示される実施例に限定されるものではなく、様々な形態で実現されることができる。以下の実施例において、「第１」、「第２」などの用語は限定の意味ではなく、１つの構成要素を他の構成要素と区別する目的で使われる。また、単数の表現は文脈上明らかに異なる意味を持たない限り複数の表現を含む。また、「含む」又は「有する」などの用語は、明細書上に記載された特徴又は構成要素が存在することを意味するものであって、１つ以上の他の特徴又は構成要素が付加される可能性を予め排除するものではない。また、図面では説明の便宜のために構成要素のサイズを誇張又は縮小する場合がある。例えば、図面における各構成のサイズ及び厚さは説明の便宜のために任意で示しているので、本発明が必ずしも図示されたものに限定することではない。
以下、添付図面を参照して本発明の実施例を詳細に説明し、図面を参照して説明する場合、同一又は対応する構成要素に対しては同一の図面符号を付与し、重複する説明は省略する。
図１は、本発明の一実施例による避難誘導システムを実現するための構成を示すブロック図である。
一実施例による避難誘導システム１０は、携帯機器１００とサーバ２００により実現できる。様々な実施例によって、避難誘導システム１０は携帯機器１００、サーバ２００、避難誘導補助装置３００により実現できる。
携帯機器１００とサーバ２００はインターネットなどの通信回線を介して接続される。
携帯機器１００は、例示的にスマートフォンのような携帯端末機２０であり得る。様々な実施例において、携帯機器１００は、スマートグラス３０やヘッドマウンテッドディスプレイのようなウェアラブルタイプのコンピューティング機器であり得る。スマートグラス３０タイプの携帯機器１００は、着用中に使用者が周辺の物理的空間を見ることができるように光を透過しながら使用者の視野上に仮想コンテンツ（実施例において、拡張現実ベースの各種情報など）を表示するグラスを含むディスプレイシステムを含む。携帯機器１００は使用者の入力を受信できる。携帯端末機２０タイプの携帯機器１００は、物理的入力を受信できる物理的ボタン及びタッチ入力を受信できるタッチディスプレイ、音声命令を受信できるマイクシステムを備えてもよい。その他のスマートグラス３０タイプの携帯機器１００は、使用者の手振りなどによるジェスチャーを認識できるジェスチャー認識システムを備えてもよく、使用者はジェスチャーによりスマートグラス３０に命令信号を入力することができる。
避難誘導システム１０を実現するために、携帯機器１００には避難誘導アプリケーション１００ａがインストールされる。様々な実施例において、予め決められた建物内に携帯機器１００が位置しているとの判断に応答して携帯機器１００に避難誘導アプリケーション１００ａのダウンロード及び設置可否に関するメッセージを送信することができる。使用者はメッセージ上の情報やリンクを利用して避難誘導アプリケーション１００ａを携帯機器１００上にダウンロード及びインストールする。
避難誘導アプリケーション１００ａは、建物内に火災や地震などの各種災害が発生した場合、使用者（在室者）の現在地から避難所までの避難経路を提示するためのソフトウェアである。
使用者は、決められた操作により避難誘導アプリケーション１００ａを起動する。このような避難誘導アプリケーション１００ａを携帯機器１００にインストールしておくことにより、使用者が急な災害を迎えた場合も、避難所などの安全な場所に容易に到着することが可能となる。
携帯機器１００は、少なくとも１つのプロセッサとメモリ及びカメラ装置、ディスプレイ装置、各種センサと通信装置を含む。プロセッサは、メモリに格納された避難誘導プログラムを実行することにより避難誘導アプリケーション１００ａの機能を使用者に提供する。避難誘導アプリケーション１００ａの実行によりカメラ装置が駆動して風景を撮影する。
携帯機器１００は、サーバ２００から複数の避難経路情報を受信して使用者に適した避難経路をディスプレイ装置から表示する。
図２ないし図６は、携帯機器上で避難誘導アプリケーションが実行された後、使用者が避難経路に沿って安全に避難所に移動できるようにサポートするために、携帯機器上に表示された様々な避難誘導インターフェースを概略的に示す図である。
図２に示すように、使用者が携帯機器１００上で避難誘導アプリケーション１００ａを実行すると、避難誘導インターフェース１１０が表示される。その後、携帯機器１００のカメラ装置により撮影が行われ、撮影された風景映像がディスプレイ装置を介して表示される。そして、携帯機器１００には使用者の現在地を含むマップが表示される。
使用者の現在の位置は、使用者が携行した携帯機器１００の位置となり得る。携帯機器１００の位置は、携帯機器１００に内蔵された地磁気センサのセンシング情報を分析して位置を推定する方法、周辺のｗｉ－ｆｉを利用して位置を推定するｗｉ－ｆｉポジショニング方法、ｗｉ－ｆｉ／Ｂｌｕｅｔｏｏｔｈ（登録商標）ベースの室内位置測位技術としてのＦｉｎｇｅｒｐｒｉｎｔｉｎｇベースの位置測位方法、三辺測量ベースの位置測位方法、ＢＬＥを利用した位置認識方法、地球磁気場を利用した位置測位方法、カメラを利用した位置認識方法など、様々な方法のいずれか１つにより室内における携帯機器１００の現在位置が推定できる。ただし、前述した位置推定方法に限定するものではない。
撮影された風景映像は映像表示領域１１１に表示され、マップはマップ表示領域１１２に表示される。映像表示領域１１１とマップ表示領域１１２は、互いに区分されて表示される。図面においては、携帯機器１００が携帯端末機２０である場合を例にして説明しているが、これに制限されるものではなく、スマートグラス３０である場合、映像表示領域１１１とマップ表示領域１１２はそれぞれ異なる位置で多様な形態で表示できる。
マップ表示領域１１２においては携帯機器１００の現在位置情報ｃｌが表示される。そして、携帯機器１００の位置の変更に伴いマップ表示領域１１２上において表示されるマップ上には位置情報ｃｌが変更できる。そして、携帯機器１００の移動に対応して位置情報ｃｌが移動される。
図２及び図３に示すように、避難誘導インターフェース１１０は、映像表示領域１１１上において表示された風景映像の一部の領域に重畳して複数の状態入力アフォーダンスｉａ１、ｉａ２、ｉａ３を表示する。避難誘導インターフェース１１０は、表示された複数の状態入力アフォーダンスｉａ１、ｉａ２、ｉａ３のいずれか１つのアフォーダンスに対する選択（例えば、タッチ入力）に応答して選択されたアフォーダンスｉａ１にマッチングされた複数の詳細情報入力アフォーダンスｓａを表示することができる。
複数の状態入力アフォーダンスｉａ１、ｉａ２、ｉａ３のいずれか１つは、災害の種類を入力できるようにする詳細な情報入力アフォーダンスの表示を実行する一種のボタンになり得る。複数の状態入力アフォーダンスｉａ１、ｉａ２、ｉａ３のうち他の１つは使用者の運動能力に関連する詳細情報入力アフォーダンスの表示を実行する一種のボタンになり得る。複数の状態入力アフォーダンスｉａ１、ｉａ２、ｉａ３のうちまた他の１つは、使用者の個人状況に関する詳細情報入力アフォーダンスの表示を実行する一種のボタンになり得る。
災害の種類に関して、詳細な情報入力アフォーダンスは地震、火災、危険物質漏洩などの情報入力のための 一種のボタンとなり得る。
使用者の運動能力に関連して、詳細情報入力アフォーダンスは、例えば、「歩けない、登れない、走れない、足の傷」などの情報入力のための一種のボタンとなり得る。そして、使用者の個人状況に関して詳細な情報入力アフォーダンスは「特定年齢以下の子ども、聴覚障害者、子連れ、車椅子、ベビーカー」などの個人の特殊な状況に関する情報を入力できるようにする一種のボタンとなり得る。使用者は、表示された複数の詳細情報入力アフォーダンスｓａのいずれか１つを選択することにより、現在発生した災害の種類、現在の自分の運動能力、個人の特異状況に関連する詳細情報を入力することができる。
携帯機器１００は、入力された災害の種類、使用者の運動能力、個人の状況に関する詳細情報及び現在の携帯機器１００の位置情報をサーバ２００に送信することができる。
サーバ２００は、受信した災害の種類、使用者の運動能力、個人の状況に関する詳細情報及び現在の携帯機器１００の位置情報に基づいて、携帯機器１００の現在位置から避難所までの複数の避難経路を設定することができる。
サーバ２００は、災害の種類、使用者の運動能力、個人の状況に関する詳細情報に基づいて、適切な避難経路を設定することができる。
例えば、火災が発生した場合は、予め登録された避難所のうち火災発生時に避難可能な避難所に向かう最適な避難経路を設定することができる。また、使用者が足に傷があるか、車椅子に乗っているか、ベビーカーを持っている場合は、階段を利用できない場合であると判断し、階段を回避する避難経路を設定することができる。また、使用者が特定年齢以下の子どもである場合や聴覚障害者である場合のように、使用者に追加的な避難誘導の補助情報を提供することが必要であると判断されると、避難誘導補助装置３００が位置する領域を経由する避難経路を設定することができる。
サーバ２００は、複数の避難経路情報を生成し、これらの優先順位を設定する。サーバ２００は、災害の種類、使用者の運動能力、個人の状況に関する詳細情報に基づいて複数の避難経路情報の優先順位を設定する。
サーバ２００は、設定した複数の避難経路情報を携帯機器１００に提供する。
避難誘導インターフェース１１０は、表示された経路設定アフォーダンスｒａの選択に応答してサーバ２００から受信した複数の避難経路のうち最優先順位の避難経路をマップ表示領域１１２上に予め表示されたマップに重畳して避難経路を表示することができる。
様々な実施例において、避難誘導インターフェース１１０は避難経路を表示した後、再び経路設定アフォーダンスｒａの選択を受信すると、表示された避難経路の次順位の他の避難経路を表示することができる。従って、使用者は経路設定アフォーダンスｒａを選択することにより表示される避難経路を変更することができる。
様々な実施例において、避難誘導インターフェース１１０は表示された避難経路の優先順位情報を追加で表示することができる。
図４に示すように、避難誘導インターフェース１１０は、携帯機器１００の位置情報と携帯機器１００の傾いた角度情報に基づいて映像表示領域１１１上に風景映像に重畳した移動方向ガイド情報を表示することができる。
例えば、避難経路に沿って現在の携帯機器１００の位置から先に進むべき経路を矢印のような手段で表示して使用者の移動方向をガイドすることができる。
避難誘導インターフェース１１０は、映像表示領域１１１上に携帯機器１００が撮影した映像を表示し、それに重畳して避難経路に沿って現在位置から移動する方向と移動距離に関する避難経路ガイド情報を表示することができる。携帯機器１００は、自分の位置と傾きた角度情報に基づいて避難経路ガイド情報を適切に変更して使用者が避難経路に沿って正しい方向に移動できるように誘導する。
図５に示すように、避難誘導インターフェース１１０は、避難経路上に位置する少なくとも１つの非常用品に関する位置情報をマップ表示領域１１２上に表示できる。様々な実施例において、携帯機器１００は、マップ表示領域１１２上に表示された避難経路情報が確定されると、サーバ２００から表示される避難経路上に位置する非常用品の位置情報を受信することができる。また、マップ表示領域１１２上で表示される避難経路情報が変更されると、携帯機器１００はサーバ２００から変更された避難経路上に位置する非常用品の位置情報を受信することができる。
例えば、避難誘導インターフェース１１０は、入力された災害の種類が火災である場合、サーバ２００から受信したマップ上の複数の非常用品に関する位置情報のうちマップ表示領域１１２上に表示された避難経路上に位置する非常用品のみをフィルタリングしてマップ表示領域１１２上に表示することができる。
様々な実施例において、避難誘導インターフェース１１０は、マップ表示領域１１２上で非常用品の種類を把握しやすい形態の非常用品のアイコンｅｓｉを当該非常用品の位置地点上に表示することもできる。
避難誘導インターフェース１１０は、携帯機器１００が非常用品の配置位置とマッチングされる経路の一地点上に位置すると判断された場合、撮影映像を分析して撮影映像から非常用品が検出されるか否かを判断できる。携帯機器１００が撮影映像から非常用品を検出すると、避難誘導インターフェース１１０は非常用品ｅｓの識別を容易にする様々な追加表示を行うことができる（図示の例によれば、非常用品を囲む四角形のフレームが表示されてもよい）。また、避難誘導インターフェース１１０は、映像表示領域１１１上に非常用品ｅｓの使用方法に関する情報を含むタグｔｇを表示することができる。タックｔｇは検出された非常用品ｅｓの周辺に位置して表示されてもよい。
図６に示すように、サーバ２００は、携帯機器１００上において現在表示されている避難経路情報を携帯機器１００から受信することができる。そして、サーバ２００は、現在の携帯機器１００の位置情報を携帯機器１００から周期的に受信することができる。また、サーバ２００は、携帯機器１００が撮影した映像及び映像が撮影された地点の位置情報を周期的に携帯機器１００から受信することができる。様々な実施例において、データの迅速な送受信のために携帯機器１００からサーバ２００に送信される映像はイメージデータとなり得る。
サーバ２００は、現在の携帯機器１００の位置から避難所までの避難経路上の異なる複数の地点において他人の携帯機器により撮影された映像情報である経由地点状態イメージデータを携帯機器１００に送信することができる。様々な実施例において、サーバ２００が携帯機器１００で提供する撮影された映像はイメージデータとなり得る。
図７は、経由地点状態イメージを表示する方法を説明するための図である。
図６及び図７を避難経路上での複数の携帯機器により撮影されたイメージデータを収集して参照すると、サーバ２００は、出発地点ＳＰから避難所ＳＨまでの避難経路ｐにおいて、使用者の携帯機器１００ｐの現在位置から避難所ＳＨまでの経路上において異なる地点に位置する他人の携帯機器１００ａｐ１、１００ａｐ２、１００ａｐ３からそれぞれが撮影した映像のイメージａ、ｂ、ｃを受信することができる。そして、サーバ２００は、受信したイメージａ、ｂ、ｃである経由地点状態イメージデータを使用者の携帯機器１００ｐに送信することができる。図示の例によれば、サーバ２００は、３つの他人の携帯機器１００ａｐ１、１００ａｐ２、１００ａｐ３から受信したイメージを使用者の携帯機器１００ｐに送信するが、これに制限されるものではなく、使用者の携帯機器１００ｐの現在位置から避難所ＳＨまでの残りの距離と残りの経路上での他人の携帯機器の個数情報及び他人の携帯機器間の位置上の離隔距離に基づいてサーバ２００が使用者の携帯機器１００ｐに送信するイメージの個数は変わる。
携帯機器１００はサーバ２００から経由地点状態イメージデータを受信し、経由地点状態イメージを表示することができる。様々な実施例によって、複数の経由地点状態イメージのそれぞれが撮影された位置情報がマップ表示領域１１２上に表示されてもよい。
使用者は、避難経路上の残りの経路上にある複数の地点の映像イメージを携帯機器１００により確認することができる。そして、携帯機器１００の位置の変更に従って残りの経路上の複数の地点に対する映像イメージが周期的にアップデートされる。使用者は、残りの経路上の複数の地点の避難する人々の状態や周辺環境、そして安全などに関する情報を映像イメージから確認することができる。使用者は、避難経路の一地点が避難経路として不適切であると判断する場合には、避難経路を再設定するために経路設定アフォーダンスｒａを選択することにより表示される避難経路を変更して他の避難経路を利用して移動することもできる。
図８は、避難経路の再設定する方法に関連する避難誘導インターフェースを概略的に示す図である。
図８に示すように、様々な実施例において、避難誘導アプリケーション１００ａは、表示された残りの経路上の複数地点に対する映像イメージのいずれか１つの選択と経路設定のアフォーダンスｒａの選択に応答して選択された映像イメージ上の地点を迂回する避難経路ｃｐに変更して表示することもできる。詳細には、避難誘導アプリケーション１００ａは複数の避難経路情報のうち選択された映像イメージ上の撮影地点を含まない避難経路情報を抽出し、抽出された避難経路のうち優先順位の高い避難経路ｃｐを表示することができる。従って、使用者は表示された残りの経路上の複数の地点に対する映像イメージを確認して移動経路として不適切であると判断した場合、該当地点の映像イメージを選択した経路設定アフォーダンスｒａを選択することにより、選択した地点を迂回する避難経路を再設定することができ、再設定された避難経路に迂回して避難することができる。
図９は、サーバが複数の携帯機器から映像イメージデータを受信し、環境状態情報を分析する方法を説明するための実施例によるシステムを概略的に示す図である。
図９に示すように、サーバ２００は、同一の避難経路上を移動する複数の使用者が撮影した映像イメージデータを受信する。サーバ２００は、避難経路上の複数の地点のそれぞれで撮影された映像イメージデータを周期的に受信することができる。サーバ２００は、複数の地点のいずれか一地点で撮影された映像イメージデータを複数回受信した後、複数の映像イメージを分析して該当地点の環境状態情報を検出する。ここで、環境状態情報は、該当地点における火災の有無、人の密集度の程度に関する情報となりうるが、これに制限されるものではなく、避難者が該当地点を移動することが適切であるか否かを判別するための情報である。
サーバ２００は、複数の映像イメージを分析して特定の地点での火災有無を判断するためにＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用した煙のイメージと炎のイメージの特徴を抽出することにより火災の有無を判断することができるが、これに制限されるものではなく、映像イメージの分析により映像イメージ上の地点での火災の有無や火災により人の移動可能の可否を判断できる方法であれば、様々な方法を利用することができる。また、サーバ２００は、ディープラーニングネットワーク（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）を用いて複数の映像イメージを分析して映像イメージ上の地点での人の密集度情報を検出することができる。
前述したように、サーバ２００は、分析された地点が人の移動に適切でないか移動不可能な地点である回避地点として判断した場合、複数の使用者の携帯機器のうち移動が不適切であるか移動不可能であると判断された地点である回避地点が属する避難経路を表示している携帯機器（ら）に避難経路再設定要求及び回避地点に関する位置情報並びに回避地点を撮影した映像イメージデータを送信することができる。
図１０は、回避地点の表示及び経路再設定のための案内タグの表示に関連する避難誘導インターフェースを概略的に示す図である。
図１０に示すように、携帯機器１００は、受信した回避地点ｄｐをマップ表示領域１１２上に表示することができる。また、携帯機器１００は、受信した回避地点の映像イメージｄｐｉを表示することができ、案内タグ（例えば、図示のように、表示地点は火災発生地点であるので避難経路を再設定してくださいなど）を表示できる。
使用者は、表示された回避地点の映像イメージｄｐｉを確認して使用者の身体状態などを考慮して回避地点として指定された地点の通過可否を判断して回避地点の通過が不可能であると判断した場合、経路の再設定により迂回経路に避難することができる。
図１を再び参照すると、様々な実施例において、避難経路上には少なくとも１つの避難誘導補助装置３００が設置されていてもよい。
避難誘導補助装置３００は建物内部の天井や通路などに複数設置されて火災、地震などの災害時に非常口（ｅｍｅｒｇｅｎｃｙ ｅｘｉｔ）又は脱出場所に避難する人を誘導することができる。
避難誘導補助装置３００は、既に設定された半径に位置する少なくとも１つの携帯機器１００とペアリングされることができる。使用者が避難経路を移動中に避難誘導補助装置３００に隣接する位置上に到達すると、避難誘導補助装置３００は使用者の携帯機器１００と自動でペアリングされる。避難誘導補助装置３００は、ペアリングされた携帯機器１００から災害の種類、使用者の運動能力、個人の状況に関する詳細情報を受信することができる。 例えば、使用者が聴覚障害者である場合、使用者の避難経路に沿った移動や災害状態に応じた移動中の措置事項に関する視覚情報を出力することができる。また、避難誘導補助装置３００は、使用者が特定年齢以下の子どもである場合、避難経路の移動や災害状態に応じた移動中の措置事項に関して子どもに分かりやすい形態の文字やイメージなどを表示することができる。
避難誘導補助装置３００は、既に設定された半径上に位置する使用者の携帯機器１００とペアリングされて災害の種類、使用者の運動能力、使用者の特異状況を考慮して使用者の状態と現状に応じたメッセージを聴覚的及び／又は視覚的に提供することにより、使用者が安全かつ迅速に災害状況から避難できるようサポートする。
図１１は、非常用品が除去された状態を検出して避難経路上から非常用品の位置情報を除去する方法を説明するための例示的な避難誘導インターフェースを示す図である。
図５及び図１１を参照すると、避難誘導インターフェース１１０は、携帯機器１００が非常用品が配置された位置とマッチングする経路の一地点上に位置すると判断した場合、撮影映像を分析して撮影映像から非常用品の検出可否を判断できる。
もし、使用者が避難経路上に備えられた非常用品を使用した場合を仮定する。この場合、使用者の後に続く他の使用者の携帯機器１００の避難誘導インターフェースは携帯機器が非常用品の配置位置とマッチングされる経路の一地点上に位置すると判断し、撮影映像を分析する。しかしながら、非常用品が既に使用されているため、撮影映像内からは非常用品が検出されなくなる。この場合、当該携帯機器は、非常用品の使用済み情報及び使用済みの非常用品の位置情報をサーバ２００に送信する。サーバ２００は、非常用品の使用済み情報及び使用済みの非常用品の位置情報を受信すると、使用済みの非常用品及び使用済みの非常用品の位置情報をサーバ２００と通信する全ての在室者の携帯機器に送信する。
使用済みの非常用品及び使用済みの非常用品の位置情報を受信した携帯機器のうち使用済みの非常用品の位置が属する避難経路を表示する携帯機器は、図１１のマップ表示領域１１２上の点線円形で表示されているように、避難経路上から表示された非常用品のアイコンｅｓｉを除去して非常用品の位置情報をアップデートする。
図１２ないし図１４は、携帯機器の拡張現実を利用した在室者の避難経路案内方法において、リアルタイム災難状況通知モード実行及び災難状況バッテリ消耗量制御モード実行に関するフローチャートである。そして、図１５及び図１６は、リアルタイム災難状況通知モード実行による避難誘導インターフェースを示す図である。
図１２に示すように、携帯機器の拡張現実を利用した在室者の避難経路案内方法において、リアルタイム災難状況通知モード実行及び災難状況バッテリ消耗量制御モード実行の方法（Ｓ１００）は以下の各段階を含む。まず、携帯機器１００は、避難誘導アプリケーション１００ａの実行要求の受信に応答して避難誘導アプリケーション１００ａを実行(Ｓ１１０)し、避難経路ｐの表示が完了しているか否かを判断する(Ｓ１２０)。携帯機器１００は、避難経路ｐの表示完了していると判断した場合、携帯機器１００の位置情報に基づいて避難経路ｐに沿って使用者が既設定された距離の分だけ移動しているか否かを周期的に判断する(Ｓ１３０)。携帯機器１００は、使用者が避難経路ｐに沿って既設定された距離を移動したと判断する場合、既設定された距離の移動による平均移動速度を算出し、既設定された距離を移動しながら消耗した携帯機器１００のバッテリの消耗量を算出する（Ｓ１４０）。携帯機器１００は、算出された既設定された距離の移動による平均移動速度と既設定された距離を移動しながら消耗した携帯機器１００のバッテリの消耗量に基づいて残りの経路の移動によるバッテリの消耗量の推定値を計算する（Ｓ１４０）。すなわち、携帯機器１００は、避難経路ｐ上において残りの経路を移動することによるバッテリの消耗量の推定値を計算することができる。
次に、携帯機器１００は、残りの経路の移動によるバッテリの消耗量推定値が現在のバッテリ充電量を超えているか否かを判断する(Ｓ１５０)。
残りの経路の移動によるバッテリの消耗量推定値が現在のバッテリ充電量を超過する場合、携帯機器１００は、現在の位置から避難経路ｐに沿って既設定された距離の移動を完了しているか否かを判断する段階(Ｓ１３０)に戻る。
使用者が避難経路ｐを移動する間、前記のような過程は周期的に繰り返される。従って、携帯機器１００が避難場所に到達するまで携帯機器１００が活性化した状態を維持するように、携帯機器１００のバッテリの充電量が十分であるかのモニタリングが可能である。
携帯機器１００は、残りの経路の移動によるバッテリの消耗量推定値が現在のバッテリ充電量以下であると判断する場合、リアルタイム災難状況通知モード及び災難状況バッテリ消耗量制御モードを実行(Ｓ１６０、Ｓ１７０)する。
図１３、図１５及び図１６を参照すると、携帯機器１００のリアルタイム災難状況通知モード(Ｓ１６０)において下記の各段階が実行される。
携帯機器１００は、予め設定された第１グループのアプリケーションがバックグラウンドモードで実行されている場合、第１グループのアプリケーションを強制終了してバッテリの消耗量を削減する（Ｓ１６１）。ここで、第１グループのアプリケーションは、避難誘導アプリケーション１００ａの動作のために必要な追加アプリケーションとメッセンジャアプリケーションを除いた残りのアプリケーションを意味する。
携帯機器１００は、第２グループのアプリケーションを実行し、予め設定された時間の間対話を行った主要対話者情報を抽出する（Ｓ１６２）。ここで、第２グループのアプリケーションは、現時点から所定の時間の間使用記録があるメッセンジャアプリケーションとなり得る。
携帯機器１００は、複数の主要対話者情報を抽出して使用者が現在の災害状況に対する通知を提供するに適切な対話者の選択の範囲を拡張する。
携帯機器１００は、図１５に示すように、第２グループ内のアプリケーションのアイコン（ｍ．ａｐｐ）を映像表示領域１１１に重畳して表示し、各アイコン（ｍ．ａｐｐ）に対応するメッセンジャアプリケーション内から抽出された主要対話者のアフォーダンス（ａｐｐ１．ｃ．ｕ１、ａｐｐ１．ｃ．ｕ２、ａｐｐ１．ｃ．ｕ３、ａｐｐ２．ｃ．ｕ１、ａｐｐ２．ｃ．ｕ２、ａｐｐ２．ｃ．ｕ３）をアプリケーション別に区分して表示する。携帯機器１００は、表示された主要対話者アフォーダンス（ａｐｐ１．ｃ．ｕ１、ａｐｐ１．ｃ．ｕ２、ａｐｐ１．ｃ．ｕ３、ａｐｐ２．ｃ．ｕ１、ａｐｐ２．ｃ．ｕ２、ａｐｐ２．ｃ．ｕ３）のいずれか１つの選択（例えば、タッチ入力）をしているか否かを判断する（Ｓ１６４）。携帯機器１００は、表示された主要対話者のアフォーダンス（ａｐｐ１．ｃ．ｕ１、ａｐｐ１．ｃ．ｕ２、ａｐｐ１．ｃ．ｕ３、ａｐｐ２．ｃ．ｕ１、ａｐｐ２．ｃ．ｕ２、ａｐｐ２．ｃ．ｕ３）のいずれか１つの選択に答えて選択された主要対話者のアフォーダンスａｐｐ１．ｃ．ｕ２に対応するメッセンジャアプリケーションを除いた残りのメッセンジャアプリケーションを強制終了（Ｓ１６５）することができる。携帯機器１００は、メッセンジャアプリケーションにより選択された主要対話者にマップ表示領域１１２上に表示されたマップ情報と避難経路情報及び使用者の現在位置情報を送信する（Ｓ１６６）。
携帯機器１００は、既設定時間内に選択された主要対話者から応答が受信されるか否かを判断（Ｓ１６７）する。携帯機器１００は、既設定時間内に選択された主要対話者から応答が受信されない場合、再びＳ１６２段階に戻って第２グループのアプリケーションの実行及び選択された主要対話者を除いた残りの主要対話者情報を抽出する。携帯機器１００は、既設定時間内に選択された主要対話者から応答が受信される場合、図１６のように選択された主要対話者との対話モードウィンドウ(ｃ．ｗ)を映像表示領域１１１に重畳して表示し、選択された主要対話者からの受信されたメッセージ情報を表示する選択された主要対話者との対話モードを実行(Ｓ１６８)することができる。
図１４に示すように、携帯機器１００は、災害状況バッテリ消耗量制御モードの実行(Ｓ１７０)によって使用者の生体情報が感知されるか否かを判断(Ｓ１７１)する。ここでの生体情報は、携帯機器１００の前面カメラ装置を用いて携帯機器１００のロック解除のために予め登録した使用者の顔面情報や使用者の紅体情報となり得る。携帯機器１００は、使用者の生体情報が感知されると、ディスプレイのターンオン状態を維持（Ｓ１７３）することができる。そして、携帯機器１００は、選択された主要対話者に前面カメラで使用者を撮影した使用者の撮影映像及び前方撮影映像情報を周期的に送信する（Ｓ１７４）。携帯機器１００は、使用者の生体情報が検知されないと、バッテリの消耗量の減少のためにディスプレイをターンオフし、避難情報を音声で案内することができる。一部の実施例において、携帯機器１００は外部騒音の程度を測定して避難情報の音声案内の出力音量を調節できる。携帯機器１００は、使用者の生体情報を継続的に検知(Ｓ１７１)して使用者が携帯機器１００を見つめる場合にのみディスプレイのターンオン状態を維持し、使用者が避難中に携帯機器１００を見つめない場合はディスプレイをターンオフしてバッテリ消耗量を減らし、避難情報を音声で案内することができる。
以上説明された本発明による実施例は、様々なコンピュータ構成要素により実行できるプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録できる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計及び構成されたものであるか、コンピュータソフトウェア分野における当業者に公知されて使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤなどの光記録媒体、フロプティカルディスクなどの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどの、プログラム命令語を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作成されたような機械語コードだけでなく、インタプリタなどを使ってコンピュータにより実行できる高級言語コードも含まれる。ハードウェア装置は、本発明による処理を行うために１つ以上のソフトウェアモジュールに変更されてもよく、その逆も同様である。
本発明で説明する特定の実行は、一実施例であって、いずれの方法も本発明の範囲を限定するものではない。明細書を簡潔にするために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面の記載は省略されてもよい。また、図面に示された構成要素間の線の連結又は連結部材は機能的な連結及び／又は物理的又は回路的連結を例示的に示したものであり、実際の装置では代替可能であるか追加される多様な機能的な連結、物理的な連結、又は回路連結としても示される。また、「必須的」、「重要」などの具体的な言及がなければ、本発明の適用のための必ずしも必要な構成要素ではない場合もある。
また、本発明の詳細な説明においては、本発明の好ましい実施例を参照して説明しているが、当該技術分野の熟練した当業者又は当該技術分野に通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更できることが理解できるであろう。従って、本発明の技術的範囲は明細書の詳細な説明に記載された内容に限定されるのではなく、特許請求の範囲により定められるべきである。
１０：避難誘導システム
２０：携帯端末機
３０：スマートグラス
１００：携帯機器
１００ａ：避難誘導アプリケーション
１１０：避難誘導インターフェース
１１１： 映像表示領域
１１２： マップ表示領域
２００：サーバ
３００：避難誘導補助装置

Claims (11)

  1. 災害発生時、在室者の現在地から避難所までの避難経路を提示するための避難誘導アプリケーションのインストール済みの在室者の携帯機器；及び
    前記携帯機器に複数の避難経路情報を提供するサーバ；を含み、
    前記携帯機器は、前記避難誘導アプリケーションを実行して避難誘導インターフェースを表示し、
    前記携帯機器は、撮影した風景映像を前記避難誘導インターフェースの映像表示領域に表示し、災害の種類、使用者の運動能力、個人状況に関する詳細情報に基づいて設定された前記複数の避難経路のいずれか１つを前記避難誘導インターフェースのマップ表示領域上に表示し、
    前記携帯機器は、前記映像表示領域上に前記風景映像と重畳して前記マップ表示領域上に表示された避難経路に沿って現在位置から移動する方向を表示するためのガイド情報を表示する
    携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  2. 前記サーバは、前記災害の種類、使用者の運動能力、個人状況に関する詳細情報に基づいて前記複数の避難経路の優先順位を設定し、
    前記携帯機器は、前記サーバから受信した複数の避難経路の優先順位に基づいて選択されたいずれか１つの避難経路を前記マップ表示領域上に表示する
    請求項１に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  3. 前記携帯機器は、災害の種類に関連する少なくとも１つの非常用品の位置情報を前記サーバから受信して前記マップ表示領域上の避難経路上に表示する
    請求項１に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  4. 前記携帯機器が前記非常用品の配置位置とマッチングされる前記マップ表示領域上に表示された避難経路上の一地点上に位置すると、前記携帯機器は撮影映像を分析して撮影映像から非常用品の検出可否を判断し、
    前記携帯機器は撮影映像から非常用品が検出されると、前記非常用品の識別を容易にする表示を行い、検出された非常用品の使用方法に関する情報を含むタグを表示する
    請求項３に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  5. 前記携帯機器が前記非常用品の配置位置とマッチングされる前記マップ表示領域上に表示された避難経路上の一地点上に位置すると、前記携帯機器は撮影映像を分析して撮影映像から非常用品の検出可否を判断し、
    前記携帯機器は撮影映像内から非常用品が未検出されると、非常用品の使用済み情報及び使用済みの非常用品の位置情報を前記サーバに送信し、
    避難経路上に表示された使用済みの非常用品の位置を除去するために、前記サーバは使用済みの非常用品及び使用済みの非常用品の位置情報を前記サーバと通信する全ての在室者の携帯機器に送信する
    請求項３に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  6. 前記携帯機器は、現在地から避難所までの残りの経路上の複数の異なる地点において他の携帯機器により撮影された映像イメージである経由地点状態イメージを前記サーバから受信して表示する
    請求項１に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  7. 前記携帯機器は、表示された経由地点状態イメージ及び経路再設定の選択に回答して選択された経由地点状態イメージ上の地点を迂回するアフォーダンス避難経路を再設定して前記マップ表示領域上に表示する
    請求項６に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  8. 前記携帯機器の位置変更に従って前記携帯機器上で表示される経由地点状態イメージは周期的にアップデートされる
    請求項６に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  9. 前記携帯機器の現在地から前記避難所までの残りの距離と、現在地から前記避難所までの残りの経路上での他の使用者の携帯機器の個数情報と、他の使用者の携帯機器相互間の位置上の離隔距離に基づいて前記サーバが使用者の携帯機器に送信する経由地点状態イメージの個数が決定される
    請求項８に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  10. 前記サーバは、同一の避難経路を移動する複数の使用者のそれぞれが撮影した同一地点の撮影イメージデータを受信し、
    複数の撮影映像イメージデータを分析して前記同一地点の環境状態情報を検出して前記同一地点を移動することが適切でない回避地点であると判断すると、前記同一の避難経路を移動する複数の使用者の携帯機器に避難経路再設定要求及び回避地点の位置情報並びに回避地点を撮影した映像イメージをデータ送信する
    請求項１に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
  11. 前記携帯機器は、前記避難経路に沿って既設定された距離の移動完了の可否を判断して前記既設定された距離移動の平均移動速度及び前記既設定された距離移動しながら消耗した前記携帯機器のバッテリの消耗量を算出し、残りの経路の移動に必要なバッテリの消耗量の推定値が現在の前記バッテリの充電量を超過しているかを判断し、超過しない場合はリアルタイム災難状況通知モード及び災難状況バッテリ消耗量制御モードを実行し、
    前記携帯機器は、所定時間の間使用記録があるメッセンジャアプリケーションと前記メッセンジャアプリケーション内において予め設定された時間の間対話を行った主要対話者情報を抽出して表示し、表示された主要対話者情報の選択に応答して選択された主要対話者にリアルタイム避難経路情報及び現在の使用者の位置情報を送信し、既に設定された時間内に前記選択された主要対話者から応答を受信すると、前記選択された主要対話者との対話モードを実行し、
    前記携帯機器は、予め登録された使用者の生体情報の感知可否を判断して前記生体情報が感知されると、前記携帯機器のディスプレイのオン状態を維持して前記選択された主要対話者に使用者を撮影した映像及び前方の撮影映像情報を送信し、前記生体情報が感知されない間は前記ディスプレイをオフにし、避難情報を音声で案内する
    請求項１に記載の携帯機器の拡張現実を利用した避難経路案内のためのシステム。
JP2021194242A 2021-11-09 2021-11-30 携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステム Active JP7232309B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0152855 2021-11-09
KR1020210152855A KR102349293B1 (ko) 2021-11-09 2021-11-09 휴대 기기의 증강현실을 이용한 재실자의 피난 경로 안내 방법 및 이를 위한 시스템

Publications (2)

Publication Number Publication Date
JP7232309B1 JP7232309B1 (ja) 2023-03-02
JP2023070608A true JP2023070608A (ja) 2023-05-19

Family

ID=79355361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021194242A Active JP7232309B1 (ja) 2021-11-09 2021-11-30 携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステム

Country Status (4)

Country Link
US (1) US20230145066A1 (ja)
JP (1) JP7232309B1 (ja)
KR (1) KR102349293B1 (ja)
CN (1) CN116105711A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176692B1 (en) * 2015-10-21 2019-01-08 Raptor Technologies LLC Network based reunification management using portable devices
CN114818360B (zh) * 2022-05-10 2022-11-01 煤炭科学研究总院有限公司 人群应急疏散场景下的疏散出口设置方法及装置
US20240095968A1 (en) * 2022-09-16 2024-03-21 At&T Intellectual Property I, L.P. Emergency ad hoc device communication monitoring
KR102648502B1 (ko) * 2022-12-30 2024-03-19 라미랩 주식회사 재난 및 재해 시 위험지역 우회 대피경로를 제공하는 안전대피로 제공장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269336A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd 見守りシステム及び見守り方法
JP2010002996A (ja) * 2008-06-18 2010-01-07 Sharp Corp 情報提供装置および情報提供装置の制御方法
JP2011221959A (ja) * 2010-04-14 2011-11-04 Toyota Home Kk 避難経路検索システム
JP2016008894A (ja) * 2014-06-25 2016-01-18 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2017067457A (ja) * 2015-09-28 2017-04-06 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内システム、経路案内方法、および経路案内プログラム
JP2018045519A (ja) * 2016-09-15 2018-03-22 株式会社日立製作所 避難誘導情報提供装置および避難誘導情報提供方法
KR20190138222A (ko) * 2018-06-04 2019-12-12 이형주 증강현실 기반 건물 내 피난경로 안내 시스템
JP2021033981A (ja) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 制御システム、防災システム、処理方法、及びプログラム
JP2021071925A (ja) * 2019-10-31 2021-05-06 ニッタン株式会社 避難誘導システム
JP2021163421A (ja) * 2020-04-03 2021-10-11 京セラドキュメントソリューションズ株式会社 電子機器及び浸水状況表示システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3149716U (ja) 2009-01-28 2009-04-09 株式会社オーナーばり 仕掛け巻き
KR20130085653A (ko) * 2012-01-20 2013-07-30 엘지전자 주식회사 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
US11188993B2 (en) * 2014-05-28 2021-11-30 Sensormatic Electronics, LLC Method and system for managing evacuations using positioning systems
KR101644933B1 (ko) * 2014-08-07 2016-08-12 한양대학교 산학협력단 재난 대피 경로 안내 방법 및 그 시스템
KR20160046556A (ko) * 2014-10-21 2016-04-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101822789B1 (ko) * 2017-03-21 2018-03-08 이성식 증강현실 기반의 화재 대피훈련 시스템 및 이를 이용한 방법
KR101831874B1 (ko) * 2017-05-12 2018-03-15 문라이팅디자인 주식회사 증강현실 기반 재난현장 탈출안내장치 및 방법
KR101895569B1 (ko) * 2017-06-23 2018-09-05 동아대학교 산학협력단 증강 현실 및 상황 인지 알고리즘을 이용한 스마트 대피 유도 시스템 및 방법
KR102172894B1 (ko) * 2018-01-17 2020-11-02 건국대학교 산학협력단 위치 기반 스마트 마스크 및 스마트 마스크 시스템
KR20190101228A (ko) * 2018-02-22 2019-08-30 박건태 객체와 연관된 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101971892B1 (ko) * 2018-07-18 2019-04-24 디토닉 주식회사 대피자 그룹 생성을 통한 대피 경로 안내 시스템 및 방법
KR102124097B1 (ko) 2018-12-26 2020-06-18 한국건설기술연구원 실시간 연기 및 화염 감지에 기반한 스마트 피난로 안내 시스템 및 그 방법
CN111667089A (zh) * 2019-03-05 2020-09-15 光禾感知科技股份有限公司 智能防灾系统及智能防灾方法
US11209832B2 (en) * 2019-08-18 2021-12-28 Cobalt Robotics Inc. Elevator interactions by mobile robot

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269336A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd 見守りシステム及び見守り方法
JP2010002996A (ja) * 2008-06-18 2010-01-07 Sharp Corp 情報提供装置および情報提供装置の制御方法
JP2011221959A (ja) * 2010-04-14 2011-11-04 Toyota Home Kk 避難経路検索システム
JP2016008894A (ja) * 2014-06-25 2016-01-18 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2017067457A (ja) * 2015-09-28 2017-04-06 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内システム、経路案内方法、および経路案内プログラム
JP2018045519A (ja) * 2016-09-15 2018-03-22 株式会社日立製作所 避難誘導情報提供装置および避難誘導情報提供方法
KR20190138222A (ko) * 2018-06-04 2019-12-12 이형주 증강현실 기반 건물 내 피난경로 안내 시스템
JP2021033981A (ja) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 制御システム、防災システム、処理方法、及びプログラム
JP2021071925A (ja) * 2019-10-31 2021-05-06 ニッタン株式会社 避難誘導システム
JP2021163421A (ja) * 2020-04-03 2021-10-11 京セラドキュメントソリューションズ株式会社 電子機器及び浸水状況表示システム

Also Published As

Publication number Publication date
JP7232309B1 (ja) 2023-03-02
US20230145066A1 (en) 2023-05-11
KR102349293B1 (ko) 2022-01-11
CN116105711A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
JP7232309B1 (ja) 携帯機器の拡張現実を利用した在室者の避難経路案内方法及びそのためのシステム
JP5779641B2 (ja) 情報処理装置、方法およびプログラム
JP4259299B2 (ja) 誘導システム及び誘導方法
KR101895569B1 (ko) 증강 현실 및 상황 인지 알고리즘을 이용한 스마트 대피 유도 시스템 및 방법
US9977510B1 (en) Gesture-driven introduction system
JP2009248193A (ja) 接客システム及び接客方法
JP5088362B2 (ja) エレベータの制御装置
JP2010128594A (ja) 動作検出装置および動作検出方法
CN111915823A (zh) 消防系统、服务器及移动终端设备
Cheraghi et al. SafeExit4AII: an inclusive indoor emergency evacuation system for people with disabilities
JP2015060338A (ja) 誘導システム、サーバ装置、及びプログラム
Dias et al. Future directions in indoor navigation technology for blind travelers
KR20200058780A (ko) 비콘을 이용한 재난 안전 스마트 안내 서비스 제공 시스템 및 그 방법
KR102511586B1 (ko) 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이션 방법
US11270401B2 (en) Generating a customized egress blueprint
CN112783050A (zh) 事故处理方法，机器人及计算机可读存储介质
Eskicioglu et al. Safe and Sound Mobile Application: A solution for aid people with visual disabilities' mobility
KR20160105043A (ko) 보안용 이동 로봇의 동작 방법
JP2021071967A (ja) 対応支援システム、方法及びプログラム
KR20160015704A (ko) 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
KR20240015216A (ko) 메타버스를 이용한 쉼터 융합 시스템
WO2023068737A1 (ko) 인공지능 기반의 서비스 로봇
WO2023017588A1 (ja) 制御装置、制御方法、及びコンピュータ読み取り可能な記憶媒体
KR102544638B1 (ko) 피난경로를 제공하기 위한 사용자 단말기 및 그의 피난경로 제공 방법
JP7428673B2 (ja) 危険度検出システム、危険度検出装置、危険度検出方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230217

R150 Certificate of patent or registration of utility model

Ref document number: 7232309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150