JP2020126612A - スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 - Google Patents

スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 Download PDF

Info

Publication number
JP2020126612A
JP2020126612A JP2020004612A JP2020004612A JP2020126612A JP 2020126612 A JP2020126612 A JP 2020126612A JP 2020004612 A JP2020004612 A JP 2020004612A JP 2020004612 A JP2020004612 A JP 2020004612A JP 2020126612 A JP2020126612 A JP 2020126612A
Authority
JP
Japan
Prior art keywords
information
pedestrian
smartphone
adjacent
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020004612A
Other languages
English (en)
Other versions
JP6935947B2 (ja
Inventor
− ヒョン キム、ケイ
Kye-Hyeon Kim
− ヒョン キム、ケイ
キム、ヨンジュン
Young Jun Kim
キム、インスー
Insu Kim
− キョン キム、ハク
Hak-Kyoung Kim
− キョン キム、ハク
ナム、ウヒョン
Woonhyu Nam
ブー、ソッフン
Sukhoon Boo
ソン、ミュンチュル
Myungchul Sung
ヨー、ドンフン
Donghun Yeo
リュー、ウジュ
Wooju Ryu
チャン、テウン
Taewoong Jang
ジョン、キュンチョン
Kyungjoong Jeong
チェ、ホンモ
Hongmo Je
チョウ、ホジン
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126612A publication Critical patent/JP2020126612A/ja
Application granted granted Critical
Publication of JP6935947B2 publication Critical patent/JP6935947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Emergency Management (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】スマートフォンを利用する歩行者を保護するための先端歩行者補助システムの提供方法及び装置。【解決手段】スマートフォンが、位置追跡ユニットをもって、歩行者の位置情報及び速度情報と、スマートフォンの位置情報及び速度情報とを含む第１情報を取得するようにする段階；検出ユニットをもって、スマートフォンに連動されたスマートフォンカメラによって取得されたイメージ及び第１情報を参照にして、歩行者に隣接した危険領域の危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び制御ユニットをもって、第１情報及び第２情報を参照にして、歩行者の歩行安全度を計算した後、歩行者に危険通知をスマートフォンによって伝送するようにする段階；を含む。【選択図】図１

Description

本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供する方法及び、これを利用したスマートフォンに関する。
最近、「歩きスマホ」を意味する「スモンビ（Ｓｍｏｍｂｉｅ）」、すなわちスマートフォン・ゾンビという言葉が流行るほど、スマートフォンに集中したあまり、周辺をよく察することができず、危険にさらされる歩行者が多い。このようなスモンビは、自分自身を危険に陥らせるだけでなく、他人にも危険を与える恐れがあるため、社会的に大きな問題になり得る。
スモンビを保護するため、スモンビが歩行中、長い間画面を見つめている場合など、スモンビに単に警告を与えるスマートフォンアプリケーションがあるが、前記アプリケーションは単純すぎてスモンビに生じ得る多くの危険状況については警告できないという弱点がある。
つまり、スモンビの安全とスモンビ周辺の人々のための包括的で精巧な警告システムは皆無であることが現実だ。
本発明は、前述した問題点を解決することを目的とする。
本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供することで、その周辺及び他の歩行者を保護することを目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供する方法において、（ａ）前記スマートフォンが、少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ、ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、少なくとも一つのＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）に含まれた少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにする段階；（ｂ）前記スマートフォンが、少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び（ｃ）前記スマートフォンが、少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにする段階；を含むことを特徴とする方法が開示される。
一例として、（ｄ）前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイス（ｃｏｎｎｅｃｔｅｄ ｄｅｖｉｃｅ）のうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部である段階；をさらに含むことを特徴とする。
一例として、前記（ｄ）段階において、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作することを特徴とする。
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、前記第３情報は、前記スマートフォンが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする。
一例として、前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、前記スマートフォンが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする。
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする。
一例として、前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする。
一例として、前記スマートフォンが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする。
一例として、前記スマートフォンが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断し、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする。
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする。
一例として、前記スマートフォンが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする。
一例として、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を生成させることを特徴とする。
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする。
一例として、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする。
一例として、前記（ｂ）段階で、前記スマートフォンが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と、少なくとも一つのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤとを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする。
本発明の他の態様によれば、スマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供する前記スマートフォンにおいて、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳと、少なくとも一つのＩＭＵに含まれている少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにするプロセス、（ＩＩ）少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにするプロセス、及び（ＩＩＩ）少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするスマートフォンが開示される。
一例として、前記プロセッサが、（ＩＶ）前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスのうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部であるプロセス；をさらに遂行することを特徴とする。
一例として、前記（ＩＶ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作するようにすることを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、前記第３情報は、前記プロセッサが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする。
一例として、前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、前記プロセッサが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び交通信号機状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする。
一例として、前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする。
一例として、前記プロセッサが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする。
一例として、前記プロセッサが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体に対するブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断して、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、前記歩行者に隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする。
一例として、前記プロセッサが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする。
一例として、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を計算するようにすることを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする。
一例として、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮと、少なくとも一つのＦＣレイヤを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）前記スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする。
本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供することで、その周辺及び他の歩行者を保護し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
本発明の一例に係る少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供するための前記スマートフォンの構成を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムの構成を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者がそれぞれの隣接領域に移動する確率を参照にして、少なくとも一つの歩行安全度を計算する過程を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者と一つ以上の危険物体が衝突する危険度確率を参照にして歩行安全度を計算する過程を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する第３−１情報と関連した状況を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する第３−２情報と関連した状況を概略的に示した図面である。 本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが利用する、スマートフォンカメラのビューイングフラスタム（ｖｉｅｗｉｎｇ ｆｒｕｓｔｕｍ）の中心軸それぞれと、地面との間の角度情報を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明の一例に係る少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供するための前記スマートフォンの構成を概略的に示した図面である。
図１を参照すれば、前記スマートフォン１００は、後に詳しく説明される要素である前記先端歩行者補助システム２００及び少なくとも一つのデータベース（ＤＢ）３００を含み得る。前記先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）２００は以下ＡＰＡＳ２００と呼ぶことにする。前記ＡＰＡＳ２００及び前記ＤＢ３００の入出力過程及び演算過程はそれぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０と、前記プロセッサ１２０との間の具体的な連結関係を省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを実行するように設定され、後から説明されるインストラクションを実行することで本発明のプロセスを遂行することができる。このように前記スマートフォン１００が描写されたからといって、前記スマートフォン１００が本発明を実施するための媒体、プロセッサ、メモリ、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。
また、前記スマートフォン１００は、一つ以上のスマートフォンカメラ４００及び一つ以上のコネクテッドデバイス５００とデータを交換することができるのだが、このような過程は、後から前記ＡＰＡＳ２００に対するより具体的な説明とともに説明することにする。
図２は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムの構成を概略的に示した図面である。
前記ＡＰＡＳ２００は、少なくとも一つの位置追跡ユニット２１０と、少なくとも一つの検出ユニット２２０と、少なくとも一つの制御ユニット２３０と、少なくとも一つのセグメンティングユニット２４０と、少なくとも一つのＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ２５０と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）２６０とを含み得る。後から詳しく説明されるが、基本的に前記ＩＭＵ２５０が、前記それぞれのユニットに入力され得るセンサ情報を生成することができ、前記位置追跡ユニット２１０と、前記検出ユニット２２０と、前記制御ユニット２３０とは、前記センサ情報だけでなく、前記ＧＰＳ２６０によって取得された情報と、前記スマートフォンカメラ４００で取得された一つ以上のイメージと、前記コネクテッドデバイス５００で取得された情報とを利用して、前記スマートフォン１００を使用する前記歩行者を保護することができる。前記セグメンティングユニット２４０は、後に詳しく説明されるが、物体が前記スマートフォンカメラ４００のビューを妨げているかを検出するために利用することができる。
以上、前記スマートフォン１００と、これに含まれている前記ＡＰＡＳ２００との構成を概括的に説明したので、以下、前記ＡＰＡＳ２００がどう動作するかについて具体的に説明する。
まず、前記スマートフォン１００が、前記位置追跡ユニット２１０をもって、前記ＤＢ３００に含まれている高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）情報と、前記ＧＰＳ２６０からの位置情報と、前記ＩＭＵ２５０からのセンサデータとを取得するようにすることができる。前記ＩＭＵ２５０から取得された前記センサデータは、少なくとも一つの加速度センサ、又は少なくとも一つのジャイロセンサなど前記スマートフォン１００の慣性を測定できるセンサによって生成された情報を含むことができる。このような情報が取得されると、前記スマートフォン１００は、前記位置追跡ユニット２１０をもって、前記高精度地図と、前記ＧＰＳと、前記ＩＭＵに含まれている前記加速度センサ及び前記ジャイロセンサから取得された前記情報との中の少なくとも一部を参照にして、前記スマートフォン１００を使用している歩行者の位置情報及び速度情報と、前記スマートフォン１００の位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにし得る。
多くの場合に、前記歩行者の位置情報は、前記スマートフォン１００の位置情報と類似し、前記歩行者の速度情報は、前記スマートフォンの速度情報と類似するはずだが、前記スマートフォンと、前記歩行者との間の移動速度の差が大きく、これを補正しなければならない場合もあり得る。以下では、このような場合について説明する。
まず、前記スマートフォン１００が、前記位置追跡ユニット２１０をもって、前記スマートフォンカメラ４００によって取得された前記イメージを利用して、前記歩行者の両目を繋いだ横線と、鼻を通る縦線との交点から前記歩行者の両目それぞれの距離を計算して、それぞれの前記距離の比率を参照にして、前記スマートフォンが前記歩行者の体を基準にどの程度に傾いているかを示す角度を計算することができる。これは、前記角度と、前記比率の関係を示すガウシアン分布モデル（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ ｍｏｄｅｌ）とを参照として計算され得る。以降、前記スマートフォンの速度情報と、前記角度に対応するベクトルとを統合することにより前記歩行者の速度情報を計算することができる。
その後、前記スマートフォン１００が、前記検出ユニット２２０をもって、前記スマートフォン１００に連動された前記スマートフォンカメラ４００によって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにできる。前記危険領域とは、前記歩行者が位置する場合に危険である可能性がある領域を意味するが、例えば車道、又は工事現場周辺であり得る。前記危険物体とは、歩行者の周辺にある、前記歩行者と衝突し得る全ての物体を言う。これは、車、街灯、電柱などの物体だけでなく、他の歩行者を含む概念である。このような前記第２情報を取得するために、前記イメージの中の少なくとも一部及び前記第１情報にどのような演算を加えるかを説明する。
まず、前記検出ユニット２２０は、ＣＮＮで構成され得、少なくとも一つのニューラルネットワーク演算によって前記第２情報を取得し得る。つまり、前記検出ユニット２２０は、少なくとも一つのコンボリューションレイヤ、少なくとも一つのＲＰＮ、少なくとも一つのＦＣレイヤを利用して、前記スマートフォンカメラ４００から取得された個々の前記イメージに含まれた前記歩行者周辺の物体を検出できる。その後、前記スマートフォンカメラ４００の焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報に含まれた前記スマートフォン１００の位置情報及び速度情報を参照にして、前記危険物体の位置情報及び速度情報を利用することで、前記第２情報を取得できる。
前記危険物体の位置情報を取得する過程を詳しく見てみると、前記検出ユニット２２０は、上記スマートフォン１００の位置情報を参照にして、上記スマートフォン１００に連動された上記スマートフォンカメラ４００の位置情報を取得できる。具体的に、前記スマートフォン１００の類型または機種を把握して、その設計図を参照に、前記スマートフォン１００の中心から前記スマートフォンカメラ４００がどのくらい離れて位置するかに対する情報を取得した後、前記スマートフォンの位置情報及び前記スマートフォンカメラ４００がどのくらい離れて位置するかに対する前記取得された情報を参照にして、前記スマートフォンカメラ４００の位置情報を計算することができる。このように前記スマートフォンカメラ４００の位置情報が取得されると、それぞれの前記イメージの中心それぞれからそれぞれの前記危険物体の２次元距離それぞれが計算され、前記焦点距離を追加的に参照して前記スマートフォンカメラ４００からそれぞれの前記危険物体の３次元距離それぞれが計算され、前記３次元距離と、前記スマートフォンカメラ４００の位置情報とを参照にして、それぞれの前記危険物体の位置情報が取得され得る。
前記スマートフォンカメラ４００から連続的に取得された前記多数のイメージを参照にして、前記スマートフォンカメラ４００と、前記危険物体との間の相対速度がそれぞれ計算された後、それぞれの前記計算された相対速度と、前記スマートフォンの前記速度情報とを利用して計算された前記スマートフォンカメラ４００に関する速度情報をそれぞれ参照にして、前記危険物体の速度情報が計算され得る。
前記危険物体の位置情報及び速度情報が取得されると、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報を参照にして前記歩行者の少なくとも一つの歩行安全度を算出した後、前記歩行安全度を参照にして、危険通知を前記スマートフォン１００によって前記歩行者に伝送するようにすることができる。
前記歩行安全度を生成する際には、前記危険領域及び前記危険物体を考慮し得るが、まず前記危険領域を考慮する方式について説明する。
前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することができる。具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者がそれぞれの隣接した領域に移動する確率である一つ以上の歩行者移動確率を計算した後、（ｉｉｉ）それぞれの前記隣接した領域がそれぞれの前記危険領域に対応するかと、前記歩行者移動確率とを参照にして前記歩行安全度を生成するようにすることができる。
前記歩行者移動予測モデルは、二つの詳細モデルを含み得るが、一つは前記歩行者の移動速力を、もう一つは前記歩行者の移動方向を予測する。前記歩行者の前記移動速力を予測する細部モデルは、前記ＩＭＵ２５０に含まれている前記加速度センサによって取得された前記歩行者の加速度の絶対値を基準点として、０の加速度変化量の平均値と予め設定された分散とを有する特定第１分布であるカウシアン分布モデルであり得る。また、前記歩行者の前記移動方向を予測するための細部のモデルは、前記歩行者の加速度に含まれた前記移動方向に対する情報を基準点として、０の移動方向変化量の平均値と予め設定された分散とを有する特定第２分布のモデルであり得る。図３を参照に、本方式の例示を説明するようにする。
図３は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者がそれぞれの隣接領域に移動する確率を参照にして、前記歩行安全度を計算する過程を概略的に示した図面である。
図３を参照にすると、前記説明したような方法に従って、前記歩行者が自分に隣接した領域に移動する確率が計算されたことが分かる。前記分布モデルによれば、前記歩行者が初期速力と初期方向に移動する確率が最も高く計算されるので、正面の領域に移動する確率が０．８で、左側と右側の領域に移動する確率がそれぞれ０．１５と０．０５に計算されたことを確認することができる。図３のＳは、当該領域が安全領域であることを、Ｄは、当該領域が危険領域であることを意味するのだが、図３の例では前記歩行者が前記危険領域に移動する確率が０．２で相対的に低く、前記ＡＰＡＳ２００は、前記歩行安全度をやや高く評価し得る。
以上、前記危険領域を参照して、前記歩行安全度を計算する方式について説明したので、次に、前記危険物体を参照して前記歩行安全度を計算する方式について説明する。
前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報を参照にして,前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより前記歩行安全度を生成するようにすることができる。具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、前述したような前記歩行者移動予測モデルと、前記危険物体の移動速度変化を予測し得る危険物体移動予測モデルとを生成するようにすることができる。そして、前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算し、前記危険物体移動予測モデルを参照にして前記危険物体が前記時間閾値内に前記危険物体に隣接するそれぞれの領域に移動する確率である危険物体移動確率を計算するようにすることができる。その後、前記歩行者移動確率及び前記危険物体移動確率を参照にして前記歩行安全度を生成するようにすることができる。
前記危険物体移動予測モデルは、前記第２情報に含まれた前記危険物体の位置情報及び速度情報を参照にして、前記歩行者移動予測モデルと類似した方式で生成され得る。
前記歩行者移動確率及び前記危険物体移動確率はそれぞれ、時間ごとにそれぞれの位置に前記歩行者及び前記危険物体が存在する確率を示す関数であり得、前記制御ユニット２３０は、前記二つの確率を乗じた値を前記時間閾値で積分した結果を参照にして前記歩行安全度を生成することができる。このような場合の例示を探すために、図４を参照することにする。
図４は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者と前記危険物体が衝突する危険度確率を参照にして歩行安全度を計算する過程を概略的に示した図面である。
図４を参照にすれば、前記歩行者移動確率がそれぞれｐ１（ｔ）、ｐ２（ｔ）、及びｐ３（ｔ）であり、これにそれぞれ対応する前記危険物体移動確率がそれぞれｑ１（ｔ）、ｑ２（ｔ）、及びｑ３（ｔ）であることが分かる。この際、前記制御ユニット２３０は、それぞれの確率を乗じた後、積分できる。その数式は、次のとおりである。
前記積分式において、Ｔは、前記時間閾値であり得る。
前記積分の結果は、前記危険物体と、前記歩行者とが衝突する前記危険度を示し、前記制御ユニット２３０は、前記危険度を参照にして前記歩行安全度を計算し得るであろう。
この際、前記危険物体のために前記歩行安全度が低く計算される場合、前記歩行者に通知以外にも、前記歩行安全度を向上させ得る行動が提示されることがある。つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記歩行者が前記危険物体を避けることができるように前記歩行者に行動指針を与える通知を追加的に伝送することができる。例えば、前記危険物体の一つが第１特定方向に移動している場合、前記歩行者がこれを避けられるように、第２特定方向に移動するようにする前記行動指針が提示されることがある。
このように、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記歩行安全度を計算するようにすることで、前記歩行者の安全を提供する。しかし、前記説明した内容は、前記スマートフォン１００と、これに連動された前記スマートフォンカメラ４００とによって取得された情報のみを利用して前記歩行安全度を計算するので、前記歩行者に隣接した前記コネクテッドデバイス５００から取得された情報を追加的で利用して前記歩行安全度を計算すると、前記歩行者がより安全になるものと予想される。従って、以下では、前記コネクテッドデバイス５００から取得された情報を利用する方式について説明する。
つまり、前記スマートフォン１００は、前記制御ユニット２３０をもって、第３情報を参照にして前記歩行安全度を計算させることができる。この際、前記第３情報は、前記スマートフォン１００が前記制御ユニット２３０をもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であり得る。例えば、前記第３情報は、前記ＣＣＴＶによって生成される映像から見られる前記危険物体の位置情報及び速度情報を含み得る。
前記第３情報は、少なくとも二つの詳細情報を含み得るのだが、これは第３−１情報及び第３−２情報である。
前記第３−１情報は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００の少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイス５００に連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み得、前記第３−２情報は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００の前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイス５００に連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み得る。
前記３−１情報及び前記第３−２情報は、それぞれ異なる役割を遂行し得るのだが、具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記１００が生成した前記第２情報の信頼性を、前記第３−１情報を参照して検証し、自身が検出できなかった少なくとも一つの未検出危険物体に対する情報を、前記第３−２情報を参照にして取得するようにすることができる。前記第３−１情報を利用することで、前記歩行安全度はさらに正確になり得、前記第３−２情報を利用することで、前記歩行安全度にさらに多くの情報が反映され得る。図５ａ及び図５ｂを参照して前記第３−１情報及び前記第３−２情報の例を説明する。
図５ａ及び図５ｂは、本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する前記第３−１情報及び前記第３−２情報と関連した状況を概略的に示した図面である。
図５ａは、前記第３−１情報と関連した状況の例であるが、前記第１特定危険物体は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００と、前記ＣＣＴＶに連動されたカメラとの両方によって検出されたことが分かる。この場合には、前記スマートフォン１００が前記検出ユニット２２０によって取得した前記第２情報を、前記第１特定危険物体に対する前記第３情報を利用して検証し得る。
図５ｂは、前記第３−２情報と関連した状況の例であるが、前記第２特定危険物体は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００によっては検出されなかったが、前記ＣＣＴＶに連動されたカメラによって検出されたことが分かる。この際、前記第２情報は、前記第２特定危険物体に対する情報を含んでいないため、前記スマートフォン１００は、前記第３−２情報を参照にして、前記第２特定危険物体に対する情報を追加で取得し得る。
また、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記歩行安全度を参照にして、前記危険通知を伝送するだけでなく、交通信号機に対する情報も提供し得るため、これについて説明する。
つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォン１００によって追加交通信号機通知を送信するようにできる。具体的に、前記歩行者の位置情報及び前記速度情報を参照にすれば、前記制御ユニット２３０は、前記歩行者の仮想移動経路を生成し得、前記第３情報を参照にして、前記歩行者の仮想移動経路周辺に位置した前記交通信号機の位置情報及び信号状態情報を取得することができる。
前記スマートフォン１００はこのように、前記コネクテッドデバイス５００から取得した情報を利用することができ、逆に、前記コネクテッドデバイス５００は、前記スマートフォン１００が取得した情報を利用することができる。
つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した前記コネクテッドデバイス５００のうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記取得された第１情報及び前記第２情報の中の少なくとも一部を参照にして、前記危険物体と、前記歩行者との間で衝突する前記危険度を下げる方向で動作させることができる。前記コネクテッドデバイス５００の中の、前記スマートフォン１００と同一又は類似した装置は、前記スマートフォン１００が前記第３情報を活用したものと類似した方式であり、前記第１情報及び前記第２情報の中の少なくとも一部を活用することができる。
一方で、前記スマートフォン１００がこのような前記ＡＰＡＳ２００を前記歩行者に提供するには、前記スマートフォンカメラ４００を利用して十分な情報を取得する必要があるが、前記歩行者の前記スマートフォン１００利用パターンによって十分な情報が取得されていない場合がある。このような場合、前記歩行者にこれらの状況に対する通知を送って、前記歩行者が自らの行動を改めるようにする必要があるのだが、これについて説明する。
つまり、前記スマートフォン１００が、前記制御ユニット２３０を利用して、前記スマートフォンカメラ４００により取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニット２３０をもって、前記スマートフォン１００によって前記歩行者に感知不能通知を伝送させるようにすることができる。これは、前記スマートフォン１００が前記危険物体に対する情報を多く取得できるためには、前記スマートフォンカメラ４００によって取得されたイメージに対応する前記高精度地図上の領域が広くなければならないからである。
しかし、このように前記高精度地図上の前記領域の広さが前記限界値未満となる場合は、前記スマートフォンカメラ４００の少なくとも一つのレンズが少なくとも一つの物体（例えば、指）によって隠れてしまう場合や、前記歩行者が前記スマートフォン１００を地面とほぼ平行に持っている場合が該当し得る。前記２つの場合は解決方法が異なるので、これを区分する方法が必要であり、これについて説明する。
具体的には、前記スマートフォン１００が、少なくとも一つのセグメンティングユニット２４０によって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記閾値以下である少なくとも一つの原因を判断できる。その後、前記スマートフォンを通じて前記原因それぞれによって前記歩行者にそれぞれ異なる警告通知を伝送することができる。
前記セグメンティングユニット２４０は、前記スマートフォンカメラ４００によって取得された前記イメージの少なくとも一つの領域をピクセル単位でセグメンティングして、前記レンズ隠している妨害物体があるか否かを判断するユニットである。これは前記ＣＮＮで構成され得るが、前記ＣＮＮは、前記妨害物体のある入力されたイメージと、前記妨害物体がない入力されたイメージと、それらに対応するＧＴとを参照して、一つ以上のロスを計算した後、これをバックプロパゲーションすることにより学習された状態であり得る。
前記角度情報は、前記ＩＭＵ２５０に含まれている前記加速度センサ及び前記ジャイロセンサによって取得された情報を参照にして生成され得る。前記角度情報をどのような方式で利用するかについて、図６を参照に説明する。
図６は、本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記ＡＰＡＳが利用する、前記スマートフォンカメラのビューイングフラスタムの中心軸それぞれと、前記地面との間の前記角度情報を概略的に示した図面である。
図６を参照すれば、前記歩行者を中心とした３次元空間で、前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの前記仮想ビューイングフラスタムの中心軸との間の角度が大きい場合（θ２）、前記仮想ビューイングフラスタムが前記地面の少ない面を照らすようになり、角度が小さい場合（θ１）、前記仮想ビューイングフラスタムが前記地面の広い面を照らすようになることが分かる。
したがって、前記領域が小さく、前記角度（θ２）が角度閾値より大きい場合、これは前記歩行者が前記スマートフォン１００を前記地面とほぼ平行していることを意味するので、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記スマートフォン１００によって、前記スマートフォン１００を傾かせて持つように前記歩行者に知らせる通知を伝送するようにすることができる。逆に、前記領域が小さく、前記角度（θ１）が前記の角度閾値より小さく、前記セグメンティングユニット２４０によって生成された前記ブラインド情報を参考にして、前記妨害物体が前記イメージ上で前記閾値領域以上の領域を占めているものと判断される場合、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記妨害物体を除去するように前記歩行者に知らせを通知することができる。
このように、総合的かつ精巧な方式で前記ＡＰＡＳを提供することで、前記歩行者の安全を図ることができる。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ及び原本レーブル及び追加レーブルといったイメージデータの送受信がスマートフォンの各通信部によって行われ得、特徴マップと演算を遂行するためのデータがスマートフォンのプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主にスマートフォンのプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
本発明に係る前記方法は、監視用または軍事用に利用され得るであろう。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. 少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を提供する方法において、
    （ａ）前記スマートフォンが、少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ、ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、少なくとも一つのＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）に含まれた少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにする段階；
    （ｂ）前記スマートフォンが、少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び
    （ｃ）前記スマートフォンが、少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにする段階；
    を含むことを特徴とする方法。
  2. （ｄ）前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイス（ｃｏｎｎｅｃｔｅｄ ｄｅｖｉｃｅ）のうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部である段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記（ｄ）段階において、
    前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作することを特徴とする請求項２に記載の方法。
  4. 前記（ｃ）段階で、
    前記スマートフォンが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、
    前記第３情報は、前記スマートフォンが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする請求項１に記載の方法。
  5. 前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、
    前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、
    前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、
    前記スマートフォンが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする請求項４に記載の方法。
  6. 前記（ｃ）段階で、
    前記スマートフォンが、前記制御ユニットをもって（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする請求項４に記載の方法。
  7. 前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする請求項４に記載の方法。
  8. 前記スマートフォンが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする請求項１に記載の方法。
  9. 前記スマートフォンが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断し、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする請求項８に記載の方法。
  10. 前記（ｃ）段階で、
    前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする請求項１に記載の方法。
  11. 前記スマートフォンが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする請求項１０に記載の方法。
  12. 前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を生成させることを特徴とする請求項１０に記載の方法。
  13. 前記（ｃ）段階で、
    前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする請求項１に記載の方法。
  14. 前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする請求項１３に記載の方法。
  15. 前記（ｂ）段階で、
    前記スマートフォンが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と、少なくとも一つのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤとを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする請求項１に記載の方法。
  16. スマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供する前記スマートフォンにおいて、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳと、少なくとも一つのＩＭＵに含まれている少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにするプロセス、（ＩＩ）少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにするプロセス、及び（ＩＩＩ）少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするスマートフォン。
  17. 前記プロセッサが、
    （ＩＶ）前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスのうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部であるプロセス；
    をさらに遂行することを特徴とする請求項１６に記載のスマートフォン。
  18. 前記（ＩＶ）プロセスで、
    前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作するようにすることを特徴とする請求項１７に記載のスマートフォン。
  19. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、
    前記第３情報は、前記プロセッサが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする請求項１６に記載のスマートフォン。
  20. 前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、
    前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、
    前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、
    前記プロセッサが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする請求項１９に記載のスマートフォン。
  21. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び交通信号機状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする請求項１９に記載のスマートフォン。
  22. 前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする請求項１９に記載のスマートフォン。
  23. 前記プロセッサが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする請求項１６に記載のスマートフォン。
  24. 前記プロセッサが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体に対するブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断して、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする請求項２３に記載のスマートフォン。
  25. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、前記歩行者に隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする請求項１６に記載のスマートフォン。
  26. 前記プロセッサが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする請求項２５に記載のスマートフォン。
  27. 前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を計算するようにすることを特徴とする請求項２５に記載のスマートフォン。
  28. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする請求項１６に記載のスマートフォン。
  29. 前記プロセッサが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする請求項２８に記載のスマートフォン。
  30. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮと、少なくとも一つのＦＣレイヤを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）前記スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする請求項１６に記載のスマートフォン。
JP2020004612A 2019-01-31 2020-01-15 スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 Active JP6935947B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,006 2019-01-31
US16/263,006 US10565863B1 (en) 2019-01-31 2019-01-31 Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone

Publications (2)

Publication Number Publication Date
JP2020126612A true JP2020126612A (ja) 2020-08-20
JP6935947B2 JP6935947B2 (ja) 2021-09-15

Family

ID=69156281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004612A Active JP6935947B2 (ja) 2019-01-31 2020-01-15 スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置

Country Status (5)

Country Link
US (1) US10565863B1 (ja)
EP (1) EP3690396A1 (ja)
JP (1) JP6935947B2 (ja)
KR (1) KR102337352B1 (ja)
CN (1) CN111508222B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002345B2 (en) * 2020-05-22 2024-06-04 Wipro Limited Environment-based-threat alerting to user via mobile phone
FR3112641A1 (fr) 2020-07-17 2022-01-21 CopSonic Methode de signalisation d’un danger de circulation a l’utilisateur d’un smartphone
CN112671977A (zh) * 2020-12-25 2021-04-16 深圳市九洲电器有限公司 一种安全预警方法、装置、存储介质及电子设备
CN115188188B (zh) * 2022-07-08 2023-09-05 重庆交通大学 等待时间手机分心条件下行人过街风险评估方法
DE102022210507A1 (de) * 2022-10-05 2024-04-11 Continental Automotive Technologies GmbH Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287161A (ja) * 2009-06-15 2010-12-24 Toyota Infotechnology Center Co Ltd 歩行者検知システム
JP2016164793A (ja) * 2016-04-11 2016-09-08 富士通テン株式会社 携帯端末
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2495775C2 (ru) * 2011-12-29 2013-10-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Марийский государственный технический университет Способ повышения безопасности пешеходных переходов
US10591608B2 (en) * 2014-01-24 2020-03-17 Savari, Inc. Positioning quality filter for the V2X technologies
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
JP2015197785A (ja) * 2014-04-01 2015-11-09 独立行政法人交通安全環境研究所 歩行者支援システム及び歩行者支援プログラム
KR101616450B1 (ko) * 2014-06-09 2016-05-11 (주) 펀매직 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
KR20170025179A (ko) * 2015-08-27 2017-03-08 엘지전자 주식회사 보행자 추돌 방지 시스템 및 그 동작방법
KR101751032B1 (ko) * 2015-11-20 2017-06-26 유한회사 청텍 이미지 센서를 이용한 위험 감지 장치
CN106816035B (zh) * 2015-12-02 2020-04-10 中国移动通信集团公司 一种面向行人的告警方法及装置
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
JP6325601B2 (ja) * 2016-05-25 2018-05-16 京セラ株式会社 電子機器、制御方法、及び制御プログラム
CN106790992A (zh) * 2016-11-21 2017-05-31 广东欧珀移动通信有限公司 安全提醒方法及智能手机
KR101862986B1 (ko) * 2017-03-15 2018-05-30 인하대학교 산학협력단 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
CN108492625A (zh) * 2018-03-25 2018-09-04 张小莲 一种基于NB-IoT的行人防撞智能交通管理控制系统
KR101906569B1 (ko) * 2018-07-11 2018-12-05 권성국 횡단보도 보행자 안전 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287161A (ja) * 2009-06-15 2010-12-24 Toyota Infotechnology Center Co Ltd 歩行者検知システム
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
JP2016164793A (ja) * 2016-04-11 2016-09-08 富士通テン株式会社 携帯端末

Also Published As

Publication number Publication date
US10565863B1 (en) 2020-02-18
CN111508222B (zh) 2022-08-12
KR20200095338A (ko) 2020-08-10
JP6935947B2 (ja) 2021-09-15
KR102337352B1 (ko) 2021-12-10
CN111508222A (zh) 2020-08-07
EP3690396A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP7125214B2 (ja) プログラムおよびコンピューティングデバイス
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10649463B2 (en) Navigating a vehicle based on a detected barrier
KR102565533B1 (ko) 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
US10390003B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
CN109588060B (zh) 控制传感器的方法和相应装置、车辆、系统以及计算机可读存储介质
Shim et al. An autonomous driving system for unknown environments using a unified map
US20190025071A1 (en) Information processing device
JP2021515286A (ja) ナビゲーション情報を匿名化するためのシステム及び方法
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
US11280630B2 (en) Updating map data
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
Sridhar et al. Cooperative perception in autonomous ground vehicles using a mobile‐robot testbed
JP7194130B2 (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
CN109271857A (zh) 一种伪车道线剔除方法及装置
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
Zhang A multi-visual information synthesis function model-based technique is being looked at for autonomous vehicle detection and monitoring
JP7242822B2 (ja) 推定システムおよび自動車
de Babo Martins Visual-Inertial based autonomous navigation of an Unmanned Aerial Vehicle in GPS-Denied environments
Lee Vector-based ground surface and object representation using cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6935947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150