JP2022112897A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2022112897A
JP2022112897A JP2021008918A JP2021008918A JP2022112897A JP 2022112897 A JP2022112897 A JP 2022112897A JP 2021008918 A JP2021008918 A JP 2021008918A JP 2021008918 A JP2021008918 A JP 2021008918A JP 2022112897 A JP2022112897 A JP 2022112897A
Authority
JP
Japan
Prior art keywords
crossing
pedestrian crossing
image
crosswalk
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021008918A
Other languages
English (en)
Inventor
拓昌 河村
Hiroaki Kawamura
浩平 新谷
Kohei Shintani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021008918A priority Critical patent/JP2022112897A/ja
Priority to US17/530,476 priority patent/US11672724B2/en
Priority to CN202210059819.XA priority patent/CN114822010B/zh
Publication of JP2022112897A publication Critical patent/JP2022112897A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/068—Sticks for blind persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)

Abstract

【課題】横断歩道を渡る対象者を支援することができると共に、当該対象者が簡単に利用することができる情報処理装置を得る。【解決手段】情報処理装置１０は、対象者Ｐの進行方向を撮影した画像における横断歩道の占有率を算出し、算出した占有率に基づいて、対象者の横断歩道の横断状況を判断し、当該横断状況に基づいて、横断歩道を渡る対象者を支援する支援情報を生成する。【選択図】図１

Description

本発明は、情報処理装置及び情報法処理方法に関する。
視覚を用いずに行動する視覚障害者は、携行する白状が路面や障害物と接触した際の接触情報や、周囲の音を頼りに移動している。例えば、横断歩道を渡る場合は、横断歩道の道沿いに設けられたエスコートゾーンと接触した情報や、音響信号の音を頼りに正しい進行方向を認識することができる。
しかしながら、横断歩道の中にはエスコートゾーンや音響信号が設置されていないものがある。このような場合、周囲から得られる情報が乏しいため、正しい進行方向が分からずに横断歩道を逸脱してしまう場合がある。
ここで、特許文献１には、目的地までの経路に存在する横断歩道を予め把握し、視覚障害者が横断歩道に到着すると、歩く方向をガイドする情報処理装置が開示されている。この情報処理装置では、予め経路に存在する横断歩道の手前から渡りたい方向を撮影し、撮影した静止画像とＧＰＳセンサで取得された位置情報を記憶する。そして、２回目以降に横断歩道を渡る際に、記憶（登録）された渡りたい方向の静止画像を基に、歩行中に撮影される静止画像とマッチング処理を行うことで方向のずれを算出し、歩くべき方向をガイドする。これにより、横断歩道にエスコートゾーンや音響信号の設置がされていない場合でも、情報処理装置のガイドにより横断歩道を逸脱しないように渡ることができる。
国際公開２０１８－０２５５３１号公報
しかしながら、上記特許文献１に記載された技術では、ガイドを受けるために予め横断歩道の手前から渡りたい方向を撮影し、画像を登録する必要がある。このため、目的地までの移動経路に応じて多くの画像を登録する必要があり、利用者の負担が大きい。
本発明は上記事実を考慮し、横断歩道を渡る対象者を支援することができると共に、当該対象者が簡単に利用することができる情報処理装置及び情報処理方法を提供することを目的とする。
請求項１に記載の本発明に係る情報処理装置は、対象者の進行方向を撮影した画像における横断歩道の占有率を算出する算出部と、算出した占有率に基づいて、前記対象者の横断歩道への横断状況を判断する横断状況判断部と、前記対象者の横断状況に基づいて、横断歩道を渡る前記対象者を支援する支援情報を生成する支援情報生成部と、を有する。
請求項１に記載の本発明に係る情報処理装置では、算出部は、対象者の進行方向を撮影した画像における横断歩道の占有率を算出する。対象者の進行方向を撮影した画像は、対象者の前景に近い画像である。従って、横断状況判断部は、算出した横断歩道の占有率に基づいて、対象者の横断歩道への横断状況を判断する。そして、支援情報生成部は、横断状況判断部で判断された対象者の横断状況に基づいて、横断歩道を渡る対象者を支援する支援情報を生成する。このように、情報処理装置は、進行方向を撮影した画像に基づいて対象者の横断状況を判断し、横断歩道を渡る対象者を支援することができる。また、対象者が横断歩道を渡る際に撮影される画像だけで横断状況を判断する構成としたため、対象者は、情報処理装置１０を簡単に利用することができる。
請求項２に記載の本発明に係る情報処理装置は、請求項１に記載の構成において、前記横断状況判断部は、前記占有率が所定の閾値未満である場合に、前記対象者が横断歩道を逸脱する可能性があると判断する。
請求項２に記載の本発明に係る情報処理装置では、撮影した画像における横断歩道の占有率が所定の閾値未満である場合、すなわち、対象者の前景における横断歩道の存在が小さい場合、対象者が横断歩道に対してズレた位置にいることが分かる。従って、横断状況判断部は、占有率が所定の閾値未満である場合に、対象者が横断歩道を逸脱する可能性があると判断する。
請求項３に記載の本発明に係る情報処理装置は、請求項１又は請求項２に記載の構成において、前記占有率は、前記画像の横方向における横断歩道の占有率であり、前記算出部は、前記画像の横方向の寸法に対する横断歩道帯の横方向の寸法の比に基づいて前記占有率を算出する。
請求項３に記載の本発明に係る情報処理装置では、画像の横方向の寸法と、画像における横断歩道帯の横方向の寸法に基づいて、画像の横方向における横断歩道の占有率を算出する。これにより、占有率によって、横断歩道に対する対象者の横方向の位置ズレを推定できる。
請求項４に記載の本発明に係る情報処理装置は、請求項１～請求項３の何れか１項に記載の構成において、前記算出部は、前記画像の最下部に位置する第１横断歩道帯とその上方側で隣り合う位置の第２横断歩道帯について、前記第１横断歩道帯の横方向の寸法に対する前記第２横断歩道帯の横方向の寸法の比に基づく進行方向適正率を算出し、前記横断状況判断部は、前記進行方向適正率が所定の閾値未満である場合に、前記対象者が横断歩道を逸脱する可能性があると判断する。
請求項４に記載の本発明に係る情報処理装置では、画像の最下部に位置する第１横断歩道帯及びその上方側で隣り合う位置の第２横断歩道帯の横方向の寸法に基づいて、進行方向適正率を算出する。ところで、横断歩道帯は互いに平行に並べられているため、対象者が横断歩道を直進している場合、すなわち、進行方向が適正である場合、第１横断歩道帯及び第２横断歩道帯の横方向の寸法差は、僅かな値になる。よって、進行方向適正率は１に近づく。一方、対象者が横断歩道の直進方向に対して大きく傾いた方向に進行している場合、画像上方側の第２横断歩道帯の横方向の寸法が第１横断歩道帯の横方向の寸法と比較して小さくなるため進行方向適正率が低くなる。これにより、横断状況判断部は、進行方向適正率が所定の閾値未満である場合に、対象者が横断歩道を逸脱する可能性があると判断する。
請求項５に記載の本発明に係る情報処理装置は、請求項１～請求項４の何れか１項に記載の構成において、前記算出部は、前記画像の最下部に位置する第１横断歩道帯について前記画像の下端から前記第１横断歩道帯までの縦方向の高さ寸法を求め、前記画像の縦方向の寸法に対する前記第１横断歩道帯の高さ寸法の比に基づく起点距離確保率を算出し、前記横断状況判断部は、前記起点距離確保率が所定の閾値以上である場合に、前記対象者が横断歩道の手前の地点にいると判断する。
請求項５に記載の本発明に係る情報処理装置では、画像の縦方向の寸法と第１横断歩道帯の高さ寸法に基づいて、起点距離確保率を算出する。画像最下部に位置する第１横断歩道帯は、対象者の進行方向の先にある横断歩道の起点を示している。従って、起点距離確保率によって、横断歩道の起点と対象者の相対的な位置関係を推定することができる。また、対象者が横断歩道の起点に近づくほど起点距離確保率が低下する。これにより、横断状況判断部では、起点距離確保率が所定の閾値以上である場合に、対象者が横断歩道の手前の地点にいると判断する。
請求項６に記載の本発明に係る情報処理装置は、請求項１～請求項５の何れか１項に記載の構成において、前記算出部は、前記画像の最下部に位置する第１横断歩道帯とその上方側で隣り合う位置の第２横断歩道帯について、前記画像の下端から各横断歩道帯までの縦方向の高さ寸法をそれぞれ求め、前記第１横断歩道帯の高さ寸法に対する前記第２横断歩道帯の高さ寸法の比に基づく横断歩道侵入率を算出し、前記横断状況判断部は、前記横断歩道侵入率が所定の閾値未満である場合に、前記対象者が横断歩道の手前の地点にいると判断する。
請求項６に記載の本発明に係る情報処理装置では、第１横断歩道帯及び第２横断歩道帯の画像における高さ寸法に基づいて、横断歩道侵入率を算出する。すなわち、対象者が第１横断歩道帯に接近するほど、画像における第１横断歩道帯の高さ寸法が第２横断歩道帯の高さ寸法に比して小さくなるため横断歩道侵入率が高くなる。従って、横断状況判断部では、横断歩道侵入率が所定の閾値未満である場合に、対象者が横断歩道の手前の地点にいると判断する。
請求項７に記載の本発明に係る情報処理装置は、請求項１～請求項６の何れか１項に記載の構成において前記算出部は、歩行者を含まない横断歩道の画像と歩行者を含む横断歩道の画像を学習用データとして生成された学習済みモデルに対して、撮影された画像を入力することで横断歩道の横断歩道帯の形状を推定し、推定した横断歩道帯の形状に基づいて撮影された画像における横断歩道の占有率を算出する。
請求項７に記載の本発明に係る情報処理装置では、算出部は、学習済モデルに対して撮影された画像を入力することで、画像に横断歩道を利用する他の歩行者が含まれる場合でも、横断歩道帯の形状を正確に推定し、占有率を算出することができる。これにより、対象者の周囲に他の歩行者が存在する場合でも横断歩道を正確に認識し、支援情報を提供することができる。
請求項８に記載の本発明に係る情報処理装置は、請求項１～請求項７の何れか１項に記載の構成において、信号検知部をさらに備え、前記信号検知部は、前記画像に基づいて、横断歩道に設置された信号機の信号状態を検知し、前記支援情報生成部は、前記信号状態に基づいて、前記支援情報を生成する。
請求項８に記載の本発明に係る情報処理装置では、信号機の信号状態を検知して対象者の移動を支援することができる。従って、対象者が信号機が設置された横断歩道を渡る場合に、より安全性に配慮した支援情報を提供することができる。
請求項９に記載の本発明に係る情報処理装置は、請求項１～請求項８の何れか１項に記載の構成において、障害物検知部を更に備え、前記障害物検知部は、撮影された画像に基づいて、横断歩道を横切る方向に接近する障害物を検知し、前記支援情報生成部は、障害物が認識された場合に、前記支援情報を生成する。
請求項９に記載の本発明に係る情報処理装置では、横断歩道を横切る方向に接近する障害物を検知して対象者を支援することができる。従って、信号機が設置されていない横断歩道でも、対象者が安全に渡ることができるように支援情報を提供することができる。
請求項１０に記載の本発明に係る情報処理装置は、請求項１に記載の構成において、前記情報処理装置は白杖に設けられており、前記画像を撮影する撮影部と、前記支援情報を出力する出力部と、をさらに備える。
請求項１０に記載の本発明によれば、情報処理装置を白杖に設ける構成とし、情報処理装置は、画像を撮影する撮影部と支援情報を出力する出力部とを備えている。これにより。対象者が視覚障害者である場合に、携行する白杖を使用して支援情報を提供することができる。
請求項１１に記載の本発明に係る情報処理方法は、請求項１～請求項１０の何れか１項に記載の構成において、対象者の進行方向を撮影した画像における横断歩道の占有率を算出し、算出した占有率に基づいて、前記対象者の横断歩道への横断状況を判断し、前記対象者の横断状況に基づいて、横断歩道を渡る前記対象者を支援する支援情報を生成する。
請求項１１に記載の本発明に係る情報処理方法では、上述した通り、横断歩道を渡る対象者を支援することができると共に、当該対象者が簡単に利用することができる情報処理装置を提供することができる。
以上説明したように、本発明に係る情報処理装置及び情報処理方法によれば、横断歩道を渡る対象者を支援することができると共に、当該対象者が簡単に利用することができる情報処理装置を提供することができる。
実施形態に係る情報処理装置を白杖に設けた場合の、視覚障害者による使用例を示す図である。 実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 実施形態に係る情報処理装置の機能構成を示すブロック図である。 実施形態に係る学習フェーズを説明するためのブロック図である。 （Ａ）は、対象者の進行方向を撮影した画像の一例を示す図であり、（Ｂ）は、算出部によって推定された画像における横断歩道帯の形状を示す一例である。 画像における横方向の寸法及び横断歩道帯の横方向の寸法を説明するための図である。 画像における縦方向の寸法及び横断歩道帯の高さ寸法を説明するための図である。 横断歩道に対する対象者の位置と対象者の進行方向を概略的に示す概略平面図である。 実施形態における支援処理の流れの一例を示すフローチャートである。 実施形態における開始位置支援処理の流れの一例を示すフローチャートである。 実施形態における横断時位置支援処理の流れの一例を示すフローチャートである。
以下、図１～図１１を参照して本実施形態に係る情報処理装置１０について説明する。なお、本実施形態では一例として、情報処理装置１０を視覚障害者の使用する白杖１に適用した場合における構成について説明する。
図１に示されるように、情報処理装置１０は、情報処理装置１０を携行する対象者Ｐに対して、横断歩道を安全に渡るための支援情報を提供する。本実施形態では一例として、情報処理装置１０は、視覚障害者の使用する白杖１に適用されており、視覚障害者である対象者Ｐが横断歩道を渡る際に、各種の支援情報を提供する。
（情報処理装置１０のハードウェア構成）
図２は、情報処理装置１０のハードウェア構成を示すブロック図である。この図２に示されるように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６、ストレージ１８、通信インタフェース２０及び入出力インタフェース２２を含んで構成されている。各構成は、バス（符号省略）を介して相互に通信可能に接続されている。
ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１２は、ＲＯＭ１４又はストレージ１８からプログラムを読み出し、ＲＡＭ１６を作業領域としてプログラムを実行する。ＣＰＵ１２は、ＲＯＭ１４又はストレージ１８に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ１４は、各種プログラムおよび各種データを格納する。ＲＡＭ１６は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ１４又はストレージ１８には、消音処理を行うためのプログラム、及び学習済モデルＭ（図４参照）などが格納されている。
通信インタフェース２０は、情報処理装置１０が図示しないサーバ及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＬＴＥ、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。
入出力インタフェース２２には、カメラ２４及び出力装置２６が接続されている。カメラ２４は例えば、白杖１において対象者Ｐの把持するグリップ部１Ａに配置されている。カメラ２４は、対象者Ｐの前方側に向けられており、対象者Ｐの進行方向を撮影する。出力装置２６は例えば、スピーカ及び振動子の少なくとも一つを含んで構成されている。この他にも、入出力インタフェース２２にはカメラ２４の起動及び停止が可能な図示しない操作部が接続されている。また、入出力インタフェース２２にＧＰＳ装置、ジャイロセンサ、ライダー等を必要に応じて接続してもよい。
（情報処理装置１０の機能構成）
情報処理装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。情報処理装置１０が実現する機能構成について図３を参照して説明する。
図３に示されるように、情報処理装置１０は、機能構成として、撮影部３０、学習部３２、算出部３４、横断状況判断部３６、信号検知部３８、障害物検知部４０、支援情報生成部４２及び出力部４４を含んで構成されている。なお、各機能構成は、制御部としてのＣＰＵ１２がＲＯＭ１４又はストレージ１８に記憶されたプログラムを読み出し、実行することにより実現される。
撮影部３０は、対象者による操作部への操作によってカメラ２４が起動された場合に、カメラ２４で対象者Ｐの進行方向を撮影する機能を有する。
学習部３２は、図４に示されるように、横断歩道を撮影した代表的な画像データを学習用データとして用いて機械学習させることで学習済みモデルＭを生成する。具体的に、代表的な画像データは歩行者を含まない横断歩道の画像と歩行者を含む横断歩道の画像である。これらの代表的な画像データから横断歩道及び歩行者を示す画像を取得し、横断歩道帯及び歩行者の画像データを教師データとして学習部３２で機械学習を行う。これにより、学習部３２は、横断歩道帯を認識するという観点及び歩行者を認識するという観点で最も画像認識率（物体検出率）が高い特徴点のパラメータがクラス毎に記憶された学習済モデルＭを生成する。クラスとは、画像認識を用いて認識された物体のカテゴリーである。なお、学習済モデルＭとしては、例えば、ディープニューラルネットワークが適用される。本実施形態の学習済モデルＭは一例として、ＲＮＮ（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種であるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）が適用されている。
算出部３４は、学習部３２で生成された学習済モデルＭに対して、撮影部３０で撮影された画像を入力することで、横断歩道の横断歩道帯の形状を推定する。具体的に、算出部３４は、学習済モデルＭに撮影された画像を入力することで物体検出（オブジェクトディテクション）を行う。算出部３４は、学習済モデルに入力された画像から取得された物体の特徴点に基づいて、物体のクラスを分類して、物体が横断歩道帯又は歩行者であることを検出する。
また、算出部３４は、検出した物体の領域を認識する認識処理が行われる。そして、画画像中の物体の存在する概略的な領域に対して矩形の箱で表されたバウンディングボックスを生成する。物体の存在する概略的な領域とは、例えば、物体を囲うのに必要な大きさの領域である。これらのバウンディングボックスは、人物など、外形に曲線含む物体の検出においては、実際に物体の存在する領域よりも広い領域を示すことになるが、横断歩道帯のように矩形状の外形の物体の検出においては、バウンディングボックスで囲われた領域が物体の外形と略一致する。このため、後述する占有率等（Ｒ１～Ｒ４）の算出においても、実際の横断歩道帯のとの寸法誤差を僅かにすることができる。
例えば、図５（Ａ）には、横断歩道の手前の位置から白杖１のカメラ２４で撮影した画像２４Ａが示されている。画像２４Ａには、進行方向の前方側の横断歩道２と、横断歩道２に設置された信号機３が含まれている。横断歩道２は、横断歩道２の道幅方向に延びる複数の横断歩道帯２Ａを含んでおり、複数の横断歩道帯２Ａは、横断歩道２の直進方向に沿って所定の間隔を空け、互いに平行に配置されている。この図５（Ａ）に示す画像２４Ａを学習済モデルＭに入力すると、図５（Ｂ）に示すように、横断歩道帯２Ａの領域を示すバウンディングボックスＢが生成される。
また、算出部３４は、生成されたバウンディングボックスＢの大きさに基づいて占有率Ｒ１、進行方向適正率Ｒ２、起点距離確保率Ｒ３及び横断歩道侵入率Ｒ４を算出する。各比率の適宜について順番に説明する。
占有率Ｒ１は、画像２４Ａの横方向における横断歩道２の占有率であり、対象者Ｐの前景を想定した画像２４Ａにおいて横断歩道が占める大きさを示す指標となる値である。本実施形態の占有率Ｒ１は、画像の横方向における横断歩道の占有率を算出する。この占有率Ｒ１の大小により、対象者Ｐと横断歩道２の横方向における相対的な位置関係を判断することができる。以下の式（１）に示すように、占有率Ｒ１は、画像２４Ａの横方向の寸法Ｗｉｍｇに対する横断歩道帯２Ａの横方向の寸法Ｗｘの比で表される。
Figure 2022112897000002
 ・・・（１）
図６に示すように、画像２４Ａの横方向の寸法Ｗｉｍｇは、画像２４Ａの幅寸法である。また、横断歩道帯２Ａの横方向の寸法は、バウンディングボックスＢの横方向の寸法Ｗｘ１である。画像２４Ａを対象者Ｐが視覚を用いて認識した場合の前景に近づける観点から、対象者Ｐに最も近い画像２４Ａの最下部に位置する横断歩道帯２ＡのバウンディングボックスＢに基づいて横方向の寸法Ｗｘ１を占有率Ｒ１の算出に使用することが好ましい。なお、占有率Ｒ１は、上記式（１）の値に対して、対象者Ｐの体格や歩行スピードに応じた補正値で補正した値にしてもよい。
図８（Ａ）及び図８（Ｂ）に示すように、対象者Ｐが横断歩道２の幅方向中央の位置から進行方向を撮影した場合、横断歩道帯２Ａの横方向の寸法Ｗｘ１は画像２４Ａの横方向の寸法Ｗｉｍｇに近づくため、式（１）の占有率Ｒ１は１に近づく。一方、図８（Ｃ）に示すように、対象者Ｐが横断歩道２の中央に対して右方向に逸脱している位置から進行方向を撮影した場合、横断歩道帯２Ａの横方向の寸法Ｗｘ１は画像２４Ａの横方向の寸法Ｗｉｍｇに対して相対的に小さくなるため、占有率Ｒ１は低下する。
進行方向適正率Ｒ２は、横断歩道２の直進方向に対する対象者Ｐの進行方向の傾きの程度を示す指標である。以下の式（２）に示すように、進行方向適正率Ｒ２は、画像の最下部に位置する横断歩道帯２Ａとその上方側で隣り合う位置の横断歩道帯２Ａについて、最下部の横断歩道帯２Ａの横方向の寸法Ｗｘｉに対する上方側の横断歩道帯２Ａの横方向の寸法Ｗｘ（ｉ＋１）の比で表される。
Figure 2022112897000003
 ・・・（２）
図６に示すように、画像２４Ａの最下部の横断歩道帯２Ａの上方側で隣り合う横断歩道帯２Ａの横方向の寸法Ｗｘ２は、対応するバウンディングボックスＢの横方向の寸法である。なお、進行方向適正率Ｒ２は、上記式（２）の値に対して、対象者Ｐの体格や歩行スピードに応じた補正値で補正した値にしてもよい。
図８（Ａ）及び図８（Ｂ）に示すように、対象者Ｐが横断歩道２の幅方向中央の位置から横断歩道２の直進方向に沿って進行している場合、隣り合う横断歩道帯２Ａの横方向の寸法Ｗｘ１，Ｗｘ２の差は僅かとなる。従って、進行方向適正率Ｒ２は１に近づく。一方、図８（Ｄ）に示されるように、対象者Ｐが横断歩道２の内側で直進方向に対して右方向に大きく傾いた方向を向いている場合、最下部の横断歩道帯２Ａの横方向の寸法Ｗｘ１に対してその上方側で隣り合う横断歩道帯２Ａの横方向の寸法Ｗｘ２が相対的に小さくなる。従って、進行方向適正率Ｒ２が低下する。すなわち、進行方向適正率Ｒ２が低下するほど、横断歩道２の直進方向に対する対象者Ｐの進行方向の傾き量が大きくなっていることが分かり、対象者Ｐがこのまま進行した場合に横断歩道を逸脱する可能性が高いと判断できる。
起点距離確保率Ｒ３は、横断歩道２の起点と対象者Ｐとの間の距離を示す指標である。なお、横断歩道２の起点とは、横断歩道２の手前の位置から見て、対象者Ｐに最も近い横断歩道帯２Ａの位置である。以下の式（３）に示すように、起点距離確保率Ｒ３は、画像２４Ａの縦方向の寸法Ｈｉｍｇに対する横断歩道帯２Ａの高さ寸法Ｈｘの比で表される。
Figure 2022112897000004
 ・・・（３）
図７に示すように、画像２４Ａの縦方向の寸法Ｈｉｍｇは、画像２４Ａの上下方向の寸法である。また、横断歩道帯２Ａの高さ寸法は、画像２４Ａの下端から横断歩道帯２Ａの中心線までの縦方向の高さ寸法Ｈｘ１である。画像２４Ａを対象者Ｐが視覚を用いて認識した場合の前景に近づける観点から、対象者Ｐに最も近い画像２４Ａの最下部に位置する横断歩道帯２ＡのバウンディングボックスＢに基づいて高さ寸法Ｈｘ１を起点距離確保率Ｒ３の算出に使用することが好ましい。なお、起点距離確保率Ｒ３は、上記式（３）の値に対して、対象者Ｐの体格や歩行スピードに応じた補正値で補正した値にしてもよい。
図８（Ａ）に示すように、対象者Ｐが横断歩道２の手前側で起点から所定の距離を確保して立つ位置から図８（Ｂ）の横断歩道２に侵入した位置に移動する場合、画像２４Ａの最下部の横断歩道帯２Ａの高さ寸法Ｈｘ１は、対象者Ｐが起点に近づくほど画像２４Ａの縦方向の寸法Ｈｉｍｇに対して相対的に小さくなる。従って、起点距離確保率Ｒ３は低下する。
横断歩道侵入率Ｒ４は、対象者Ｐの横断歩道２への侵入の程度を示す指標である。以下の式（４）に示すように、横断歩道侵入率Ｒ４は、画像２４Ａの最下部に位置する横断歩道帯２Ａの高さ寸法Ｈｘｉに対する最下部の横断歩道帯２Ａの上方側で隣り合う横断歩道帯２Ａの高さ寸法Ｈｘ（ｉ＋１）の比で表される。
Figure 2022112897000005
 ・・・（４）
図７に示すように、画像２４Ａの最下部の横断歩道帯２Ａの上方側で隣り合う横断歩道帯２Ａの高さ寸法Ｈｘ２は、画像２４Ａの下端から対応するバウンディングボックスＢの中心線までの縦方向の高さ寸法Ｈｘ２である。なお、横断歩道侵入率Ｒ４は、上記式（４）の値に対して、対象者Ｐの体格や歩行スピードに応じた補正値で補正した値にしてもよい。
図８（Ａ）に示すように、対象者Ｐが横断歩道２の手前側で起点から所定の距離を確保して立つ位置から図８（Ｂ）の横断歩道２に侵入した位置に移動する場合、画像２４Ａの最下部の横断歩道帯２Ａの高さ寸法Ｈｘ１は、上方側に隣り合う横断歩道帯２Ａの高さ寸法Ｈｘ２に対して相対的に小さくなる。従って、対象者Ｐが起点に近づくほど横断歩道進入率Ｒ４が高まる。
横断状況判断部３６は、算出部３４で算出された占有率Ｒ１、進行方向適正率Ｒ２、起点距離確保率Ｒ３及び横断歩道侵入率Ｒ４に基づいて、対象者の横断歩道の横断状況を判断する。具体的に、横断状況判断部３６は、対象者Ｐが横断歩道２の外側に逸脱する可能性のある状況であるか否かに関する状況を判断する。また、横断状況判断部３６は、対象者Ｐが横断歩道２を渡る前に、横断歩道２の手前の位置で安全を確保できているか否かに関する状況を判断する。
信号検知部３８は、横断歩道２に信号機３が設置されている場合に、カメラ２４で撮影された画像２４Ａに基づいて信号機３の信号状態を検知する。信号状態とは、例えば横断歩道２を横断可能な横断可能状態（青信号）と、横断不可能な横断不可能状態（赤信号）である。
障害物検知部４０は、横断歩道２に信号機３が設置されていない場合に、カメラ２４で撮影された画像２４Ａに基づいて横断歩道２を横切る方向に接近する障害物を検知する。
支援情報生成部４２は、横断状況判断部３６で判断された各種横断状況、信号検知部３８の検知結果及び障害物検知部の検知結果に基づいて横断歩道を渡る前記対象者を支援する支援情報を生成する。
出力部４４は、支援情報生成部４２で生成された各種の支援情報を出力装置２６で出力し、対象者Ｐに通知する。具体的に、出力部４４は、各種情報が生成されたタイミングで振動子を作動させて通知してもよい。この場合に、出力される情報に応じて振動子の振動パターンを変更してもよい。また、出力部４４は、スピーカから音声信号やメッセージを出力して対象者Ｐに各種情報を通知してもよい。
（作用）
次に、本実施形態の作用について説明する。
（支援処理）
対象者Ｐに支援情報を提供する支援処理の一例について、図９に示されているフローチャートを用いて説明する。この支援処理は、ＣＰＵ１２がＲＯＭ１４又はストレージ１８から支援プログラムを読み出して、ＲＡＭ１６に展開して実行することによって実行される。
図９に示されるように、ＣＰＵ１２は、ステップＳ１００でカメラ２４を起動する。カメラ２４は、対象者Ｐが横断歩道２の付近に近づいたと判断したタイミングで操作部を操作することにより起動する。
次に、ＣＰＵ１２は、ステップＳ１０１で撮影画像を取得する。具体的に、ＣＰＵ１２は、撮影部３０の機能によって、対象者Ｐの進行方向を撮影したカメラ２４の画像２４Ａを取得する。
ＣＰＵ１２は、ステップＳ１０２で画像２４Ａに含まれる横断歩道帯２Ａの形状を推定する。具体的に、ＣＰＵ１２は、算出部３４の機能によって横断歩道帯２Ａの領域に対応するバウンディングボックスＢを生成し、横断歩道帯２Ａの形状として推定する。このときのバウンディングボックスＢの生成には、学習済モデルＭが用いられる。
ＣＰＵ１２は、ステップＳ１０３で横断歩道帯２Ａの形状があるか否かについて判断する。ＣＰＵ１２が横断歩道帯があると判断した場合、ステップＳ１０４に移行して開始位置支援処理を実行する。開始位置支援処理によって、横断歩道を渡る前に、対象者Ｐを横断歩道に侵入しない安全な位置に移動させるように支援することができる。
一方、例えば、横断歩道２が混雑状態にあるため学習済モデルＭを用いても横断歩道帯が検出されなかった場合や、撮影された画像２４Ａが横断歩道を含まない画像である場合は横断歩道帯がないと判断し、ステップＳ１０５に移行する。ステップＳ１０５では、支援情報生成部４２の機能によって横断歩道帯が認識できない旨の支援情報を生成し、当該支援情報を出力部４４の機能によって対象者Ｐに通知する。なお、横断歩道が混雑状態であるために横断歩道帯がないと判断した場合は、「横断歩道が混雑しております」という音声メッセージで支援情報を通知してもよい。若しくは、「一時停止してください」などの音声メッセージで支援情報を通知してもよい。ＣＰＵ１２は、ステップＳ１０５の処理を終えるとステップＳ１０２に戻る。
続いて、ＰＵ１２は、ステップＳ１０６で信号機があるか否かについて判断する。具体的に、ＣＰＵ１２は、信号検知部３８の機能によって撮影された画像２４Ａから信号機の有無を判断する。ＣＰＵ１２が信号機があると判断した場合、ステップＳ１０７に移行して信号機の信号状態が青信号であるか否かについて判断する。
ステップＳ１０７で信号機が青信号であると判断した場合、ステップＳ１１０に移行する。ステップＳ１０７で信号機が赤信号であると判断した場合、ステップＳ１０７の処理を繰り返す。
一方、ステップＳ１０６で信号機が無いと判断した場合、ＣＰＵ１２は、ステップＳ１０８に進んで障害物が存在するか否かについて判断する。具体的に、ＣＰＵ１２は、障害物検知部４０の機能によって、画像２４Ａを分析し、横断歩道２を横切る方向に接近する障害物の有無について判断する。ＣＰＵ１２は、ステップＳ１０８で障害物が存在すると判断した場合にステップＳ１０９に移行して対象者Ｐに対して警告する。具体的に、支援情報生成部４２の機能によって障害物の存在を通知する支援情報を生成し、出力部４４の機能によって対象者Ｐに支援情報を通知する。これにより、対象者Ｐと障害物との衝突を回避することができる。ＣＰＵ１２は、ステップＳ１０９の処理を終えると、ステップＳ１０８に戻る。
一方、ステップＳ１０８でＣＰＵ１２によって障害物が存在しないと判断された場合、ステップＳ１１０の処理に移行する。
ＣＰＵ１２は、ステップＳ１１０で横断歩道２を横断できることを対象者に通知する。具体的に、ＣＰＵ１２は、支援情報生成部４２の機能によって横断歩道を渡ることを促す支援情報を生成し、出力部４４の機能によって出力装置２６から支援情報を出力する。
ＣＰＵ１２は、ステップＳ１１１で横断位置支援処理を実行する。横断位置支援処理によって、横断歩道を横断しているときに対象者Ｐが横断歩道を逸脱しないように支援する支援情報を提供することができる。
続いてＣＰＵ１２は、ステップＳ１１２でカメラ２４が停止したか否かについて判断する。カメラ２４の停止は、対象者Ｐが横断歩道を渡り終えたと判断したタイミングで白杖１の操作部を操作することにより停止される。ＣＰＵ１２は、カメラ２４が停止したと判断した場合、処理を終了する。また、ＣＰＵ１２は、カメラ２４が停止されていないと判断した場合、ステップＳ１０６に戻って処理を繰り返す。
（開始位置支援処置）
次に、図１０を参照して開始位置支援処理について説明する。この処理は、例えば、算出部３４で横断歩道帯２Ａの形状が推定された場合に実行される。
ＣＰＵ１２は、ステップＳ２００で起点距離確保率Ｒ３を算出する。その後、ＣＰＵ１２は、ステップＳ２０１に移行して起点距離確保率Ｒ３が所定の閾値以上であるか否かについて判断する。ＣＰＵ１２は、起点距離確保率Ｒ３が所定の閾値以上であると判断した場合、対象者Ｐは横断歩道の手前の安全な位置にいると判断してステップＳ２０３に移行する。また、ＣＰＵ１２は、起点距離確保率Ｒ３が所定の閾値未満であると判断すると、対象者Ｐが横断歩道に侵入している、又はまもなく横断歩道に侵入すると判断してステップＳ２０２に移行する。
ＣＰＵ１２は、ステップＳ２０２で対象者Ｐが横断歩道に侵入していることを通知する。具体的に、ＣＰＵ１２は、支援情報生成部４２の機能によって対応する支援情報を生成し、出力部４４の機能によって出力する。支援情報は、対象者Ｐが移動すべき方向を音声メッセージで直接通知してもよい。ＣＰＵ１２は、ステップＳ２０２の処理を終えるとステップＳ２００に戻る。
ＣＰＵ１２は、ステップＳ２０３で横断歩道侵入率Ｒ４を算出する。その後、ＣＰＵ１２は、ステップＳ２０４に移行して横断歩道侵入率Ｒ４が所定の閾値未満であるか否かについて判断する。ＣＰＵ１２は、横断歩道侵入率Ｒ４が所定の閾値未満であると判断した場合、対象者Ｐが横断歩道の手前の安全な位置にいると判断してステップＳ２０６に移行する。
一方、ＣＰＵ１２は、ステップＳ１０４で横断歩道侵入率Ｒ４が所定の閾値以上であると判断すると、対象者Ｐが横断歩道に侵入している、又は、まもなく横断歩道に侵入すると判断してステップＳ２０５に移行する。ＣＰＵ１２は、ステップＳ２０５で対象者Ｐが横断歩道に侵入していることを通知する。具体的に、ＣＰＵ１２は、支援情報生成部４２の機能によって対応する支援情報を生成し、出力部４４の機能によって出力する。支援情報は、対象者Ｐが移動すべき方向を音声メッセージで直接通知してもよい。ＣＰＵ１２は、ステップＳ２０５の処理を終えるとステップＳ２０３に戻る。
ＣＰＵ１２は、ステップＳ２０６で対象者Ｐが適切な開始位置（待機位置）にいることを示す支援情報を通知して支援処理のステップに戻る。
（横断時位置支援処理）
次に、図１１を参照して、横断時位置支援処理について説明する。この処理は、例えば、出力部４４で対象者Ｐが横断できることが通りされや場合に実行される。
ＣＰＵ１２は、ステップＳ３００で占有率Ｒ１を算出し、ステップＳ３０１で、占有率Ｒ１が所定の閾値以上であるか否かについて判断する。占有率Ｒ１が所定の閾値未満である場合、対象者Ｐの位置が横断歩道２に対して横方向にずれているため、このまま進行した場合に横断歩道２から対象者Ｐが逸脱する可能性が高いと判断する（図８（Ｃ）の位置を参照）。この場合、ＣＰＵ１２は、ステップＳ３０２に移行して対象者Ｐが横断歩道の外側にいることを示す支援情報を通知する。ＣＰＵ１２は、ステップＳ３０２の処理を終えるとステップＳ３００に戻る。
一方、占有率Ｒ１が所定の閾値以上である場合、対象者Ｐの位置が横断歩道の内側であると判断して、ステップＳ３０３に移行する。
ＣＰＵ１２は、ステップＳ３０３で進行方向適正率Ｒ２を算出し、ステップＳ３０４で進行方向適正率Ｒ２が所定の閾値以上であるか否かについて判断する。上述した通り、進行方向適正率Ｒ２が所定の閾値未満である場合、対象者Ｐの進行方向が横断歩道２の直進方向に対して大きく傾いていることが分かる（図８（Ｄ）の進行方向を参照）。従って、ＣＰＵ１２は、横断状況判断部３６の機能によって、対象者Ｐがこのまま進行した場合に横断歩道２から逸脱する可能性が高いと判断する。そして、ＣＰＵ１２は、進行方向適正率Ｒ２が所定の閾値未満であると判断した場合、ステップＳ３０５に移行して、進行方向が正しくないことを示す支援情報を通知する。当該支援情報は、対象者Ｐが方向転換すべき方向を音声メッセージで直接通知してもよい。ＣＰＵ１２は、ステップＳ３０５の処理を終えると、ステップＳ３０３に戻る。
一方、ＣＰＵ１２は、進行方向適正率Ｒ２が所定の閾値以上であることを判断すると、ステップＳ３０６で、対象者Ｐが横断歩道の内側にいることを示す支援情報を通知して処理を終了する。
以上説明したように、本実施形態の情報処理装置１０では、算出部３４で画像２４Ａにおける横断歩道２の占有率Ｒ１を算出する。対象者Ｐの進行方向を撮影した画像２４Ａは、対象者Ｐの前景に近い画像である。従って、横断状況判断部３６は、占有率Ｒ１に基づいて、対象者Ｐの横断歩道２への横断状況を判断することができる。そして、支援情報生成部４２は、対象者Ｐの横断状況に基づいて、横断歩道２を渡る対象者Ｐを支援する支援情報を生成する。このように、情報処理装置１０は、進行方向を撮影した画像２４Ａに基づいて対象者Ｐの横断状況を判断し、横断歩道２を渡る対象者Ｐを支援することができる。また、対象者Ｐが横断歩道を渡る際に撮影される画像だけで横断状況を判断する構成としたため、対象者Ｐは、情報処理装置１０を簡単に利用することができる。
具体的に、撮影した画像２４Ａにおける横断歩道２の占有率Ｒ１が所定の閾値未満である場合、すなわち、対象者Ｐの前景における横断歩道２の存在が小さい場合、対象者Ｐが横断歩道に対してズレた位置にいることが分かる。従って、情報処理装置１０の横断状況判断部３６は、占有率Ｒ１が所定の閾値未満である場合に、対象者Ｐが横断歩道２を逸脱する可能性があると判断する。
さらに、本実施形態では、式（１）に示すように、画像２４Ａの横方向の寸法Ｗｉｍｇと、画像２４Ａにおける横断歩道帯２Ａの横方向の寸法Ｗｘに基づいて、画像２４Ａの横方向における横断歩道２の占有率Ｒ１を算出する。これにより、占有率Ｒ１によって、横断歩道２に対する対象者Ｐの横方向の位置ズレを効果的に推定できる。
さらに、本実施形態では、画像２４Ａの最下部に位置する横断歩道帯２Ａ及びその上方側で隣り合う位置の横断歩道帯２Ａの横方向の寸法Ｗｘｉ，Ｗｘ（ｉ＋１）に基づいて、進行方向適正率Ｒ２を算出する。
ところで、横断歩道帯２Ａは互いに平行に並べられているため、対象者Ｐが横断歩道２を直進している場合、すなわち、進行方向が適正である場合、最下部の横断歩道帯２Ａ及びその上方側で隣り合う横断歩道帯２Ａの横方向の寸法の差は僅かな値になる。よって、進行方向適正率Ｒ２は１に近づく。一方、対象者Ｐが横断歩道２の直進方向に対して大きく傾いた方向に進行している場合、図６において画像上方側の横断歩道帯２Ａの横方向の寸法Ｗｘ２が最下部の横断歩道帯２Ａの横方向の寸法Ｗｘ１と比較して小さくなるため進行方向適正率Ｒ２が低くなる。これにより、横断状況判断部３６では、進行方向適正率Ｒ２が所定の閾値未満である場合に、対象者Ｐが横断歩道２を逸脱する可能性があると判断することができる。
さらに、本実施形態では、図７に示す画像の縦方向の寸法Ｈｉｍｇと最下部の横断歩道帯２Ａの高さ寸法Ｈｘ１に基づいて、式（３）の起点距離確保率Ｒ３を算出する。画像最下部に位置する横断歩道帯２Ａは、対象者Ｐの進行方向の先にある横断歩道２の起点を示している。従って、起点距離確保率Ｒ３によって、横断歩道２の起点と対象者Ｐの相対的な位置関係を推定することができる。また、対象者Ｐが横断歩道２の起点に近づくほど起点距離確保率Ｒ３が低下する。これにより、横断状況判断部３６では、起点距離確保率Ｒ３が所定の閾値以上である場合に、対象者Ｐが横断歩道Ｒの手前の地点にいると判断することができる。
さらに、本実施形態では、図７に示す画像２４Ａの最下部の横断歩道帯２Ａ及びその上方側で隣り合う横断歩道帯２Ａの高さ寸法Ｈｘ１，Ｈｘ２に基づいて、横断歩道侵入率Ｒ４を算出する。すなわち、対象者Ｐが最下部の横断歩道帯２Ａに接近するほど、最下部の横断歩道帯２Ａの高さ寸法Ｈｘ１が上方側で隣り合う横断歩道帯２Ａの高さ寸法Ｈｘ２に比して小さくなるため横断歩道侵入率Ｒ４が高くなる。従って、横断状況判断部３６では、横断歩道侵入率Ｒ４が所定の閾値未満である場合に、対象者Ｐが横断歩道２の手前の地点にいると判断することができる。
さらに、本実施形態において、算出部３４は、学習済モデルＭに対して撮影された画像２４Ａを入力することで、画像２４Ａに横断歩道２を利用する他の歩行者が含まれる場合でも、横断歩道帯２の形状を正確に推定し、占有率Ｒ１を算出することができる。これにより、対象者の周囲に他の歩行者が存在する場合でも、正確に横断歩道２を認識して支援情報を提供することができる。
さらに、本実施形態では、信号機３の信号状態を検知して対象者Ｐの移動を支援することができる。従って、対象者Ｐが信号機３が設置された横断歩道２を渡る場合に、より安全性に配慮した支援情報を提供することができる。
さらに、本実施形態では、横断歩道２を横切る方向に接近する障害物を検知して対象者Ｐを支援することができる。従って、信号機が設置されていない横断歩道２でも、対象者Ｐが安全に渡ることができるように支援情報を提供することができる。
さらに、本実施形態では、情報処理装置１０を白杖１に設ける構成とし、情報処理装置１０は、画像２４Ａを撮影する撮影部３０と支援情報を出力する出力部４４とを備えている。これにより。対象者Ｐが視覚障害者である場合に、常日頃から携行する白杖１を使用して支援情報を提供することができるため、利便性を向上させることができる。
[補足説明]
以上、本実施形態に係る情報処理装置１０及び情報処理装置１０で実行される情報処理方法について説明したが、本発明は、発明の要旨を逸脱しない範囲で種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、情報処理装置１０が白杖１に設けられる構成としたが、本発明はこれに限らない。情報処理装置の全部又は一部をスマートフォン等、対象者が携行可能な他の装置で構成してもよい。
上記実施形態では、出力装置２６が白杖１に設けられる構成としたが本発明はこれに限らない。出力装置２６をスマートフォンやイヤフォン等の対象者Ｐが携行可能な装置に設けてもよい。この場合、スマートフォン等の出力装置を備えるデバイスは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信によって白杖１の出力部からの出力信号を受信し、音や振動パターンとして出力してもよい。
また、上記実施形態では支援を受ける対象者を視覚障害者としたが、本発明はこれに限らない。例えば、所定の方向に迅速に身体を向けて目視で確認することが困難な高齢者や、車椅子で行動する身体障害者を対象者として、横断歩道を渡るための支援情報を提供してもよい。
上記実施形態では、対象者Ｐによる操作部の操作によってカメラ２４を起動させ、ＧＰＳ装置や大規模記憶装置を必要とする地図データを有しない構成とすることで装置全体を簡略化し小型化を図っているが、本発明はこれに限らない。例えば、ＧＰＳ装置によって対象者の現在位置を取得し、現在位置に基づいて地図データを参照することにより対象者が横断歩道の付近にいることを検知した場合にカメラ２４を自動で起動させる構成としてもよい。又は、情報処理装置がスマートフォン等の外部装置と通信可能にし、スマートフォン等が備えるＧＰＳ機能や地図データの参照機能に基づいて対象者Ｐの現在位置（情報処理装置の現在位置）を取得し、現在位置が横断歩道の付近であることを検知した場合にカメラ２４を起動させる構成としてもよい。
また、上記実施形態では、撮影された画像の横方向の寸法と横断歩道帯２Ａの横方向の寸法に基づいて画像おける横方向の占有率を算出する構成としたが、本発明はこれに限らない。例えば、撮影された画像の面積と、撮影された横断歩道帯の総面積に基づいて、画像に対する横断歩道の面積の占有率を本発明における横断歩道の占有率として定義してもよい。
また、上記実施形態でＣＰＵ１２がソフトウェア（プログラム）を読み込んで実行した支援処理、開始位置支援処理及び横断時位置支援処理を、ＣＰＵ１２以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、支援処理、開始位置支援処理及び横断時位置支援処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ１８に種々のデータを記憶させる構成としたが、これに限定されない。例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。
１ 白杖
２ 横断歩道
２Ａ 横断歩道帯
１０ 情報処理装置
２４Ａ 画像
３０ 撮影部
３４ 算出部
３６ 横断状況判断部
３８ 信号検知部
４０ 障害物検知部
４２ 支援情報生成部
４４ 出力部
Ｐ 対象者
Ｍ 学習済みモデル
Ｒ１ 占有率
Ｒ２ 進行方向適正率
Ｒ３ 起点距離確保率
Ｒ４ 横断歩道侵入率
Ｗｉｎｇ 画像の横方向の寸法
Ｗｘｉ，Ｗｘ１ 第１横断歩道帯の横方向の寸法
Ｗｘ（ｉ＋１），Ｗｘ２ 第２横断歩道帯の横方向の寸法
Ｈｉｎｇ 画像の縦方向の寸法
Ｈｘｉ，Ｈｘ１ 第１横断歩道帯の高さ寸法
Ｈｘ（ｉ＋１），Ｈｘ２ 第２横断歩道帯の高さ寸法

Claims (11)

  1. 対象者の進行方向を撮影した画像における横断歩道の占有率を算出する算出部と、
    算出した占有率に基づいて、前記対象者の横断歩道の横断状況を判断する横断状況判断部と、
    前記対象者の横断状況に基づいて、横断歩道を渡る前記対象者を支援する支援情報を生成する支援情報生成部と、
    を有する情報処理装置。
  2. 前記横断状況判断部は、前記占有率が所定の閾値未満である場合に、前記対象者が横断歩道を逸脱する可能性があると判断する、請求項１に記載の情報処理装置。
  3. 前記占有率は、前記画像の横方向における横断歩道の占有率であり、
    前記算出部は、前記画像の横方向の寸法に対する横断歩道帯の横方向の寸法の比に基づいて前記占有率を算出する、請求項１又は請求項２に記載の情報処理装置。
  4. 前記算出部は、前記画像の最下部に位置する第１横断歩道帯とその上方側で隣り合う位置の第２横断歩道帯について、前記第１横断歩道帯の横方向の寸法に対する前記第２横断歩道帯の横方向の寸法の比に基づく進行方向適正率を算出し、
    前記横断状況判断部は、前記進行方向適正率が所定の閾値未満である場合に、前記対象者が横断歩道を逸脱する可能性があると判断する請求項１～請求項３の何れか１項に記載の情報処理装置。
  5. 前記算出部は、前記画像の最下部に位置する第１横断歩道帯について前記画像の下端から前記第１横断歩道帯までの縦方向の高さ寸法を求め、前記画像の縦方向の寸法に対する前記第１横断歩道帯の高さ寸法の比に基づく起点距離確保率を算出し、
    前記横断状況判断部は、前記起点距離確保率が所定の閾値以上である場合に、前記対象者が横断歩道の手前の地点にいると判断する請求項１～請求項４の何れか１項に記載の情報処理装置。
  6. 前記算出部は、前記画像の最下部に位置する第１横断歩道帯とその上方側で隣り合う位置の第２横断歩道帯について、前記画像の下端から各横断歩道帯までの縦方向の高さ寸法をそれぞれ求め、前記第１横断歩道帯の高さ寸法に対する前記第２横断歩道帯の高さ寸法の比に基づく横断歩道侵入率を算出し、
    前記横断状況判断部は、前記横断歩道侵入率が所定の閾値未満である場合に、前記対象者が横断歩道の手前の地点にいると判断する請求項１～請求項５の何れか１項に記載の情報処理装置。
  7. 前記算出部は、歩行者を含まない横断歩道の画像と歩行者を含む横断歩道の画像を学習用データとして生成された学習済みモデルに対して、撮影された画像を入力することで横断歩道の横断歩道帯の形状を推定し、
    推定した横断歩道帯の形状に基づいて撮影された画像における横断歩道の占有率を算出する、請求項１～請求項６の何れか１項に記載の情報処理装置。
  8. 信号検知部をさらに備え、
    前記信号検知部は、前記画像に基づいて、横断歩道に設置された信号機の信号状態を検知し、
    前記支援情報生成部は、前記信号状態に基づいて、前記支援情報を生成する請求項１～請求項７の何れか１項に記載の情報処理装置。
  9. 障害物検知部を更に備え、
    前記障害物検知部は、撮影された画像に基づいて、横断歩道を横切る方向に接近する障害物を検知し、
    前記支援情報生成部は、障害物が認識された場合に、前記支援情報を生成する、請求項１～請求項８の何れか１項に記載の情報処理装置。
  10. 前記情報処理装置は白杖に設けられており、
    前記画像を撮影する撮影部と、
    前記支援情報を出力する出力部と、をさらに備える請求項１～請求項９の何れか１項に記載の情報処理装置。
  11. 対象者の進行方向を撮影した画像における横断歩道の占有率を算出し、
    算出した占有率に基づいて、前記対象者の横断歩道への横断状況を判断し、
    前記対象者の横断状況に基づいて、横断歩道を渡る前記対象者を支援する支援情報を生成する情報処理方法。






JP2021008918A 2021-01-22 2021-01-22 情報処理装置及び情報処理方法 Withdrawn JP2022112897A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021008918A JP2022112897A (ja) 2021-01-22 2021-01-22 情報処理装置及び情報処理方法
US17/530,476 US11672724B2 (en) 2021-01-22 2021-11-19 Information processing device and information processing method
CN202210059819.XA CN114822010B (zh) 2021-01-22 2022-01-19 信息处理装置和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021008918A JP2022112897A (ja) 2021-01-22 2021-01-22 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2022112897A true JP2022112897A (ja) 2022-08-03

Family

ID=82494308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021008918A Withdrawn JP2022112897A (ja) 2021-01-22 2021-01-22 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US11672724B2 (ja)
JP (1) JP2022112897A (ja)
CN (1) CN114822010B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022172511A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 歩行支援システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4592200B2 (ja) * 2001-03-02 2010-12-01 小糸工業株式会社 横断支援用検出装置及びこれを用いた横断支援システム
CN101509780B (zh) * 2009-03-16 2011-09-28 西安理工大学 一种智能盲人导航系统及导航方法
WO2011039977A1 (ja) * 2009-09-29 2011-04-07 パナソニック株式会社 横断歩道標示検出方法および横断歩道標示検出装置
JP5631581B2 (ja) * 2009-12-01 2014-11-26 富士重工業株式会社 道路認識装置
US8983124B2 (en) * 2009-12-03 2015-03-17 National Institute Of Advanced Industrial Science And Technology Moving body positioning device
CN101853399B (zh) * 2010-05-11 2013-01-09 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
JP5469148B2 (ja) 2011-10-13 2014-04-09 本田技研工業株式会社 車両の制御装置
JP6408434B2 (ja) 2015-07-14 2018-10-17 株式会社キクテック 道路標示体劣化検出方法
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
JP6628189B2 (ja) 2016-05-19 2020-01-08 パナソニックＩｐマネジメント株式会社 検出装置および検出方法
JP2018013847A (ja) * 2016-07-19 2018-01-25 株式会社リコー 端末装置、運転補助方法及び運転補助プログラム
KR101911598B1 (ko) * 2016-08-03 2018-10-24 울산대학교 산학협력단 시각장애인을 위한 횡단보도 신호등 영상 인식 방법 및 장치
JP6948325B2 (ja) * 2016-08-05 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN106652505B (zh) * 2017-01-22 2019-01-25 吉林大学 一种基于智能眼镜的视觉障碍行人过街引导系统
JP6593364B2 (ja) * 2017-02-03 2019-10-23 トヨタ自動車株式会社 光学デバイス
CN106901956B (zh) * 2017-03-03 2019-06-04 西南大学 一种用于人行横道线处的盲人导航方法及装置
CN106909916B (zh) * 2017-03-20 2020-02-18 南京大学 一种基于手机平台快速检测与识别人行道斑马线的方法
KR101884324B1 (ko) * 2017-09-06 2018-08-02 임철수 횡단보도 음성안내 보조장치
CN108010314A (zh) * 2018-01-08 2018-05-08 长沙金龙铸造实业有限公司 为盲人安全出行提供方便的系统和方法
CN108309708A (zh) * 2018-01-23 2018-07-24 李思霈 盲人拐杖
CN108764150A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种用于斑马线型人行横道检测的盲人辅助眼镜
US10600318B1 (en) * 2019-03-23 2020-03-24 Min-Yueh Chiang Blind guiding equipment in pedestrian crosswalk
US11351991B2 (en) * 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US11205082B2 (en) * 2019-10-08 2021-12-21 Toyota Research Institute, Inc. Spatiotemporal relationship reasoning for pedestrian intent prediction
US11904854B2 (en) * 2020-03-30 2024-02-20 Toyota Research Institute, Inc. Systems and methods for modeling pedestrian activity

Also Published As

Publication number Publication date
CN114822010A (zh) 2022-07-29
US11672724B2 (en) 2023-06-13
CN114822010B (zh) 2024-03-05
US20220233392A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
AU2015262344B2 (en) Processing apparatus, processing system, processing program, and processing method
JP6284644B2 (ja) 自動二輪車のための情報提供装置及びプログラム
WO2020194015A1 (ja) 運転支援方法及び運転支援装置
US10331140B2 (en) Moving body
JP6556563B2 (ja) 検出装置、検出方法、検出プログラムおよび情報処理システム
TWI598854B (zh) 障礙物檢測裝置及具備其之移動體
JP4937844B2 (ja) 歩行者検出装置
JP2022112897A (ja) 情報処理装置及び情報処理方法
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
CN115223115A (zh) 信息处理装置及其控制方法、移动体的控制装置和控制方法以及记录介质
JP2010097335A (ja) 運転意思推定装置
US11783574B2 (en) Artificial intelligence based real time vehicle parking verification
JP2021041754A (ja) 運転制御方法及び運転制御装置
JP7051326B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018195194A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP6953228B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6773854B2 (ja) 検出装置、検出方法、および検出プログラム
JP2005092516A (ja) 車載用移動体検出装置
JP6901937B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2020144591A (ja) 移動体管理装置、及び、移動体管理方法
WO2022183415A1 (zh) 一种积水深度确定方法及装置
KR102322815B1 (ko) 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
JP7292320B2 (ja) 移動体制御システム、移動体、および制御方法
JP2022177735A (ja) 報知装置、地図データ、および、プログラム
JP2022118053A (ja) 出力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230822

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20231114