JP2016059808A - ロボットによるユーザアシスタンス - Google Patents

ロボットによるユーザアシスタンス Download PDF

Info

Publication number
JP2016059808A
JP2016059808A JP2015179917A JP2015179917A JP2016059808A JP 2016059808 A JP2016059808 A JP 2016059808A JP 2015179917 A JP2015179917 A JP 2015179917A JP 2015179917 A JP2015179917 A JP 2015179917A JP 2016059808 A JP2016059808 A JP 2016059808A
Authority
JP
Japan
Prior art keywords
user
warning
robot
point
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015179917A
Other languages
English (en)
Inventor
エムラ アクン シシュボット,
Akin Sisbot Emarah
エムラ アクン シシュボット,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2016059808A publication Critical patent/JP2016059808A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635Hand or arm, e.g. handle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012Control means thereof computer controlled connected to external computer devices or networks using the internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5015Control means thereof computer controlled connected to external computer devices or networks using specific interfaces or standards, e.g. USB, serial, parallel
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5064Position sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5097Control means thereof wireless
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Primary Health Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボットによって視覚障害者を危険から保護する。
【解決手段】ロボットによって視覚障害のあるユーザを危険から保護するシステムが実行する方法であって、前記ユーザに対して脅威となりうる対象物が存在する地点である関心地点を取得する関心地点取得ステップと、前記関心地点が、視覚障害のあるユーザにとって脅威となりうるかを、前記ユーザの位置に基づいて判定するリスク判定ステップと、前記ユーザから前記関心地点までの距離である第一の距離が、第一の閾値を満たすか否かに基づいて、前記ユーザを保護するためのロボットの移動先を決定する保護判定ステップと、前記移動先に前記ロボットを移動させる命令を発行する移動ステップと、を含む。
【選択図】図1

Description

本発明は、ユーザを危険から保護するためのロボットに関する。
(関連出願への相互参照)
本出願は、"ROBOT ASSISTANCE FOR DETECTING, MANAGING, AND MITIGATING RISK"と題
され、2014年9月12日に出願された、米国特許出願第14/485,544号の優先権を主張する。当該出願は、その全体が本明細書中に参照として組み込まれる。
視覚障害を持った人々は、危険もしくは不快な状況が近くに存在することに気付かないことがあるため、自由な移動が難しい。例えば、段差、オブジェクト、障害物などが、視覚障害者の安全にとって脅威となりうる。
一方、これらの危険に対し、視覚障害者をガイドするシステムが存在する。しかし、ガイドされた人が、ガイダンスに厳密に従えるという保証は無い。例えば、ガイドされた経路からの逸脱は、潜在的な危険となりうる。
また、視覚障害者が、健常者の近くで移動しようとしたような場合、危険が動的に変化する。健常者は自由に動き回るためである。また、群衆が存在する場合、多くの人が近くを足早に通過するため、視覚障害者は不快に感じる場合がある。
既存の技術において、視覚障害者が、片手もしくは両手でロボットを握るというものがある。当該ロボットは、所定の方向に移動し、利用者がそれに続いて移動する。
ロボットは、ユーザと他のオブジェクトとの間に位置するため、何らかの危険が迫った場合、まずロボットがこれを受け止める。したがって、ユーザを、正面から到来する危険から直接保護することができる。
しかし、このようなロボットは、正面以外の他の方向から出現する危険や不快な状況からユーザを保護することはできない。
本発明は、上記の問題点を考慮してなされたものであり、ロボットによって視覚障害者を危険から保護する方法を提供することを目的とする。
上記課題を解決するための、本発明の革新的な一形態に係るシステムは、
ロボットによって視覚障害のあるユーザを危険から保護するシステムであって、前記ユーザに対して脅威となりうる対象物が存在する地点である関心地点を取得する関心地点取得手段と、前記関心地点が、視覚障害のあるユーザにとって脅威となりうるかを、前記ユーザの位置に基づいて判定するリスク判定手段と、前記ユーザから前記関心地点までの距離である第一の距離が、第一の閾値を満たすか否かに基づいて、前記ユーザを保護するためのロボットの移動先を決定する保護判定手段と、前記移動先に前記ロボットを移動させる命令を発行する移動手段と、を有することを特徴とする。
また、本発明の革新的な一形態に係る方法は、
ロボットによって視覚障害のあるユーザを危険から保護するシステムが実行する方法であって、前記ユーザに対して脅威となりうる対象物が存在する地点である関心地点を取得する関心地点取得ステップと、前記関心地点が、視覚障害のあるユーザにとって脅威とな
りうるかを、前記ユーザの位置に基づいて判定するリスク判定ステップと、前記ユーザから前記関心地点までの距離である第一の距離が、第一の閾値を満たすか否かに基づいて、前記ユーザを保護するためのロボットの移動先を決定する保護判定ステップと、前記移動先に前記ロボットを移動させる命令を発行する移動ステップと、を含むことを特徴とする。
また、これらの形態の一つ以上の他の実装として、方法、システム、装置、これらのためのコンピュータプログラム、その他の実装などが含まれる。
これらの実装例は、以下の特徴のうち一つ以上を任意に含んでいてもよい。
例えば、前記第一の閾値は、前記関心地点のタイプに基づいて算出された値であることを特徴としてもよい。
また、前記ユーザに警告を行うか否かを判定し、前記ユーザに警告を行う警告ステップをさらに含むことを特徴としてもよい。
また、前記警告は、音声による警告、または、触覚による警告のいずれかであってもよい。
また、前記警告ステップでは、前記ユーザに触覚フィードバックを与える機能を有する杖またはベルトに警告を送信することを特徴としてもよい。
また、リスク要因またはユーザの経路に基づいて、前記関心地点の前記ユーザに対する脅威の度合いを推定する推定ステップをさらに含み、前記保護判定ステップでは、前記第一の距離が、前記第一の閾値を満たさない場合に、前記脅威の度合いに基づいて信頼度をさらに決定することを特徴としてもよい。
また、前記保護判定ステップでは、前記第一の距離が前記第一の閾値を満たさない場合であって、かつ、前記信頼度が第二の閾値を満たす場合に、前記ユーザを保護するためのロボットの移動先を決定することを特徴としてもよい。
また、前記関心地点は、段差、固定障害物、移動オブジェクトのうちのいずれかが存在する地点であってもよい。
本明細書において、「データ」という語は、本明細書に記載された関数や操作を受ける任意のデジタルデータを指す語として用いる。
デジタルデータとは、例えば、ネットワークサービスデータ、連結性マップデータ、移動(journey)データ、ユーザプロファイルデータ、時刻同期データ、移動履歴データ、
嗜好階層データ、デッドゾーンデータ、ナビゲーション地図データ、メッシュネットワークデータ、速度データ、二つ以上の構成要素(サーバ、車両システム、モバイルデバイス、クライアントデバイス等)によって共有されるデータ、当該二つ以上の構成要素間で転送されるデータなどであるが、これらに限られない。
本明細書によって開示される発明は、特にいくつかの面において有利である。
例えば、ユーザの安全と快適性を守るために、ロボットをユーザの正面以外の重要な位置に配置することができる。結果として、視覚障害者は、怪我をするリスクを減らし、より活動的なライフスタイルを送れるようになる。
なお、本明細書にて述べるシステムの利点はあくまで例であり、他の多数の利点および利益を有し得る。
本発明によると、ロボットによって視覚障害者を危険から保護することができる。
ユーザを保護するロボットを用いたシステムを例示するブロック図である。 リスク管理システムを例示するブロック図である。 ロボットがユーザを保護するシナリオの例を示す図である。 ロボットがユーザを保護する処理の一例を示すフローチャートである。 ロボットがユーザを保護する処理の一例を示すフローチャートである。
以下の説明および添付の図面は本発明を説明するための例示であり、本発明を限定するものではない。図面においては、同様の要素には同一の参照符号を付してある。
また、以下の説明において、ユーザと接触する可能性がある物体やオブジェクト、または、ユーザに害をなす可能性がある物体や場所を「リスク」と称する。
なお、「閾値が満たされる」とは、ある値と所定の閾値との大小関係を比較した結果、当該大小関係が予め定められた関係と適合することを意味する。
(システム概要)
図1は、ユーザを保護するロボットを用いたシステム100の、一実施形態におけるブロック図を例示したものである。
システム100は、信号線104を介してネットワーク105に接続されたサーバ107、信号線118を介してネットワーク105に接続されたロボット190と、信号線120を介してネットワーク105に接続されたもう一つのオプションのロボット190からなる。また、ユーザ101は、信号線120およびオプションの信号線122を介してロボットと通信する。
なお、図1には一人のユーザ101、一つのサーバ107が示されているが、本発明を適用可能なシステムアーキテクチャは、一人以上のユーザ101、一つ以上のサーバ107を含むことができる。
さらに、図1には、システム100の構成要素に接続された一つのネットワーク105が示されているが、実際には、様々なタイプの一つ以上のネットワーク105が、これらの構成要素に接続されていてもよい。
ネットワーク105は、有線ネットワークであっても無線ネットワークであってもよく、また、スター型、トークンリング型や当業者に知られているその他の構成を取ることができる。さらにまた、ネットワーク105は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(例えばインターネット)、または、複数の装置が通信に用いる相互接続されたその他の任意のデータパスであってもよい。さらに別の形態では、ネットワーク105はピアツーピアネットワークであってもよい。ネットワーク105は、複数の異なる通信プロトコルでデータ送信するための通信ネットワークと接続されたり、このような通信ネットワークを含んだりしてもよい。
ある実施形態では、ネットワーク105は、Bluetooth(登録商標)通信ネットワークや、携帯電話通信ネットワークを含み、SMS(ショートメッセージサービス)、MMS(マルチメディアメッセージサービス)、HTTP(ハイパーテキスト転送プロトコル)、直接データ接続、WAP、電子メールなどのデータを送受信する。
ある実施形態では、ネットワーク105は、ロボット190に対してGPSナビゲーションを提供するためのGPS衛星を含んでいてもよい。
また、ネットワーク105は、例えば、3G、4G、LTE、ボイスオーバーLTE(VoLTE)といったモバイルデータネットワーク、他のモバイルデータネットワーク、または、モバイルデータネットワークの組合せであってもよい。
一実施形態において、ネットワーク105は、異なるネットワークの組合せであってもよい。
ロボット190は、メモリとプロセッサを含むコンピュータであり、例えば、ラップト
ップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、携帯電話、個人情報端末(PDA)、モバイル電子メール装置、携帯ゲーム装置、携帯音楽プレーヤ、コネクテッドデバイスやウェアラブルコンピュータ(スマートウォッチ、スマートグラス、フィットネストラッカー等)、一つ以上のプロセッサが内蔵または接続されたテレビ、車両、ネットワーク105へのアクセスが可能なその他の電子機器などである。
ロボット190は、リスク管理システム199を有している。リスク管理システム199は、ある危険をユーザ101に警告するシステムである。ユーザ101は、聴覚または触覚による通知を通して、ロボット190とインタラクションすることができる。
たとえば、ユーザ101がリスクに接近しすぎた場合、リスク管理システム199は、ロボット190に対して、ユーザ101に進行方向を変えるよう警告するよう指示する。
他の例では、ロボット190は、ユーザ101が進むべき方向を振動させるといった、触覚フィードバックを用いてもよい。
また、同時に異なる方向から向かってくるリスクをユーザ101に知らせるため、複数のロボット190を用いてもよい。複数のロボットがオプションとして用いられてもよいことを示すため、第二のロボット190は点線で図示されている。
ロボット190は、ユーザに対してネットワークサービスを提供するための機能を有していてもよい。ネットワークサービスとは、ネットワーク105を通してアクセスできる任意のサービスである。例えば、ネットワークサービスは、ナビゲーション指示、オーディオストリーミングやビデオストリーミング(例えば、Pandora(登録商標)、Spotify(登録商標)、iTunes(登録商標)、Google Play(登録商標)、Youtube(登録商標)等)、ソーシャルネットワーキング(例えば、Facebook(登録商標)、Google+(登録商標)
、LinkedIn(登録商標)、Tinder(登録商標)、QQ(登録商標)等)、マイクロブログ(例えばTwitter(登録商標)、Tumblr(登録商標)等)、オンラインチャット(例えばSnapChat(登録商標)、WhatsApp(登録商標)等)、オンラインコンテンツシェアリング(
例えばInstagram(登録商標)、Pinterest(登録商標)等)、Eメール(例えばGmail(
登録商標)、Outlook(登録商標)、Yahooメール(登録商標)等)、ファイル共有(例えばDropBox(登録商標)、GoogleDrive(登録商標)、MS One Drive(登録商標)、Evernote(登録商標)等)、カレンダとスケジュールサービス(例えばGoogle Calendar(登録
商標)、MS Outlook(登録商標)等)などである。
一実施形態において、リスク管理システム199は、サーバ107にも格納される。図1中の点線は、リスク管理システム199がサーバ107に任意に格納されうることを示す。
サーバ107は、メモリとプロセッサを含む。
一実施形態において、リスク管理システム199は、その一部がロボット190に、その一部がサーバ107に格納されてもよい。例えば、ロボット190は、リスクについての情報をサーバ107に送信し、サーバ107が当該リスクと閾値とを比較し、ユーザ101に通知を与えるか否かを決定してもよい。この場合、サーバ107が、判定結果を、ユーザへの通知を行うロボット190に対して送信する。
リスク管理システム199は、ロボットを用いてユーザ101を保護するためのコードおよびルーチンを含む。ユーザ101は、例えば盲目であってもよい。
リスク管理システム199は、関心地点(Point of Interest、以下POI)を識別す
る。POIとは、段差(例えば、側溝やプラットホーム端)、固定された障害物(例えば、建築物や構造物)、移動するオブジェクト(例えば、車や歩行者など)などが存在する地点を表す。
また、リスク管理システム199は、ユーザの位置に基づいて、当該POIがユーザに危険をもたらすか否かを判定する。そして、リスク管理システム199は、距離と信頼度に基づいて、危険の度合いを判定する。
もし、状況が、距離に対する第一の閾値と、信頼度に対する第二の閾値を満たす場合、リスク管理システム199は、ユーザを保護するためにロボットをどこに動かすべきかを決定する。
一実施形態において、リスク管理システム199は、ロボット190に対して、警告(例えば音声による警告や、振動などの触覚による警告)をユーザに与えるように指示する。一実施形態において、リスク管理システム199は、警告を発するため、他のデバイスに命令を送信する。例えば、リスク管理システム199は、所定の方向を振動させることでリスクから離れるようガイドする機能を有する杖やベルトに、触覚による警告を送信する。
一実施形態において、リスク管理システム199は、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのハードウェア、コンピュータのプロセッサで実行可能なソフトウェア、または、それらの組み合わせを用いて実装される。
ある実施形態では、リスク管理システム199は、装置とサーバの両方に分散して格納されてもよいし、装置とサーバのいずれかのみに格納されてもよい。
(リスク管理システムの例)
図2を参照して、リスク管理システム199の例についてより詳しく説明する。
図2は、システム200のブロック図である。システム200は、図1に示したシステム100における、ロボット190およびサーバ107のいずれかである。また、システム200は、例として、リスク管理システム199、プロセッサ225、通信ユニット245、センサ247、カメラ249、モータ251、モバイルハードウェア253、触覚ユニット265、スピーカ267、メモリ227などを含んでいてもよい。システム200が有する構成要素は、バス220によって通信可能に接続される。
プロセッサ225は、算術論理ユニット、マイクロプロセッサ、汎用コントローラ、または、計算を実行して表示装置に表示信号を提供する他のプロセッサアレイ等を含む。
プロセッサ225は、バス220に結合され、信号線226を介して他の構成要素と通信する。
プロセッサ225は、データ信号を処理し、そのアーキテクチャは、CISC(Complex Instruction Set Computer)、RISC(Reduced Instruction Set Computer)、これら両方の命令セットの組合せとして実装されたアーキテクチャなど様々なアーキテクチャでありうる。なお、図2には一つのプロセッサ225だけが示されているが、複数のプロセッサ225が含まれていてもよい。上記以外のプロセッサ、オペレーティングシステム、センサ、表示装置、あるいは物理的構成も採用可能である。
メモリ227は、プロセッサ225が実行可能な命令やデータを格納する手段である。
メモリ227は、バス220に結合され、信号線228を介して他の構成要素と通信する。格納される命令やデータは、本明細書に示す技術を実行するためのコードを含んでもよい。
メモリ227は、DRAM、SRAM、フラッシュメモリやその他の既存のメモリ装置であってもよい。一実施形態において、メモリ227は、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、CD−ROM装置、DVD−ROM装置、DVD−RAM装置、DVD−RW装置、フラッシュメモリ装置や情報記憶の分野において既知のその他の大容量記憶装置などの、非一時的(non-volatile)メモリや永久記憶装置を含んでもよい。
図2に示したように、メモリ227は、リスクデータ292と信頼度データ297を格納する。メモリ227は、本明細書において説明される機能を提供するための他のデータ
を格納してもよい。
リスクデータ292は、例えば、リスク要因、ユーザの経路、当該経路に沿った場所にあるPOIに関連付いたスコアなどを含むが、これに限定されるものではない。
リスク要因とは、リスクの種類(例えば段差、固定障害物、移動オブジェクト)、リスクとユーザとの距離、リスクが移動オブジェクトである場合は当該オブジェクトの速度といったような、リスクに固有な情報である。
リスクデータ292は、予め定められた距離の閾値を含んでいてもよい。当該閾値は、ユーザとリスクとの距離が、ユーザとリスクとの間にロボットを動かすべき距離であるか否かを決定するために用いられる。
一実施形態において、リスクデータ292は、異なる危険の度合いを判定するために用いられる。例えば、リスクデータ292は、ユーザとリスクとの距離に基づいて、低危険度エリアと高危険度エリアに分割される。
信頼度データ297は、リスクに対する危険の度合いである信頼度を表すデータであるが、これに限定されるものではない。
例えば、ユーザとリスクとの距離が、所定の閾値よりも小さい場合、当該距離が所定の閾値よりも大きい場合と比較して信頼度は高くなる。
一実施形態において、信頼度データ297は、信頼度に対する所定の閾値であって、ロボットを新しい位置に動かすべきか否かの判定に用いる閾値を含む。
通信ユニット245は、システム100に含まれるサーバ107とロボット190の少なくとも一つに対してデータを送受信する手段である。通信ユニット245は、信号線230を通してバス220に結合する。一実施形態において、通信ユニット245は、ネットワーク105や他の通信チャネルへの直接的な物理的接続のためのポートを含む。
例えば、通信ユニット245は、システム100の他の構成要素と有線通信を行うためのUSB、SD、CAT−5または類似のポートを含む。
一実施形態において、通信ユニット245は、IEEE802.11、IEEE802.16、BlueTooth(登録商標)、または他の適切な無線通信方式を含む、一つまたは複数の無線通信方式を用いて、システム100の他の構成要素や他の通信チャネルとデータを交換するための無線送受信部を含むことができる。
ある実施形態では、通信ユニット245は、携帯電話ネットワークを介して、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接的データ接続、WAP、電子メールやその他の適切な種類の電子的通信を含むデータを送信するための携帯無線送受信機を含む。
一実施形態において、通信ユニット245は有線ポートとワイヤレストランシーバを含む。
通信ユニット245は、TCP/IP、HTTP、HTTPS、SMTPなどを含む標準ネットワークプロトコルを用いて、ファイルやメディアオブジェクトを配布するために、ネットワーク105への従来型の接続を提供することもできる。
図2に図示された実装例では、リスク管理システム199は、通信モジュール202、識別モジュール204、距離モジュール206、信頼度モジュール208、場所モジュール210と警告モジュール212を含む。
リスク管理システム199のこれらのモジュールは、バス220によって互いに通信可能に結合する。
ある実施形態では、リスク管理システム199のモジュールは、装置とサーバのいずれかのみに格納されてもよいし、複数の装置やサーバに分散して格納および配信されてもよ
い。
さらに、本実施形態で述べるコンポーネント、モジュール、サーバの分離は、全ての実施形態において必要とは限らないことを理解されるべきである。
一実施形態において、記載された構成要素、モジュール、装置またはサーバは、通常、一つの構成要素、モジュール、装置またはサーバに集積されることができる。
センサ247は、物理的な変化を感知する任意の装置である。センサ247は、信号線232を介してバス220に結合されている。
一実施形態において、センサ247はモーションディテクタである。例えば、センサ247は、ロボット190の向きを検出するジャイロスコープである。別の例では、センサ247は、ロボット190の加速度を測るのに用いられる加速度計である。
さらに別の例では、センサ247は、GPSや、無線ネットワークを通じた三角測量等によって位置検出を行う。
一実施形態において、センサ247は、通信モジュール202を介して位置情報を識別モジュール204および距離モジュール206に送る。
他の実施形態において、センサ247は、メモリ227の中に、リスクデータ292の一部として位置情報を保存する。
一実施形態において、センサ247は深さセンサを含む。
一実施形態において、深さセンサは、例えば赤外線レーザ光のスペックルパターンのような構造化光(structured light)を用いて深さを決定する。
他の実施形態において、深さセンサは、カメラから対象物まで光信号が進むのにかかる時間に基づいて深さを決定する、飛行時間計測式(time-of-flight)の技術を用いて深さを決定する。
深さセンサは、段差や、当該段差の範囲を深さとともに検出するのに用いられてもよい。
一実施形態において、センサ247は、深さ情報を、識別モジュール204および距離モジュール206に送信する。
他の実施形態において、センサ247は、リスクデータ292の一部として深さデータをメモリ227に格納する。
カメラ249は、信号線234を通してバス220に結合された、画像を取得するための物理デバイスである。一実施形態において、カメラ249は電気的な画像を取り込む。カメラ249は、CCD(charge-coupled device)やCMOS(complementary metal-oxide semiconductor)といった、視覚的イメージを電気信号に変換するイメージセンサを含む。
一実施形態において、カメラ249は、POIを識別するために、通信モジュール202を介して電気信号を識別モジュール204に送信する。
他の実施形態において、カメラ249は、リスクデータ292の一部として電気信号をメモリ227に格納する。
システム200がロボット190である場合において、システム200は、モータ251とモバイルハードウェア253を含む。
モータ251は、信号線236を通してバス220に結合する。また、モバイルハードウェア253は、信号線238を通してバス220に結合する。
モバイルハードウェア253は、ロボット190を動かすためのハードウェア(例えば車輪)である。また、モータ251は、モバイルハードウェア253を駆動するためのハードウェアである。
モータ251とモバイルハードウェア253は、ロボット190を動かすために用いられる。例えば、信頼度モジュール208が、モータ251に、モバイルハードウェア25
3を駆動させ、ユーザとリスクとの間にロボット190を再配置するよう命令を行う。
触覚ユニット265は、信号線252を通してバス220に結合された、振動を生成するハードウェアである。
例えば、システム200が、ユーザと物理的に接触するロボット190である場合、触覚ユニット265は、振動の方向に移動するようユーザに指示するため、異なる方向を振動させる。
例えば、触覚ユニット265は、東西南北の方向にそれぞれ対応する四つの振動するボタンを有していてもよい。他の例では、触覚ユニット265は、より精密に方向を指示するための、八つの振動するボタンを有していてもよい。
触覚ユニット265は、通信モジュール202を介して、警告モジュール212から、振動とパターンについての命令を取得する。
スピーカ267は、信号線254を通してバス220に結合された、音声による警告を発するためのハードウェアである。例えば、システム200がロボット190である場合、スピーカ267は、通信モジュール202を介して、警告モジュール212から、ユーザに対して行う指示(例えば、所定の方向へ移動させる指示や、危険な状況であるため直ちに止まるべき旨の指示)などを受信する。
一実施形態において、リスク管理システム199のモジュール202,204,206,208,210,212のそれぞれは、以下に記す機能を提供する、プロセッサ225で実行可能な一組の命令である。
他の実施形態において、モジュール202,204,206,208,210,212のそれぞれは、メモリ227に格納され、システムのプロセッサ225によってアクセスされ、実行されてもよい。
モジュール202,204,206,208,210,212のそれぞれは、プロセッサ225や、コンピュータ200の他の構成要素と協調や通信を行うように構成される。
一実施形態において、モジュール202,204,206,208,210,212のそれぞれは、格納され、システム200のプロセッサによって実行される一つ以上のシンクライアントとして機能してもよい。
通信モジュール202は、リスク管理システム199とシステム200の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。通信モジュール202は、信号線222を通してバス220に通信可能に結合する。
通信モジュール202は、通信ユニット245を介して、サーバ107とロボット190との間でデータを送受信する。
例えば、通信モジュール202は、サーバ107が有するリスク管理システム199から、「ロボット190を新しい位置に移動させる」という情報を、通信ユニット245を介して受信する。
一実施形態において、通信モジュール202は、リスク管理システム199の構成要素からデータを受信し、メモリ227に保存する。
一実施形態において、通信モジュール202はメモリ227からデータを取得し、リスク管理システム199の一つ以上の構成要素に送信する。
一実施形態において、通信モジュール202は、リスク管理システム199の構成要素間の通信を処理してもよい。例えば、通信モジュール202は、一つのモジュールからデータを取得し、別のモジュールに送信する。
識別モジュール204は、POIを識別するためのルーチンを含むソフトウェアである。識別モジュール204は、信号線224を通してバス220に通信可能に結合する。
一実施形態において、識別モジュール204は通信モジュール202を介してカメラ249から画像を取得する。
識別モジュール204は、画像から、ユーザの位置と、当該ユーザの近傍にあるPOIを識別する。例えば、識別モジュール204は、「道路」といった固定の障害物(固定障害物)や、「歩行者」といった移動する物体(移動オブジェクト)を識別する。なお、障害物とは、路上にある物体でなくてもよい。例えば、車道や側溝といったような、進入すべきでない領域を表すものであってもよい。
識別モジュール204は、センサ247から、通信ユニット202を介して、段差についての情報を取得してもよい。例えば、識別モジュール204は、センサ247から、地形を表す生のデータを受信し、当該データに基づいて、段差の存在を識別する。
一実施形態において、識別モジュール204は、位置を変更するため、モータ251に、モバイルハードウェア253を駆動する命令を発行し、カメラ249に、POIについてのさらなる情報を取得するために追加の撮影を行うよう命令を発行する。
距離モジュール206は、リスク要因に基づいて危険の度合いを決定し、また、ユーザとPOIとの距離を取得し、当該距離が所定の閾値を満たすかを判定するためのルーチンを含むソフトウェアである。距離モジュール206は、信号線226を通してバス220に通信可能に結合する。
距離モジュール206は、識別モジュール204から、通信モジュール202を介してユーザおよびPOIの位置を取得する。
そして、距離モジュール206は、ユーザとPOIとの距離を含んだ「リスク要因」を決定する。例えば、距離モジュール206は、ユーザと群衆の中の一人との距離を判定する。
距離モジュール206は、所定の閾値を含むリスクデータ292を取得し、ユーザとPOIとの距離(第一の距離)を当該閾値と比較する。この結果、第一の距離が閾値を満たす場合、場所モジュール210が、ユーザを保護するためにロボット190を移動させるべきという判定を行う。例えば、場所モジュール210が、リスクとユーザとの間に位置する所定の座標に、ロボット190を移動すべきという判定を行う。ロボットの移動先は、ユーザの前方であっても、後方であっても、側方であってもよい。
もし、第一の距離が閾値より大きい場合、一実施形態において、距離モジュール206は、距離情報と、他のリスクデータ292を信頼度モジュール208に送信する。
他の実施形態において、距離モジュール206は、リスクデータ292をメモリに格納する。
POIが移動するオブジェクトである場合、一実施形態において、距離モジュール206は、当該オブジェクトに関するリスク要因を判定する。
例えば、距離モジュール206は、ユーザの経路とオブジェクトの経路を比較し、もし、ユーザとオブジェクトが同じ経路を進行した場合に、近い将来において衝突することを判定する。
一実施形態において、距離モジュール206は、ユーザが所定の経路をどの程度維持するかを計算し、異なるユーザの経路を用いて、POIとの距離を複数算出する。
例えば、ユーザがジグザグに歩いている場合、距離モジュール206は、ユーザが当該ジグザグのパターン中において、距離の閾値を満たすある地点にいるものと判断する。
他の実施形態では、距離モジュール206は、所定の経路からある程度ユーザが外れた場合に、経路を再計算する。
例えば、もしユーザが直線上を歩いており、当該直線を斜め方向にそれた場合、距離モジュール206は、ユーザが、元の経路から5フィートだけ離れた新しい経路に沿って歩
いているものと判定する。
当業者であれば、経路の逸脱による経路再計算について、他の方法を用いることもできることを理解できるであろう。
距離モジュール206は、リスクデータ292を信頼度モジュール208に送信し、または、当該リスクデータをメモリ227に格納する。
一実施形態において、所定の閾値は、POIのタイプによって異なる。例えば、雑踏では、歩行者は急激に位置を変えることがあるため、より危険であり、ユーザを不快にさせる。このため、一実施形態において、距離モジュール206は、移動するオブジェクトに対する閾値を8フィートとし、段差や固定障害物に対する閾値を5フィートとする。
一実施形態において、距離モジュール206は、ユーザに対応する経路を決定し、当該経路に沿ったPOIを識別し、当該ユーザの経路に基づいてPOIにスコアを与える。
スコアは、ユーザの経路とPOIとの距離と、(POIのタイプによって異なる)距離に対する所定の閾値と、に基づいて算出されてもよい。
例えば、経路上に、移動オブジェクトと、段差が存在するものとする。
距離モジュール206は、ユーザが、移動オブジェクトまで4フィートの位置にいて、当該オブジェクトに対する所定の閾値が2フィートであるものと判定する。そして、距離モジュール206は、距離を閾値で割って、2というスコアを得る。
また、距離モジュール206は、ユーザが、段差まで2フィートの位置にいて、当該段差に対する所定の閾値が4フィートであるものと判定する。そして、距離モジュール206は、距離を閾値で割って、0.5というスコアを得る。
もちろん、他のスコア算出方法も採用可能である。
信頼度モジュール208は、実際のリスクの見込み度合いを示す値である信頼度を決定し、当該信頼度が所定の閾値を満たすかを判定するためのルーチンを含むソフトウェアである。信頼度モジュール208は、信号線228を通してバス220に通信可能に結合する。
一実施形態において、信頼度モジュール208は、距離モジュール206から、通信モジュール202を介してリスクデータ292を取得する。
他の実施形態において、信頼度モジュール208は、メモリ227からリスクデータ292を取得する。
信頼度モジュール208は、POIに対するリスクの度合いを計算するため、ユーザとPOIとの距離が含まれたリスクデータ292を用いる。例えば、信頼度モジュール208は、ユーザがPOIと衝突する可能性が80%であることを判定する。
一実施形態において、信頼度モジュール208は、リスクの度合いを、時刻の関数として得る。
信頼度モジュール208は、ユーザの軌跡と、移動するオブジェクトの軌跡の双方を用いてリスクを判定する。
例えば、信頼度モジュール208は、5秒以内にユーザとPOIとが衝突する可能性が60%であり、10秒以内にユーザとPOIとが衝突する可能性が80%であること等を判定する。
一実施形態において、信頼度モジュール208は、ユーザが経路をどの程度維持しているかに基づいて信頼度を修正する。例えば、ユーザが経路を頻繁に逸脱している場合、信頼度モジュール208は、信頼度をより低くする。
信頼度モジュール208は、信頼度が、信頼度に対する所定の閾値を満たすかを判定する。
もし、信頼度が、所定の閾値を満たすか超えている場合、場所モジュール210は、ユーザを保護するためにロボット190を移動させるべきという判定を行い、ロボット190に対して、新しい位置に移動する命令を行う。
例えば、場所モジュール210は、リスクとユーザとの間に位置する所定の座標に、ロボット190を移動すべきという判定を行う。
もし、信頼度が所定の閾値を下回る場合、POIの識別を行う処理が、識別モジュールによって再度開始される。
場所モジュール210は、ユーザを保護するためのロボット190の移動先を決定し、ロボット190に対して新しい位置に移動するよう指示を行うためのルーチンを含むソフトウェアである。場所モジュール210は、信号線229を通してバス220に通信可能に結合する。
場所モジュール210は、距離モジュール206から、通信モジュール202を介してリスクデータ292を受信し、信頼度モジュール206から、通信モジュール202を介して信頼度データ297を受信し、または、メモリ227から、リスクデータ292ないし信頼度データ297を取得する。
もし、ユーザとPOIとの距離が、距離に対する所定の閾値を満たすか下回る場合、距離モジュール206は、場所モジュール210に対して、ユーザを保護するためのロボット190の移動先を指示する。例えば、POIが、ユーザから5フィート離れた場所にある段差である場合、場所モジュール210は、モータ251に、モバイルハードウェア253を駆動する命令を発行し、ロボット190を、ユーザの前方であって、段差から2.5フィートだけ離れた位置に移動させる。
もし、ユーザとPOIとの距離が、距離に対する所定の閾値を下回り、かつ、信頼度が、信頼度に対する所定の閾値を満たすか超過している場合、信頼度モジュール208は、場所モジュール210に対して、ユーザを保護するためのロボット190の移動先を指示する。
一実施形態において、場所モジュール210は、信頼度が所定の閾値を満たすか超過したタイミングに基づいて、ロボット190を移動させるタイミングを決定する。
例えば、信頼度モジュール208が、ユーザが、人ごみの中の人物と10秒以内に衝突する確率が50%であり、ユーザが前方に歩き続けた場合、12秒以内に衝突する確率が80%に上昇すると判定した場合を考える。この場合、場所モジュール210は、ロボット190に対して、12秒以内に新しい位置に移動するよう指示する。
警告モジュール212は、ユーザに警告を行うか否かを決定し、ユーザに警告を行うためのルーチンを含むソフトウェアである。警告モジュール212は、信号線231を通してバス220に通信可能に結合する。
一実施形態において、警告モジュール212は、ロボット190の移動それ自体に応じて、ユーザに警告を行うか否かを決定する。例えば、警告モジュール212は、ユーザに対して、ロボット190がユーザとPOIとの間に位置しているため、進行方向を変えるべきであるという警告を行う。
他の実施形態において、警告モジュール212は、最も近くにあるPOIに基づいて、ユーザに警告を行うか否かを決定する。例えば、警告モジュール212は、ユーザから4フィート以下の場所に段差があることをユーザに警告する。
警告モジュール212は、聴覚または触覚によって警告をユーザに与える。
聴覚による警告とは、例えば、ロボット190に搭載されたスピーカ267によって、ロボット190の位置について行われるものである。聴覚による警告は、例えば、チャイ
ムのような音声であってもよいし、言葉によるものであってもよい。
触覚による警告とは、例えば、ロボット190に搭載された触覚ユニット265によって、ユーザが進むべき方向の変化を振動で表すようなものである。
ユーザが、ロボット190と物理的な接触をもたない実施形態において、警告モジュール212は、通信ユニット245を介して、触覚による警告を異なるデバイスに送信してもよい。例えば、ユーザが、八つの異なる方向をそれぞれ表す八つの振動子を有するベルトを装着しているような場合である。他の実施形態において、ユーザは、握りの部分に、振動することで方向を表す四つの振動子を有する杖を握っている。例えば、第一の振動子が北を、第二の振動子が東を、第三の振動子が南を、第四の振動子が西を表す。
(シナリオの例)
次に、図3を参照して、シナリオ300の例を示す。
本例では、視覚障害者は盲人301である。盲人301は、車両303が存在している車道の方向へ南東向きに歩いている。すなわち、ユーザの軌跡は、車道において車両303と衝突するようなものである。一方、ロボット190は、ユーザから見て北東に位置する。
ロボット190に搭載されたリスク管理システム199は、車両303が、ユーザにとって害をなす移動オブジェクトであると判定する。そして、リスク管理システム199は、ロボット190に対し、盲人301が車道にはみ出さないように、新しい位置に移動するよう命令する。
一実施形態において、ロボット190は、方向を変えさせるために、聴覚による警告を行い、または、触覚フィードバックを送信する。
万一、盲人301が警告を無視したとしても、盲人301は、車道に入る前にロボット190と接触する。これにより、ロボット190は、盲人301を危険から保護することができる。
(方法)
次に、図4Aおよび図4Bを参照して、ロボットによってユーザをリスクから保護する方法400の例を示す。
一実施形態において、一つ以上のプロセッサベースのコンピュータが、方法400のステップの一つ以上を実行するようにプログラムされる。方法400のステップは、どのような順序で実行されてもよい。
一実施形態において、方法400は、サーバ107またはロボット190に格納されたリスク管理システム199のモジュールによって実行されてもよい。例えば、リスク管理システム199は、識別モジュール204、距離モジュール206、信頼度モジュール208、場所モジュール210と警告モジュール212を含んでいてもよい。
まず、識別モジュール204が、POIを識別する(ステップ402)。POIとは、例えば、段差、固定障害物、移動オブジェクトなどである。
次に、距離モジュール206が、ユーザの位置に基づいて、POIが、視覚障害のあるユーザにとって脅威となるか否かを判定する(ステップ404)。一実施形態において、ユーザは盲人である。
次に、距離モジュール206が、リスク要因に基づいて、危険の度合いを判定する(ステップ406)。例えば、距離モジュールは、ユーザに対する経路を判定し、当該ユーザに関連付いた経路に基づいて、POIに対してスコアを与える。
次に、距離モジュール206が、距離に対する第一の閾値が満たされたかを判定する(ステップ408)。もし、第一の閾値が満たされた場合、方法はステップ414へ遷移する。もし、ユーザとPOIとの距離が、距離に対する第一の閾値を上回っている場合、方法はステップ410へ遷移する。
一実施形態において、距離モジュール206は、リスクデータ292を信頼度モジュール208へ送信する。他の実施形態において、信頼度モジュール208は、リスクデータ292をメモリ227から取得する。
次に、信頼度モジュール208が、実際の危険の度合いを表す信頼度を判定する(ステップ410)。例えば、信頼度モジュール208が、もしユーザが同じ経路を進んだ場合、ユーザが静止したオブジェクトと衝突する可能性が80%であることを判定する。
次に、信頼度モジュール208が、信頼度に対する第二の閾値が満たされたかを判定する(ステップ412)。もし、第二の閾値が満たされていない場合、方法はステップ402へ遷移し、再度、POIの識別が行われる。第二の閾値が満たされた場合、方法はステップ414へ遷移する。
次に、場所モジュール210が、ユーザを保護するためのロボット190の移動先を判定する(ステップ414)。
次に、場所モジュール210が、ロボット190に対して、新しい位置に移動するよう指示を行う(ステップ416)。例えば、新しい位置は、ユーザが溝に躓く前にロボット190に接触するよう、ユーザとリスクとの間に配置される。
サーバ107がリスク管理システム199を有している実施形態において、通信ユニット245は、ロボット190に指示を送信する。
ロボット190がリスク管理システム199を有している実施形態において、場所モジュール210は、モータ251に、モバイルハードウェア253を駆動する命令を発行し、新しい位置に移動させる。
警告モジュール212は、ユーザに対して警告を行うか否かを決定する(ステップ418)。例えば、警告モジュール212は、ユーザに対して、経路を変更すべき旨の警告を行う。一実施形態において、警告モジュール212は、ユーザとロボット190との距離に応じて、異なる警告を行う。例えば、初回の警告は、二回目の警告より静かなものである。
もし、警告モジュール212が、ユーザに警告を行わないと判定した場合、方法は、ステップ402へ遷移し、再度、POIの識別が行われる。
もし、警告モジュール212が、ユーザに警告を行うと判定した場合、警告モジュール212がユーザへ警告を行う(ステップ420)。警告は、聴覚または触覚によって行われる。例えば、警告モジュール212は、ユーザとロボットとの接触を避けるため、ユーザが装着しているベルトに、ユーザが移動すべき方向を振動させる命令を送信する。
以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも良いことは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。例えば、実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプの計算装置および任意の周辺機器について適用できる。
本明細書における「一実施形態」または「他の実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴・構造・性質が少なくとも本発明の一つの実施形態に含まれることを意味する。「1つの実施形態における」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。
本明細書の詳細な説明の一部は、非一時的(non-transitory)なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によ
って、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において(また一般に)アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算(処理)」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー(登録商標)ディスク・光ディスク・CD−ROM・MOディスク・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接続される。
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット(登録商標)は、現在利用可能なネットワークアダプタのほんの一例である。
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以下の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
101 ユーザ
105 ネットワーク
107 サーバ
190 ロボット
199 リスク管理システム
202 通信モジュール
204 識別モジュール
206 距離モジュール
208 信頼度モジュール
210 場所モジュール
212 警告モジュール
225 プロセッサ
227 メモリ
245 通信ユニット
247 センサ
249 カメラ
251 モータ
253 モバイルハードウェア
267 スピーカ
292 リスクデータ
297 信頼度データ

Claims (17)

  1. ロボットによって視覚障害のあるユーザを危険から保護するシステムが実行する方法であって、
    前記ユーザに対して脅威となりうる対象物が存在する地点である関心地点を取得する関心地点取得ステップと、
    前記関心地点が、視覚障害のあるユーザにとって脅威となりうるかを、前記ユーザの位置に基づいて判定するリスク判定ステップと、
    前記ユーザから前記関心地点までの距離である第一の距離が、第一の閾値を満たすか否かに基づいて、前記ユーザを保護するためのロボットの移動先を決定する保護判定ステップと、
    前記移動先に前記ロボットを移動させる命令を発行する移動ステップと、
    を含む、方法。
  2. 前記第一の閾値は、前記関心地点のタイプに基づいて算出された値である、
    請求項1に記載の方法。
  3. 前記ユーザに警告を行うか否かを判定し、前記ユーザに警告を行う警告ステップをさらに含む、
    請求項1または2に記載の方法。
  4. 前記警告は、音声による警告、または、触覚による警告のいずれかである、
    請求項3に記載の方法。
  5. 前記警告は、触覚による警告であり、
    前記警告ステップでは、前記ユーザに触覚フィードバックを与える機能を有する杖またはベルトに警告を送信する、
    請求項4に記載の方法。
  6. リスク要因またはユーザの経路に基づいて、前記関心地点の前記ユーザに対する脅威の度合いを推定する推定ステップをさらに含み、
    前記保護判定ステップでは、前記第一の距離が、前記第一の閾値を満たさない場合に、前記脅威の度合いに基づいて信頼度をさらに決定する、
    請求項1から5のいずれかに記載の方法。
  7. 前記保護判定ステップでは、前記第一の距離が前記第一の閾値を満たさない場合であって、かつ、前記信頼度が第二の閾値を満たす場合に、前記ユーザを保護するためのロボットの移動先を決定する、
    請求項6に記載の方法。
  8. 前記関心地点は、段差、固定障害物、移動オブジェクトのうちのいずれかが存在する地点である、
    請求項1から7のいずれかに記載の方法。
  9. 請求項1から8のいずれかに記載の方法の各ステップをコンピュータに実行させるプログラム。
  10. ロボットによって視覚障害のあるユーザを危険から保護するシステムであって、
    前記ユーザに対して脅威となりうる対象物が存在する地点である関心地点を取得する関心地点取得手段と、
    前記関心地点が、視覚障害のあるユーザにとって脅威となりうるかを、前記ユーザの位置に基づいて判定するリスク判定手段と、
    前記ユーザから前記関心地点までの距離である第一の距離が、第一の閾値を満たすか否かに基づいて、前記ユーザを保護するためのロボットの移動先を決定する保護判定手段と、
    前記移動先に前記ロボットを移動させる命令を発行する移動手段と、
    を有するシステム。
  11. 前記第一の閾値は、前記関心地点のタイプに基づいて算出された値である、
    請求項10に記載のシステム。
  12. 前記ユーザに警告を行うか否かを判定し、前記ユーザに警告を行う警告手段をさらに有する、
    請求項10または11に記載のシステム。
  13. 前記警告は、音声による警告、または、触覚による警告のいずれかである、
    請求項12に記載のシステム。
  14. 前記警告は、触覚による警告であり、
    前記警告手段は、前記ユーザに触覚フィードバックを与える機能を有する杖またはベルトに、警告を送信する、
    請求項13に記載のシステム。
  15. リスク要因またはユーザの経路に基づいて、前記関心地点の前記ユーザに対する脅威の度合いを推定する推定手段をさらに含み、
    前記保護判定手段は、前記第一の距離が、前記第一の閾値を満たさない場合に、前記脅威の度合いに基づいて信頼度をさらに決定する、
    請求項10から14のいずれかに記載のシステム。
  16. 前記保護判定手段は、前記第一の距離が、前記第一の閾値を満たさない場合であって、かつ、前記信頼度が、第二の閾値を満たす場合に、前記ユーザを保護するためのロボットの移動先を決定する、
    請求項15に記載のシステム。
  17. 前記関心地点は、段差、固定障害物、移動オブジェクトのうちのいずれかが存在する地点である、
    請求項10から16のいずれかに記載のシステム。
JP2015179917A 2014-09-12 2015-09-11 ロボットによるユーザアシスタンス Pending JP2016059808A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/485,544 US9348336B2 (en) 2014-09-12 2014-09-12 Robot assistance for detecting, managing, and mitigating risk
US14/485,544 2014-09-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019188514A Division JP6780759B2 (ja) 2014-09-12 2019-10-15 ロボットによるユーザアシスタンス

Publications (1)

Publication Number Publication Date
JP2016059808A true JP2016059808A (ja) 2016-04-25

Family

ID=55454701

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015179917A Pending JP2016059808A (ja) 2014-09-12 2015-09-11 ロボットによるユーザアシスタンス
JP2019188514A Active JP6780759B2 (ja) 2014-09-12 2019-10-15 ロボットによるユーザアシスタンス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019188514A Active JP6780759B2 (ja) 2014-09-12 2019-10-15 ロボットによるユーザアシスタンス

Country Status (2)

Country Link
US (1) US9348336B2 (ja)
JP (2) JP2016059808A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778114A (zh) * 2014-11-07 2021-12-10 索尼公司 控制系统、控制方法以及存储介质
US10178527B2 (en) 2015-10-22 2019-01-08 Google Llc Personalized entity repository
JP2017094409A (ja) * 2015-11-18 2017-06-01 株式会社日本自動車部品総合研究所 動作予告装置
US10924881B2 (en) * 2016-03-03 2021-02-16 Husqvarna Ab Device for determining construction device and worker position
US20170368691A1 (en) * 2016-06-27 2017-12-28 Dilili Labs, Inc. Mobile Robot Navigation
CN107223046A (zh) * 2016-12-07 2017-09-29 深圳前海达闼云端智能科技有限公司 智能导盲方法和装置
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider
CN110399439A (zh) * 2019-06-28 2019-11-01 炬星科技(深圳)有限公司 兴趣点标记方法、设备及存储介质
US11454974B2 (en) * 2020-06-29 2022-09-27 Baidu Usa Llc Method, apparatus, device, and storage medium for controlling guide robot
US20220309855A1 (en) * 2021-03-25 2022-09-29 International Business Machines Corporation Robotic protection barrier
CN114145679A (zh) * 2021-11-24 2022-03-08 珠海格力电器股份有限公司 扫地机器人控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2007102488A (ja) * 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2007252703A (ja) * 2006-03-24 2007-10-04 Matsushita Electric Ind Co Ltd 歩行補助装置
JP2008307658A (ja) * 2007-06-15 2008-12-25 Toyota Motor Corp 自律移動装置
JP2009112447A (ja) * 2007-11-05 2009-05-28 Tokai Rika Co Ltd 筋力補助装置
CN102614068A (zh) * 2012-03-12 2012-08-01 东南大学 一种辅助视障人员行走的伴随机器人系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687136A (en) * 1996-04-04 1997-11-11 The Regents Of The University Of Michigan User-driven active guidance system
US20080198222A1 (en) * 2007-02-02 2008-08-21 Sanjay Gowda System and method for tele-presence
JP5215740B2 (ja) * 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
JP5761152B2 (ja) * 2011-10-17 2015-08-12 日本精工株式会社 走行装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2007102488A (ja) * 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2007252703A (ja) * 2006-03-24 2007-10-04 Matsushita Electric Ind Co Ltd 歩行補助装置
JP2008307658A (ja) * 2007-06-15 2008-12-25 Toyota Motor Corp 自律移動装置
JP2009112447A (ja) * 2007-11-05 2009-05-28 Tokai Rika Co Ltd 筋力補助装置
CN102614068A (zh) * 2012-03-12 2012-08-01 东南大学 一种辅助视障人员行走的伴随机器人系统

Also Published As

Publication number Publication date
US20160077526A1 (en) 2016-03-17
US9348336B2 (en) 2016-05-24
JP6780759B2 (ja) 2020-11-04
JP2020018889A (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
JP6780759B2 (ja) ロボットによるユーザアシスタンス
JP6657580B2 (ja) ロボットの経路決定方法、システム、およびプログラム
US9475195B2 (en) Anticipatory robot navigation
US11705018B2 (en) Personal navigation system
JP6506834B2 (ja) 車両制御
JP5691568B2 (ja) 情報処理装置、報知方法及びプログラム
US9469028B2 (en) Robotic handover system natural for humans
US10408629B2 (en) Navigation system, client terminal device, control method, and storage medium
EP2893867A1 (en) Detecting visual inattention based on eye convergence
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Kuribayashi et al. Linechaser: a smartphone-based navigation system for blind people to stand in lines
US10694331B1 (en) Mobile device navigation with counterpart device identification
CN115280396A (zh) 根据易受伤害的路侧用户设备配置的车联网通信管理
US10410416B2 (en) Collective navigation for virtual reality devices
US20240331377A1 (en) Information processing apparatus, information processing method, and program
US10948514B2 (en) Center of gravity shifting force device
CN111010641A (zh) 信息处理方法、耳机和电子设备
JP6789905B2 (ja) 情報処理装置、情報処理方法、プログラムおよび通信システム
US20200090501A1 (en) Accident avoidance system for pedestrians
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
JP2015228615A (ja) オブジェクト追跡方法及びオブジェクト追跡システム
US20180210555A1 (en) Electronic Map Augmentation through Pointing Gestures Background
JP6874456B2 (ja) 衝突防止装置、通信システム、衝突防止方法、およびコンピュータプログラム
US11487355B2 (en) Information processing apparatus and information processing method
Kunapareddy et al. Smart Vision based Assistant for Visually Impaired

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190716