JP2017211909A - 情報処理装置及び移動体装置 - Google Patents

情報処理装置及び移動体装置 Download PDF

Info

Publication number
JP2017211909A
JP2017211909A JP2016106120A JP2016106120A JP2017211909A JP 2017211909 A JP2017211909 A JP 2017211909A JP 2016106120 A JP2016106120 A JP 2016106120A JP 2016106120 A JP2016106120 A JP 2016106120A JP 2017211909 A JP2017211909 A JP 2017211909A
Authority
JP
Japan
Prior art keywords
mobile device
information
damage
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016106120A
Other languages
English (en)
Other versions
JP6672076B2 (ja
Inventor
馨 杉田
Kaoru Sugita
馨 杉田
関根 真弘
Masahiro Sekine
真弘 関根
友樹 渡辺
Yuki Watanabe
友樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016106120A priority Critical patent/JP6672076B2/ja
Priority to US15/444,866 priority patent/US10131348B2/en
Publication of JP2017211909A publication Critical patent/JP2017211909A/ja
Application granted granted Critical
Publication of JP6672076B2 publication Critical patent/JP6672076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0027Post collision measures, e.g. notifying emergency services
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】 移動状態に異常が生じている移動体装置を、当該移動体装置や他の物体に対する損害が軽減される位置に移動できる情報処理装置を実現する。【解決手段】 実施形態によれば、情報処理装置は、第1取得部と第2取得部と評価部とを具備する。第1取得部は、移動体装置の周囲の第1領域内で、前記移動体装置が移動可能である第2領域と、前記第1領域内で物体が存在する第3領域とを示す領域情報を取得する。第2取得部は、前記移動体装置の速度と移動方向と加速度の少なくともいずれかを含む移動情報を取得する。評価部は、前記移動体装置の移動状態が異常であり、前記第1領域内で物体が存在する第3領域が複数存在する場合、前記移動情報と前記領域情報とを用いて、移動経路が存在する物体の各々に前記移動体装置が衝突した場合の損害を示す評価値に基づいて、損害が最小になる物体に対応する位置を、前記移動体装置が移動する目標位置に決定する。【選択図】図2

Description

本発明の実施形態は、衝突時の損害を軽減する情報処理装置及び移動体装置に関する。
近年、自車両の間近に迫った衝突が認識された場合に、運転支援システムや自動走行機能により緊急時の走行経路を算出する技術が開発されている。
この技術によれば、自車両とは異なる他の物体の軌道を考慮して緊急時の走行経路を決定することで人的損傷や物的損傷を防ぐことや軽減することができる。
特開2009−1104号公報
しかし、緊急時の走行経路が、自車両以外の物体に向かう経路の有無や、自車両以外の物体の移動速度によらず決定されるため、自車両や他の物体に対する損傷を充分に評価することができないという課題があった。
本発明は、移動状態に異常が生じている移動体装置を、当該移動体装置や他の物体に対する損害が軽減される位置に移動できる情報処理装置及び移動体装置を提供することを目的とする。
実施形態によれば、情報処理装置は、第1取得部と、第2取得部と、評価部とを具備する。第1取得部は、移動体装置の周囲の第1領域内で、前記移動体装置が移動可能である第2領域と、前記第1領域内で物体が存在する第3領域とを示す領域情報を取得する。第2取得部は、前記移動体装置の速度と移動方向と加速度の少なくともいずれかを含む移動情報を取得する。評価部は、前記移動体装置の移動状態が異常であり、前記第1領域内で物体が存在する第3領域が複数存在する場合、前記移動情報と前記領域情報とを用いて、前記移動体装置が前記複数の物体の各々に到達するための移動経路が存在するか否かを判定し、前記移動経路が存在する物体の各々に前記移動体装置が衝突した場合の損害を示す評価値を取得し、前記評価値に基づいて損害が最小になる第1物体に対応する位置を、前記移動体装置が移動する目標位置に決定する。
第1実施形態に係る情報処理装置が搭載される移動体装置のシステム構成を示すブロック図。 第1実施形態の情報処理装置の機能構成を説明するためのブロック図。 図1の移動体装置の外観の例を示す斜視図。 第1実施形態の情報処理装置によって実行される処理の手順の例を示すフローチャート。 図1の移動体装置に設けられるカメラによって撮像される画像の例を示す図。 図5の画像上の物体の認識結果の例を示す図。 図6の物体の認識結果を用いて得られるマップ情報上の、走行可能領域の例を示す図。 第1実施形態の情報処理装置によって使用される損害評価テーブルの例を示す図。 第1実施形態の情報処理装置による移動体装置の目標位置設定を説明するための図。 第2実施形態に係る情報処理装置が搭載される移動体装置のシステム構成を示すブロック図。 第2実施形態の情報処理装置の機能構成を説明するためのブロック図。 第2実施形態の情報処理装置によって実行される処理の手順の例を示すフローチャート。 図10の移動体装置に設けられるカメラによって撮像される画像の例を示す図。 図13の画像上の物体の認識結果の例を示す図。 図14の物体の認識結果を用いて得られるマップ情報上の、走行可能領域の例を示す図。 第2実施形態の情報処理装置による移動体装置の目標位置設定を説明するための図。
以下、実施の形態について図面を参照して説明する。
[第1実施形態]
まず、図1を参照して、第1実施形態に係る情報処理装置1が接続された移動体装置10のシステム構成を説明する。移動体装置10は、移動可能なロボット、各種の車両、航空機として実現され得る。車両は、例えば、4輪車、2輪車等である。航空機は、例えば、無人航空機、探査機、ドローン等である。本実施形態では、移動体装置10がロボットである例について説明する。情報処理装置1は、専用もしくは汎用コンピュータ、又は各種電子機器に内蔵される組み込みシステムとして実現され得る。情報処理装置1は、移動体装置10と他の物体との衝突による損害を軽減するための衝突損害軽減機能を有する。情報処理装置1は、移動体装置10の内部に搭載されてもよいし、移動体装置10の外部に設けられてもよい。移動体装置10の外部に設けられる場合、情報処理装置1は、移動体装置10との通信によりこの衝突損害軽減機能を実現する。以下では、情報処理装置1が移動体装置10の内部に搭載される場合について例示する。
移動体装置10は、処理回路11及びメモリ12を備える情報処理装置1、通信デバイス13、バス14、マイク15、センサ109、カメラ110、距離センサ111、制御部113、動力部114等を備える。処理回路11、メモリ12、通信デバイス13、マイク15、センサ109、カメラ110、距離センサ111、及び制御部113は、バス14を介して相互に接続され得る。
処理回路11は、移動情報取得機能11A、マップ生成機能11B、マップ取得機能11C、予測機能11D、判定機能11E、損害算出機能11F、及び目標位置設定機能11Gを含む。これらの各処理機能11A〜11Gは、コンピュータによって実行可能なプログラムの形態でメモリ12に記憶されている。処理回路11はプログラムをメモリ12から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読み出した状態の処理回路11は、上述した各機能11A〜11Gを有することになる。なお、図1には単一のプロセッサを含む処理回路11で、移動情報取得機能11A、マップ生成機能11B、マップ取得機能11C、予測機能11D、判定機能11E、損害算出機能11F、及び位置設定機能11Gに対応する処理が実現される例を示したが、複数の独立したプロセッサを組み合わせて処理回路11を構成し、各プロセッサがプログラムを実行することによりこれら機能を実現してもよい。各処理機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
なお、処理回路11が有する移動情報取得機能11A、マップ生成機能11B、マップ取得機能11C、予測機能11D、判定機能11E、損害算出機能11F、及び位置設定機能11Gは、それぞれ、後述する移動情報取得部101、マップ生成部112、マップ取得部102、予測部103、判定部104、損害評価部105、及び位置設定部106の一例である。
上記説明において用いた「プロセッサ」という用語は、例えば、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイスの回路を意味する。プログラマブル論理デバイスは、例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、又はフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)である。プロセッサはメモリ12に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ12にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
メモリ12は、処理回路11が行う各処理機能に伴うデータ等を必要に応じて記憶する。本実施形態のメモリ12は、例えば、プログラムと、カメラ110、センサ109、距離センサ111、及びマイク15によって取得されたデータ等を記憶する。例えば、メモリ12は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、メモリ12に記憶される各種のデータは、移動体装置10の外部の記憶装置に格納されてもよい。メモリ12は、ネットワーク5上のサーバ(図示せず)から、有線又は無線LAN(Local Area Network)や3G/4G移動通信等の各種の通信方式に基づく接続を介して伝送されたプログラムを記憶又は一時記憶する記憶媒体であってもよい。このネットワーク5上のサーバは、例えば、インターネット上のサーバである。また、記憶媒体は1つに限られず、複数の媒体に上述したデータが格納される場合も、実施形態における記憶媒体に含まれ、媒体の構成はいずれの構成であってもよい。
また、制御部113は、移動体装置10が設定された目標位置に向かうように、モーターや車輪等(図示せず)によって構成される動力部114を制御する。制御部113は、例えば、モーターの回転数や車輪の向きを制御する。
センサ109は、移動体装置10の位置又は移動量の少なくとも一方を計測する。センサ109は、例えば、動力部114であるモーター等に連結された車輪の車軸などに搭載される。例えば、センサ109は、車輪の回転数を計測するセンサ、ジャイロセンサ、GPSレシーバ、加速度センサなどである。センサ109は、移動体装置10の移動に関する移動情報を出力する。この移動情報は、例えば、移動体装置10の速度、移動方向、加速度の少なくともいずれかを含む。移動情報には、さらに、移動体装置10の傾斜、移動体装置10の車輪の回転数等が含まれてもよい。
カメラ110は、移動体装置10の周囲の少なくとも一部が撮像された画像を生成する。カメラ110が撮像する画像は、可視光写真でも、可視光外の波長域の写真であってもよい。可視光外の波長域を利用した画像として、例えば赤外線画像を生成してもよい。また、カメラ110が生成する画像は、静止画であっても動画であってもよい。
距離センサ111は、移動体装置10の周囲に存在する物体までの距離を計測することによって、距離データを生成する。本実施形態では、距離データは、3次元的な情報を有するデータである例について説明するが、これに限定されるものではない。例えば、距離センサ111が1次元走査を行う場合、距離データは2次元的なデータであってもよい。距離センサ111には、例えば、レーザーレンジファインダ、ライダー(LIDAR)、ミリ波レーザーが用いられる。
通信デバイス13は、他の装置との有線又は無線による通信を実行するように構成されている。通信デバイス13は、信号を送信する送信部と、信号を受信する受信部とを含む。また、マイク15は、移動体装置10の周囲の音声を取得し、取得される音声に対応するオーディオ信号を出力する。
図2を参照して、情報処理装置1の機能構成の例について説明する。情報処理装置1は、移動情報取得部101、マップ取得部102、予測部103、判定部104、損害評価部105、及び位置設定部106を備える。これら処理部101〜106は、処理回路11によって実行されるプログラムの機能構成として実現され得る。また、移動体装置10は、情報処理装置1に移動体装置10の周囲の環境に関する情報を入力するための、センサ109と、カメラ110と、距離センサ111と、マップ生成部112とを備える。
移動情報取得部101は、センサ109から、移動体装置10の移動に関する移動情報を取得する。移動情報は、移動体装置10の速度、移動方向、加速度、加速方向、傾き、車輪の回転数、等を含む。マップ取得部102は、マップ生成部112から、移動体装置10の周辺の走行可能領域又は障害物の分布情報であるマップ情報を取得する。以下では、マップ情報を領域情報とも称する。判定部104は、移動情報を用いてスリップや追突等による異常な走行状態を判定し、あるいは、マップ情報を用いて障害物への衝突可能性を判定する。予測部103は、移動情報とマップ情報とを用いて、指定時間後のマップ情報を予測する。損害評価部105は、移動体装置10の移動状態が異常と判定された場合に、現在又は指定時間後のマップ情報から抽出された個別の障害物毎に、移動情報を用いて障害物に衝撃した場合の損害評価値を算出し、損害評価値が最小となる目標位置を算出する。位置設定部106は、目標位置を制御部113に送る。
さらに、情報処理装置1は、移動体装置10の内部あるいは外部に存在する損害記録データベース60と通信することにより、損害評価部105における損害評価値の算出や、移動した結果生じた損害の記録を行う。損害記録データベース60は、移動した結果生じた損害情報を取得する損害結果処理部107と、移動結果と損害結果とを記録するための記憶媒体である損害結果記録部108とを備える。
図3は、移動体装置10の外観の例を示す。図3は、移動体装置10が、移動可能なロボットとして実現される例を示す。移動体装置10の周囲の情報を取得するために、カメラ110、センサ109、距離センサ111等が、移動体装置10の表面の露出する位置に配置されている。また、移動体装置10を移動させるためのモーターや車輪等(図示せず)動力部114が、移動体装置10の下部に配置されている。移動体装置10は、路面又は床面に接地する車輪が回転し、当該車輪の向きが制御されることによって、任意の方向に移動することができる。
また、移動体装置10に設けられるマップ生成部112は、カメラ110及び距離センサ111によって取得された情報をもとに移動体装置10の周囲の環境に関するマップ情報を生成する処理回路として実現され得る。なお、マップ生成部112は、情報処理装置1内に設けられてもよい。
図4のフローチャートは、処理回路11によって実行される処理の手順の例を示す。このフローチャートには、説明を分かりやすくするために、移動体装置10による処理の手順も含まれている。
まず、移動体装置10のカメラ110と距離センサ111とが、移動体装置10の周囲の情報を取得する(ステップS201)。カメラ110は、移動体装置10の周囲が撮像された画像を生成する。距離センサ111は、移動体装置10の周囲に存在する様々な物体までの距離が計測された距離データを生成する。
次いで、移動体装置10のマップ生成部112は、カメラ110と距離センサ111とによって取得された移動体装置10の周囲の情報に基づいて、マップ情報を生成する(ステップS202)。なお、このマップ情報は、処理回路11によって生成されてもよい。
情報処理装置1の移動情報取得部101は、移動体装置10のセンサ109から移動情報を取得する(ステップS203)。また、マップ取得部102は、マップ生成部112から、マップ情報を取得する(ステップS204)。
次いで、判定部104は、取得した移動情報と、マップ情報とを用いて、移動体装置10の移動状態が異常であるかどうかを判定する(ステップS205)。判定部104は、移動情報のみを用いて、移動体装置10の移動状態が異常であるかどうかを判定してもよい。判定部104は、例えば、移動情報を用いて、移動体装置10のスリップや追突等による異常な移動状態を検出し、あるいは、マップ情報をさらに用いて、移動体装置10が周囲の物体に衝突する可能性があるか否かを判定する。
移動体装置10の移動状態が異常でないと判定された場合(ステップS206のNO)、すなわち、移動体装置10の移動状態が正常であると判定された場合、情報処理装置1は処理を終了する。
一方、移動体装置10の移動状態が異常であると判定された場合(ステップS206のYES)、予測部103は、現在から第1時間が経過した後のマップ情報を予測する(ステップS207)。この第1時間は、例えば、数秒である、あらかじめ定められた時間であってもよいし、移動体装置10の移動速度と、各障害物の移動速度とに基づく衝突が予測されるまでの時間であってもよい。損害評価部105は、予測されたマップ情報から抽出された個別の障害物毎に、移動情報を用いて、移動体装置10が障害物に衝突した場合の損害評価値を算出し、損害評価値が最小である目標位置を算出する(ステップS208)。損害評価部105は、例えば、算出された損害評価値が最小である障害物に対応する位置を、移動体装置10が移動する目標位置に設定する。位置設定部106は、この目標位置を移動体装置10に出力する(ステップS209)。
移動体装置10は、位置設定部106によって出力された目標位置に向かって移動する(ステップS210)。
そして、損害結果記録データベース60の損害結果処理部107は、移動体装置10が目標位置まで移動した結果、目標位置の障害物に衝突した場合に、目標位置と、目標位置の障害物と、衝突によって生じた移動体装置10や障害物の損害結果とを損害結果記録部108に記録し(ステップS211)、処理を終了する。なお、損害結果記録部108に記録される情報は、上記に記載したすべての情報でなくてもよい。
なお、図4に示すフローチャートにおいて、例えばステップS203とステップS204とは、必ずしもこの順序で実行されなくてもよい。
以下では、情報処理装置1の各部の動作の詳細について説明する。
移動情報取得部101は、センサ109によって出力された移動情報を取得する。上述したように、この移動情報は、例えば、移動体装置10の速度、移動方向、加速度の少なくともいずれかを含む。移動情報には、さらに、移動体装置10の傾斜、移動体装置10の動力部114に含まれる車輪の回転数等が含まれてもよい。
マップ生成部112は、カメラ110によって生成された画像と、距離センサ111によって生成された距離データとを用いて、移動体装置10の周辺環境に関するマップ情報を生成する。
図5から図7を参照して、マップ情報が生成される例について説明する。図5は、移動体装置10が室内を移動する場合に、カメラ110によって撮像された画像31を示す。この画像31には、テレビ311、ソファ314、テーブル315、壁317、床318等の複数の物体311〜318が含まれている。
マップ生成部112は、例えば、セマンティックセグメンテーションのような、画像中の物体を識別する技術を利用して、マップ情報を生成することができる。セマンティックセグメンテーションは、カメラ110で撮像された画像31を入力とし、画像中の物体が何であるかを、学習により得られた辞書データに基づき識別する技術である。識別されるカテゴリとして、例えば、室内の場合は、床、カーペット、畳、壁、椅子、机、窓、ドア、人間、猫、犬、等が挙げられる。また室外の場合は、識別されるカテゴリとして、車道、歩道、木、建物、車両、人間、等が挙げられる。識別を行うための辞書データはあらかじめマップ生成部112に保持されている。
図6は、画像31中の物体311〜318が識別された識別結果32を示す。この識別結果32には、マップ生成部112によって、例えば、セマンティックセグメンテーションを用いて識別された、物体311〜318のそれぞれに対応する領域321〜328が示されている。したがって、識別結果32を用いることにより、例えば、画像31上のある画素が、いずれの物体に対応する画素であるかを決定することができる。また、マップ生成部112は、識別された各物体に対応する領域が、移動体装置10が移動できる走行可能領域と、移動体装置10による走行の障害となる物体である障害物の領域のいずれであるかを判別することもできる。識別結果32が、例えば、床、カーペット、畳、車道等と識別した領域を走行可能領域とすることができる。マップ生成部112は、識別された物体311〜318の内、床318に対応する領域328を走行可能領域と判別し、他の物体311〜317に対応する領域321〜327を障害物の領域と判別する。なお、このような画像上の物体の識別は、セマンティックセグメンテーションに限らず、様々な手法を利用して行うことができる。
次いで、マップ生成部112は、識別結果32と、距離センサ111によって取得された距離データとを組み合わせることによって、移動体装置10の周囲に存在する物体の三次元的なマップを生成する。マップ生成部112は、例えば、カメラ110によって撮像される画像と、距離センサ1によって取得される距離データとの対応関係をあらかじめ取得し、キャリブレーションしておくことによって、識別結果32と距離データとを組み合わせることができる。生成されたマップは、物体毎の領域を識別できる情報を含むと共に、移動体装置10から生成されたマップ内の物体の各々までの距離を示す情報も含む。また、このマップは、移動体装置10の周囲の特定の領域内で、移動体装置10が移動できる走行可能領域と、この特定の領域内で障害物である物体が存在する領域とを示すマップ情報である。したがって、このマップ情報を用いることによって、走行可能領域と障害物に対応する領域とを判別することができる。マップ生成部112は、このマップ情報から、例えば、図7に示すように、走行可能領域331に対応する三次元的なマップ33を抽出することもできる。マップ生成部112は、同様にして、マップ情報から、各障害物の領域に対応する三次元的なマップを抽出することもできる。
マップ取得部102は、マップ生成部112によって出力されたマップ情報を取得する。なお、マップ情報は、随時生成されるようにしてもよいし、移動体装置10の移動状態の異常が検出されたときに生成されるようにしてもよい。
判定部104は、移動体装置10の移動状態が異常であるか否かを判定する。具体的には、判定部104は、移動情報を用いてスリップや追突などのような異常を判定する。判定部104は、移動情報を用いて、例えば、加速度が閾値以上になった場合や、加速度と、タイヤの回転数の変化とが対応しない場合、速度が閾値以上になった場合、移動体装置10の傾斜が閾値以上になった場合、タイヤの回転数が閾値以上になった場合等に、移動体装置10の移動状態に異常があると判定する。
あるいは、判定部104は、移動情報とマップ情報とを用いて、移動体装置10がいずれかの障害物に衝突する可能性があるか否かを判定する。判定部104は、例えば、移動情報を用いて、現在からある時間が経過した後の移動体装置10の位置を推定し、マップ情報を用いて、推定された位置が障害物に衝突する位置であるかどうかを判定する。判定部104は、移動体装置10がいずれかの障害物に衝突する可能性がある場合に、移動体装置10の移動状態が異常であると判定する。
なお、判定部104は、移動情報とマップ情報とを用いて、周囲の移動している物体が移動体装置10に衝突する可能性があるか否かを判定してもよい。判定部104は、その移動している物体が移動体装置10に衝突する可能性があると判定された場合に、移動体装置10の移動状態が異常であると判定する。これは、例えば、マップ情報において、障害物が移動体装置10の近くにある場合で、且つその障害物の移動方向が移動体装置10に向いている場合等である。障害物が移動体装置10の近くにある場合とは、例えば、障害物から移動体装置10までの距離が閾値距離以内である場合である。判定部104は、例えば、時系列のマップ情報を用いて、各マップ情報上でのある障害物の位置を検出し、それらマップ間での位置の違いと、移動体装置10の移動情報とに基づいて、当該障害物が移動しているかどうかを判定することができる。判定部104は、障害物が移動していると判定された場合に、その障害物が人間や動物、自動車のような移動物体であると判別できる。また、判定部104は、障害物が移動していないと判定された場合に、その障害物が壁やソファ、建物のような静止物体であると判別できる。なお、判定部104は、物体毎に、その物体が移動物体と静止物体のいずれであるかを示す情報をあらかじめ保持していてもよい。障害物が移動していると判定される場合には、判定部104は、その障害物の移動速度や移動方向を算出することもできるので、移動している障害物が移動体装置10に衝突する可能性があるかどうかを判定することができる。
予測部103は、移動情報と現在のマップ情報とを用いて、現在から第1時間が経過した後のマップ情報を予測する。予測部103は、移動情報と現在のマップ情報とを用いて、現在から第1時間が経過した後に、移動体装置10の周囲の特定の領域内で、移動体装置10が移動可能である走行可能領域と、この特定の領域内で複数の障害物が存在する複数の領域とを予測する。予測されたマップ情報では、現在のマップ情報に含まれる障害物が、移動体装置10の移動情報に基づいて、将来のある時刻において、移動体装置10に対してどの位置に存在しているかを示す。なお、マップ情報に含まれる障害物が人間等の移動物体である場合には、予測部103は障害物の個別の移動速度を用いて、その移動物体である障害物が将来のある時刻においてどの位置に存在しているかを予測する。予測部103は、このような予測によって得られたマップ情報を損害評価部105に出力する。
なお、情報処理装置1に予測部103が設けられなくてもよい。その場合、マップ取得部102によって受け取られたマップ情報がそのまま損害評価部105に出力される。したがって、損害評価部105によって用いられるマップ情報は、マップ取得部102によって受け取られた現在のマップ情報であってもよいし、予測部103によって予測された、第1時間後のマップ情報であってもよい。
損害評価部105は、移動体装置10の移動状態が異常である場合、移動情報とマップ情報とを用いて、移動体装置10が複数の障害物の各々に到達するための移動経路が存在するか否かを判定する。損害評価部105は、移動経路が存在する障害物の各々に移動体装置10が衝突した場合の損害を示す評価値を取得する。そして、損害評価部105は、取得された評価値に基づいて損害が最小になる物体に対応する位置を、移動体装置10が移動する目標位置に決定する。
より具体的には、損害評価部105は、判定部104によって移動体装置10の移動状態が異常と判定された場合、移動情報とマップ情報とを用いて、移動体装置10がマップ情報に示される複数の障害物の各々に到達するための移動経路が存在するか否かを判定する。つまり、損害評価部105は、移動体装置10がマップ情報に示される複数の障害物の各々に到達可能であるか、それとも到達不可能であるかを判定する。ここで、到達可能であるとは、移動体装置10が障害物に到達するまでの間の経路の全てが、走行可能領域に含まれる場合である。また、到達不可能であるとは、移動体装置10が障害物に到達するまでの間の経路の少なくとも一部が、障害物に対応する領域に含まれる場合である。
次いで、損害評価部105は、移動経路が存在する物体の各々に移動体装置10が衝突した場合の損害を示す評価値を算出し、算出された評価値が最小である障害物に対応する位置を、移動体装置10が移動する目標位置に決定する。
より具体的には、損害評価部105は、損害記録データベース60内の損害結果記録部108から、図8に示すような損害評価テーブルをあらかじめ読み出す。損害結果記録部108によって記録される損害評価テーブルは、複数の障害物に対応する複数のエントリを含む。各エントリは、例えば、ID、種別、加害スコア、及び被害スコアを含む。ある障害物に対応するエントリにおいて、IDは、その障害物に付与された識別情報を示す。種別は、その障害物の種別を示す。種別には、例えば、障害物である物体の識別結果のカテゴリが設定される。加害スコアは、移動体装置10がその障害物に衝突した場合に、当該障害物に生じる損害の大きさを示す。加害スコアには、例えば、衝突により壊れやすい障害物には高い加害スコアが設定され、衝突しても壊れにくい障害物には低い加害スコアが設定される。なお、障害物が人のような生物である場合には、この加害スコアに、絶対に衝突してはならないことを示す値が設定されてもよい。また、被害スコアは、移動体装置10がその障害物に衝突した場合に、移動体装置10に生じる損害の大きさを示す。被害スコアには、例えば、その障害物との衝突によって移動体装置10が損傷しやすい場合に高い被害スコアが設定され、損傷しにくい場合に低い被害スコアが設定される。なお、各エントリにIDを含めず、障害物の種別だけに基づいて、エントリが識別されるようにしてもよい。
また、例えば、同じ種別の障害物であっても、移動体装置10が存在する環境毎に、加害スコア及び被害スコアを変更することも可能である。あるいは、損害評価テーブルに、同じ種別である複数の障害物に対応する複数のエントリを含め、それらエントリ間で異なる加害スコア及び/又は被害スコアが設定されてもよい。例えば、同じソファという種別である二つのソファに対して、高価なソファには高い加害スコアが設定され、安価なソファには低い加害スコアが設定されてもよい。
上述したように、損害評価部105は、マップ情報を用いて、移動体装置10がマップ情報に示される複数の障害物の各々に到達する移動経路が存在するか否かを判定する。つまり、損害評価部105は、マップ情報に示される障害物毎に、移動体装置10が到達可能であるか、それとも到達不可能であるかを判定する。
そして、損害評価部105は、到達可能と判定された障害物毎に、加害スコアと被害スコアとを計算する。損害評価部105は、損害結果記録部108から読み出された損害評価テーブルから、例えば、図8に示すように、到達可能と判定された障害物に対応するエントリを抽出することによって、その障害物に対応する加害スコアと被害スコアとを取得する。つまり、図8に示す損害評価テーブルには、マップ情報に示される障害物の内、移動体装置10が到達できる移動経路が存在する複数の障害物に対応する複数のエントリが含まれている。
損害評価部105は、取得された加害スコアと被害スコアとに基づいて、到達可能な障害物の内、移動体装置10が衝突することによる損害が最小化される障害物を選択する。そして、損害評価部105は、選択された障害物に対応する位置を移動体装置10が移動する目標位置として設定する。損害評価部105は、例えば、加害スコアが最も小さく、且つ被害スコアも小さい障害物に対応する位置を目標位置として算出する。
損害評価部105は、ある障害物に関する加害スコアと被害スコアとに基づく評価値を算出してもよい。この評価値は、例えば、加害スコアと被害スコアとを重み付け加算することによって算出される。評価値は、大きいほど、障害物に衝突した場合の損害が大きいことを示し、小さいほど、障害物に衝突した場合の損害が小さいことを示す。さらに、損害評価部105は、移動体装置10と、障害物の各々の速度を用いて評価値を算出してもよい。その場合、損害評価部105は、例えば、移動体装置10と障害物とが高速で衝突するほど、大きな評価値を算出する。そして、損害評価部105は、評価値に基づいて損害が最小になる障害物に対応する位置を、移動体装置10が移動する目標位置に決定する。
位置設定部106は、損害評価部105によって決定された目標位置を制御部113に送る。
制御部113は、移動体装置10が目標位置に向かうように動力部114を制御する。制御部113は、例えば、モーターの回転数や車輪の向きを制御する。
図9は、移動体装置10の移動状態が異常であると判定された場合に、移動体装置10が目標位置に移動するように制御される例を示す。損害評価部105は、例えば、移動体装置10に人がぶつかってきた場合のような、移動状態の異常時に、図8に示すような、移動経路が存在するソファ、TV、壁、及び暖炉の各々に移動体装置10が衝突した場合の損害を示す評価値を取得する。損害を示す評価値としては、加害スコア、被害スコアのいずれか一方、又は両方であってよい。そして、損害評価部105は、取得された評価値に基づいて損害が最小であるソファに対応する位置を目標位置として算出する。例えば、加害スコアが最も小さく、且つ被害スコアも小さい障害物に対応する移動を損害が最少と設定する。位置設定部106は、算出された目標位置を制御部113に出力する。制御部113は、図9に示すように、移動体装置10が目標位置であるソファに向かうように動力部114を制御する。
以上により、移動状態に異常が生じている移動体装置10を、当該移動体装置10や他の物体に対する損害が軽減される位置に移動させることができる。
次いで、判定部104は、移動体装置10が目標位置に向かって移動した結果、障害物に衝突したことを検出する。障害物に衝突したと判定された場合には、移動体装置10は、衝突による損害を損害記録データベース60に記録するための損害受付状態になる。
判定部104は、下記のいずれかの条件を満たす場合、もしくは下記の条件の内の複数の条件が同時に満たされた場合、又はそれぞれの条件において検出される値に重みを乗算し加算した値があらかじめ設定された閾値を超える場合等に、移動体装置10が障害物に衝突したと判定することができる。
第1の条件では、センサ109によって取得された移動情報を用いて、移動体装置10の加速度の変化が閾値以上となった場合、又はマイク15を介して大きな衝撃音が検出された場合に、移動体装置10に衝撃が加わったことが推定される。その場合、判定部104は、移動体装置10が障害物に衝突したと判定する。つまり、マイク15によって出力されたオーディオ信号が大きな衝撃音に対応すると判定する。
第2の条件では、センサ109によって取得された移動情報を用いて、移動体装置10の位置が過去のある時刻においてマップ情報上の走行可能領域から逸脱してしまった場合に、判定部104は、移動体装置10が障害物に衝突した又は、衝突した可能性があると判定する。
第3の条件では、制御部113が、移動体装置10が移動するように動力部114を制御しているにもかかわらず、センサ109によって、動力部114における車輪の回転が検出されない場合に、判定部104は、移動体装置10が障害物に衝突したと判定する。
第4の条件では、過去のある時刻においてマップ情報上で移動体装置10に近接し、かつ静止物体であると判定されていた障害物の位置の変化が検出された場合に、判定部104は、移動体装置10が障害物に衝突したと判定する。
第5の条件では、センサ109によって取得された移動情報を用いて、加速度に基づいて算出される、移動体装置10の傾斜が閾値以上になった場合、移動体装置10が転倒したと推定されるので、判定部104は、移動体装置10が障害物に衝突したと判定する。
判定部104は、移動体装置10が障害物に衝突したと判定した場合、移動した結果生じた損害に関する情報を、損害記録データベース60の損害結果処理部107に送信する。判定部104は、例えば、目標位置、目標位置に対応する障害物、目標位置が決定されてから当該目標位置に到達するまで、すなわち、障害物に衝突するまでの移動情報、移動体装置10上の損害の生じた部分やその損害の大きさ等を示す損害結果情報等を、損害記録データベース60に送信する。移動情報としては、例えば、速度、移動方向、加速度、傾斜のいずれかを含む。判定部104は、移動体装置10に設けられるカメラ110、センサ109、距離センサ111、マイク15等の各種のセンサにより、衝突時や衝突の前後に取得された情報をそのまま損害記録データベース60に送信してもよいし、それら情報を解析することによって得られた情報を損害記録データベース60に送信してもよい。判定部104は、衝突時や衝突の前後に取得された情報を解析することによって、例えば、損害の大きさを示す情報を取得する。
さらに、判定部104は、移動体装置10に設けられる入力装置を用いて管理者等が入力した損害に関する情報を、損害記録データベース60に送信するようにしてもよい。入力装置は、例えば、タッチスクリーンディスプレイ、キーボード、等を含む。また、管理者等は、例えば、入力装置を用いて、移動体装置10上の損害の生じた部分やその損害の大きさ、障害物上の損害の生じた部分やその損害の大きさ等の損害結果を入力することができる。
損害記録データベース60の損害結果処理部107は、移動体装置10の判定部104によって送信された損害に関する情報を受け取る。
損害結果記録部108は、この受け取った情報を記録する。損害結果記録部108は、例えば、移動体装置10がある物体に衝突した場合、この物体と、衝突による損害結果とを示す情報を記録する。
損害結果処理部107は、損害結果記録部108に記録された情報を解析し、損害結果記録部108に記録される損害評価テーブルを生成又は更新することもできる。損害結果処理部107は、例えば、蓄積される物体毎の損害に関する情報を用いて、各物体に対応する損害評価テーブルのエントリに含まれる評価値を更新することができる。この評価値は、例えば、図8を参照して上述した加害スコア及び被害スコアを含む。そのため、この損害評価テーブルを利用する情報処理装置1は、以降に移動体装置10の移動状態の異常が発生した場合に、更新された損害評価テーブルを用いて損害を最小にできる物体及び目標位置をより適切に決定することができる。
なお、移動体装置10が物体に衝突したことを検出し、損害結果を取得するための構成は、判定部104とは別の処理部によって行われてもよい。例えば、損害記録データベース60内の損害結果処理部107が、移動体装置10上で取得される移動情報やオーディオ信号等に基づいて、移動体装置10が物体に衝突したことを検出し、データの解析や入力装置を用いた入力によって損害結果を取得してもよい。さらに、判定部104又は損害結果処理部107は、移動体装置10が配置されている施設が有する監視カメラやセンサ等の装置を利用して、監視カメラによって取得された映像や、センサによって取得されたデータを用いて、損害結果を取得してもよい。
以上説明したように、本実施形態によれば、移動状態に異常が生じている移動体装置を、当該移動体装置や他の物体に対する損害が軽減される位置に移動させることができる。マップ取得部102は、移動体装置10の周囲の特定の領域内で、移動体装置10が移動可能である走行可能領域と、この特定の領域内で物体が存在する領域とを示す領域情報を取得する。移動情報取得部101は、移動体装置10の速度と移動方向と加速度の少なくともいずれかを含む移動情報を取得する。損害評価部105は、移動体装置10の移動状態が異常であり、特定の領域内で物体が存在する領域が複数存在する場合、移動情報と領域情報とを用いて、移動体装置10がそれら複数の領域に存在する複数の物体の各々に到達するための移動経路が存在するか否かを判定する。そして、損害評価部105は、移動経路が存在する物体の各々に移動体装置10が衝突した場合の損害を示す評価値を取得し、評価値に基づいて損害が最小になる物体に対応する位置を、移動体装置10が移動する目標位置に決定する。これにより、移動体装置10や他の物体に対する損害が軽減される位置に、移動体装置10を移動させることができる。
また、移動体装置10が目標位置の物体に衝突したことに応じて、損害記録データベース60に物体毎の損害評価情報が記録される。そのため、情報処理装置1は、以降に移動体装置10の移動状態の異常が発生した場合には、記録された物体毎の損害評価情報を用いて、損害を最小にできる物体をより適切に決定することができる。したがって、例えば、移動体装置10が産業用移動ロボットである場合には、工場等に配置されている危険な装置や可燃性物品への衝突を避けることができる。また、移動体装置10が案内用移動ロボットである場合には、店舗等を通行する顧客や配置された商品への衝突を避けることができる。
[第2実施形態]
図10を参照して、第2実施形態に係る情報処理装置2が接続される移動体装置20のシステム構成を説明する。移動体装置20は、例えば、人が乗車する車両として実現され得る。そのため、移動体装置20は、第1実施形態の移動体装置10と同様の構成に加えて、乗員を保護するための安全装置116をさらに備えている。また、情報処理装置2に設けられる処理回路11は、第1実施形態で説明した各機能11A〜11Gに加えて、安全装置116を制御するための安全装置制御機能11Hをさらに有している。安全装置116は、例えば、移動体装置20に衝突や衝撃等が発生するときに乗員を保護するためのシートベルト、エアバック等である。
図11は、情報処理装置2の機能構成を説明するための図である。情報処理装置2は、移動情報取得部101、マップ取得部102、予測部103、判定部104、損害評価部105、位置設定部106、及び安全装置制御部115を備える。これら処理部101〜106、115は、処理回路11によって実行されるプログラムの機能構成として実現され得る。移動情報取得部101、マップ取得部102、予測部103、判定部104、損害評価部105、及び位置設定部106の動作は、第1実施形態で説明した通りである。
安全装置制御部115は、例えば、損害評価部105によって移動体装置20が移動する目標位置が決定された場合、安全装置116を制御する。つまり、移動体装置20がいずれかの物体に衝突する可能性がある場合に、安全装置116を制御する。安全装置制御部115は、例えば、乗員の保護を目的として、安全装置116の動作を制御するための安全装置制御情報を、当該安全装置116に出力する。
これにより、移動体装置20が障害物に衝突する可能性がある場合に、エアバックやシートベルト等の安全装置116が制御されるので、衝突時の乗員の安全を図ることができる。
図11のフローチャートは、処理回路11によって実行される処理の手順の例を示す。このフローチャートには、説明を分かりやすくするために、移動体装置20によって実行される処理の手順も含まれている。ここでは、第1実施形態の情報処理装置1による処理と共通する手順については説明を省略する。
情報処理装置2の安全装置制御部115は、ステップS209において、移動体装置20が移動する目標位置が出力された後に、安全装置116を制御する(ステップS212)。そして、移動体装置20は、安全装置116が制御された後に、目標位置に向かって移動する(ステップS210)。なお、情報処理装置2の位置設定部106は、安全装置116が制御された後に、移動体装置20に目標位置を出力するようにしてもよい。また、ステップS209及びS210の移動体装置20の移動を制御するための手順と、ステップS212の安全装置116を制御するための手順とは、並列に行われてもよい。
次いで、図13から図15を参照して、マップ情報が生成される例について説明する。図13は、移動体装置20が道路上を走行する場合に、カメラ110によって撮像された画像51を示す。この画像51には、道路511,516、他の車両512,513、建物514、及び草地515である複数の物体が含まれている。
第1実施形態において説明したように、マップ生成部112は、例えば、セマンティックセグメンテーションのような、画像中の物体を識別する技術を利用して、マップ情報を生成することができる。この画像中の物体を識別する技術では、画像中の物体が何であるかを学習により得られた辞書データに基づき識別する。識別されるカテゴリとして、例えば、室内の場合は、床、カーペット、畳、壁、椅子、机、窓、ドア、人間、猫、犬、等が挙げられる。また屋外の場合は、識別されるカテゴリとして、車道、歩道、木、建物、車両、人間、等が挙げられる。識別を行うための辞書データはあらかじめマップ生成部112に保持されている。
図14は、画像51中の物体511〜516が識別された識別結果52を示す。この識別結果52には、マップ生成部112によって、例えば、セマンティックセグメンテーションを用いて識別された、物体511〜516のそれぞれに対応する領域521〜526が示されている。したがって、識別結果52を用いることにより、例えば、画像51上のある画素が、いずれの物体に対応する画素であるかを決定することができる。また、マップ生成部112は、識別された各物体に対応する領域が、移動体装置20が移動できる走行可能領域と、移動体装置20による走行の障害となる物体である障害物の領域のいずれであるかを判別することもできる。識別結果52において、例えば、車道と識別された領域を走行可能領域とすることができる。マップ生成部112は、識別された物体511〜516の内、道路511,516に対応する領域521,526を走行可能領域と判別し、他の物体512,513,514,515に対応する領域522,523,524,525に対応する領域を障害物の領域と判別する。
次いで、マップ生成部112は、識別結果52と、距離センサ111によって取得された三次元データとを組み合わせることによって、移動体装置20の周囲に存在する物体の三次元的なマップを生成する。生成されたマップは、物体毎の領域を識別できる情報を含むと共に、移動体装置20から生成されたマップ内の物体の各々までの距離を示す情報も含む。また、このマップは、移動体装置20の周囲の特定の領域内で、移動体装置20が移動できる走行可能領域と、この特定の領域内で複数の障害物が存在する複数の領域とを示すマップ情報である。したがって、このマップ情報を用いることによって、走行可能領域と障害物に対応する領域とを判別することができる。マップ生成部112は、このマップ情報から、例えば、図15に示すように、走行可能領域531に対応する三次元的なマップ53を抽出することもできる。マップ生成部112は、同様にして、マップ情報から、各障害物の領域に対応する三次元的なマップを抽出することもできる。
図16は、移動体装置20の移動状態が異常であると判定された場合に、移動体装置20が目標位置に移動するように制御される例を示す。損害評価部105は、移動状態の異常時に、走行可能領域531である道路511,516内に移動経路が存在する草地515、建物514、及び車両512,513の各々に移動体装置20が衝突した場合の損害を示す評価値を取得する。損害を示す評価値としては、加害スコア、被害スコアのいずれか一方、又は両方であってよい。そして、損害評価部105は、取得された評価値に基づいて損害が最小である草地515に対応する位置を目標位置として算出する。例えば、加害スコアが最も小さく、且つ被害スコアも小さい障害物に対応する移動を損害が最少と設定する。位置設定部106は、算出された目標位置を制御部113に出力する。また、安全装置制御部115は、衝突や衝撃に備えて、安全装置116に制御のための情報を出力する。制御部113は、図16に示すように、移動体装置20が目標位置である草地515に向かうように動力部114を制御する。
以上により、移動状態に異常が生じている移動体装置20を、当該移動体装置20や他の物体に対する損害が軽減される位置に移動させることができる。つまり、他の車両512,513や建物514に衝突するのではなく、走行可能領域531から逸脱したとしても、草地515のような安全な場所で損害が軽減されると想定される場所に、移動体装置20を退避させることができる。
また、本発明のいくつかの実施形態に記載された様々な機能の各々は、処理回路によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラムに対応する命令群を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。これらの実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、これらの実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、これら実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…情報処理装置、10…移動体装置、101…移動情報取得部、102…マップ取得部、103…予測部、104…判定部、105…損害評価部、106…位置設定部、107…損害結果処理部、108…損害結果記録部、109…センサ、110…カメラ、111…距離センサ、112…マップ生成部、113…制御部、114…動力部、60…損害記録データベース。

Claims (10)

  1. 移動体装置の周囲の第1領域内で、前記移動体装置が移動可能である第2領域と、前記第1領域内で物体が存在する第3領域とを示す領域情報を取得する第1取得部と、
    前記移動体装置の速度と移動方向と加速度の少なくともいずれかを含む移動情報を取得する第2取得部と、
    前記移動体装置の移動状態が異常であり、前記第1領域内で物体が存在する第3領域が複数存在する場合、前記移動情報と前記領域情報とを用いて、前記移動体装置が前記複数の第3領域に存在する複数の物体の各々に到達するための移動経路が存在するか否かを判定し、前記移動経路が存在する物体の各々に前記移動体装置が衝突した場合の損害を示す評価値を取得し、前記評価値に基づいて損害が最小になる第1物体に対応する位置を、前記移動体装置が移動する目標位置に決定する評価部と、
    を具備する情報処理装置。
  2. 前記移動情報を用いて、前記移動体装置の移動状態が異常であるか否かを判定する判定部をさらに具備する請求項1記載の情報処理装置。
  3. 前記判定部は、さらに、前記移動情報と前記領域情報とを用いて、前記移動体装置が前記複数の物体のいずれかに衝突する可能性があるか否かを判定し、前記移動体装置が前記複数の物体のいずれかに衝突する可能性があると判定された場合に、前記移動体装置の移動状態が異常であると判定する、請求項2記載の情報処理装置。
  4. 前記判定部は、さらに、前記領域情報を用いて、前記複数の物体の内の、移動している第2物体が前記移動体装置に衝突する可能性があるか否かを判定し、前記第2物体が前記移動体装置に衝突する可能性があると判定された場合に、前記移動体装置の移動状態が異常であると判定する、請求項2記載の情報処理装置。
  5. 前記領域情報は、前記第1領域を撮像した画像を用いて生成される、請求項1記載の情報処理装置。
  6. 前記領域情報は、前記移動体装置から前記第2領域と前記複数の第3領域の各々までの距離を示す情報を含む、請求項1記載の情報処理装置。
  7. 前記移動情報と前記領域情報とを用いて、第1時間が経過した後に、前記第1領域内で、前記移動体装置が移動可能である第4領域と、前記第1領域内で物体が存在する第5領域とを示す第2領域情報を予測する予測部をさらに具備し、
    前記評価部は、前記移動体装置の移動状態が異常であり、前記第1領域内で物体が存在する第5領域が複数存在する場合、前記移動情報と前記第2領域情報とを用いて、前記移動体装置が前記複数の第5領域に存在する複数の物体の各々に到達するための移動経路が存在するか否かを判定し、前記移動経路が存在する物体の各々に前記移動体装置が衝突した場合の損害を示す評価値を取得し、前記評価値に基づいて損害が最小になる第2物体に対応する位置を、前記移動体装置が移動する目標位置に決定する、請求項1記載の情報処理装置。
  8. 前記移動体装置が前記第1物体に衝突した場合、前記第1物体と、前記衝突による損害とを示す情報を記録する記録部をさらに具備する、請求項1記載の情報処理装置。
  9. 前記移動体装置は、人が乗車する車両であって、前記人を保護するための安全装置を具備し、
    前記情報処理装置は、
    前記目標位置が決定された場合に、前記安全装置を制御する制御部をさらに具備する、請求項1記載の情報処理装置。
  10. 移動体装置であって、
    前記移動体装置が移動するための動力部と、
    前記移動体装置の周囲の第1領域内で、前記移動体装置が移動可能である第2領域と、前記第1領域内で物体が存在する第3領域とを示す領域情報を取得する第1取得部と、
    前記移動体装置の速度と方向と加速度の少なくともいずれかを含む移動情報を取得する第2取得部と、
    前記移動体装置の移動状態が異常であり、前記第1領域内で物体が存在する第3領域が複数存在する場合、前記移動情報と前記領域情報とを用いて、前記移動体装置が前記複数の第3領域に存在する複数の物体の各々に到達するための移動経路が存在するか否かを判定し、前記移動経路が存在する物体の各々に前記移動体装置が衝突した場合の損害を示す評価値を取得し、前記評価値に基づいて損害が最小になる第1物体に対応する位置を、前記移動体装置が移動する目標位置に決定する評価部と、
    前記移動体装置が前記決定された目標位置に移動するように前記動力部を制御する制御部と、
    を具備する移動体装置。
JP2016106120A 2016-05-27 2016-05-27 情報処理装置及び移動体装置 Active JP6672076B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016106120A JP6672076B2 (ja) 2016-05-27 2016-05-27 情報処理装置及び移動体装置
US15/444,866 US10131348B2 (en) 2016-05-27 2017-02-28 Information processor and movable body apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016106120A JP6672076B2 (ja) 2016-05-27 2016-05-27 情報処理装置及び移動体装置

Publications (2)

Publication Number Publication Date
JP2017211909A true JP2017211909A (ja) 2017-11-30
JP6672076B2 JP6672076B2 (ja) 2020-03-25

Family

ID=60421341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016106120A Active JP6672076B2 (ja) 2016-05-27 2016-05-27 情報処理装置及び移動体装置

Country Status (2)

Country Link
US (1) US10131348B2 (ja)
JP (1) JP6672076B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153138A (ja) * 2018-03-05 2019-09-12 株式会社デンソー 画像作成装置
WO2019225349A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP2019207220A (ja) * 2018-03-13 2019-12-05 本田技研工業株式会社 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
WO2020012944A1 (ja) * 2018-07-09 2020-01-16 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2020031812A1 (ja) * 2018-08-09 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
WO2020217724A1 (ja) * 2019-04-23 2020-10-29 株式会社日立製作所 位置推定装置、位置推定システム、位置推定方法
WO2020262189A1 (ja) * 2019-06-27 2020-12-30 ソニー株式会社 移動体、制御方法、およびプログラム
WO2021014752A1 (ja) * 2019-07-19 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP2021508901A (ja) * 2018-05-31 2021-03-11 上▲海▼商▲湯▼智能科技有限公司Shanghai Sensetime Intelligent Technology Co., Ltd. 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
WO2021070651A1 (ja) * 2019-10-10 2021-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108791285A (zh) * 2018-06-13 2018-11-13 北京车和家信息技术有限公司 一种车辆控制方法及车辆
US11357376B2 (en) * 2018-07-27 2022-06-14 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
WO2020115842A1 (ja) * 2018-12-05 2020-06-11 日本電気株式会社 移動体制御装置、移動体、移動体制御方法およびプログラム
CN110187706A (zh) * 2019-05-28 2019-08-30 上海钛米机器人科技有限公司 一种速度规划方法、装置、电子设备及存储介质
JP2022026925A (ja) * 2020-07-31 2022-02-10 株式会社東芝 注意喚起システム、注意喚起方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345518A (ja) * 2003-05-22 2004-12-09 Nissan Motor Co Ltd 車両用走行制御装置
JP2007264820A (ja) * 2006-03-27 2007-10-11 Aioi Kiso Kenkyusho:Kk 事故情報記録システムおよび車載システム
JP2009001104A (ja) * 2007-06-20 2009-01-08 Fujitsu Ten Ltd 追突被害軽減装置および追突被害軽減方法
JP2009274700A (ja) * 2008-05-19 2009-11-26 Advics Co Ltd 車両の運動制御装置、及び車両の運動制御方法
JP2013537651A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2014232508A (ja) * 2013-05-30 2014-12-11 トヨタ自動車株式会社 回避軌道予測装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280622A (en) * 1992-07-17 1994-01-18 Mitsubishi Semiconductor America, Inc. Combined light beam and ultrasonic transducer safety sensing system
US5440216A (en) * 1993-06-08 1995-08-08 Samsung Electronics Co., Ltd. Robot cleaner
US6941199B1 (en) * 1998-07-20 2005-09-06 The Procter & Gamble Company Robotic system
US6678582B2 (en) * 2002-05-30 2004-01-13 Kuka Roboter Gmbh Method and control device for avoiding collisions between cooperating robots
US7015831B2 (en) * 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
US7706917B1 (en) * 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP2008247111A (ja) 2007-03-29 2008-10-16 Fuji Heavy Ind Ltd 車両の衝突安全制御システム
JP4495252B2 (ja) * 2008-07-09 2010-06-30 パナソニック株式会社 経路危険性評価装置、経路危険性評価方法及びプログラム
US8930019B2 (en) * 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
JP5761089B2 (ja) 2012-03-13 2015-08-12 トヨタ自動車株式会社 車両の運転支援システム
US9443430B2 (en) * 2013-09-11 2016-09-13 Here Global B.V. Method and apparatus for determining an adjustment in parking position based on proximate parked vehicle information
DE102014212898A1 (de) 2014-07-03 2016-01-07 Robert Bosch Gmbh Verfahren zum Ermitteln einer Notfall-Trajektorie und Verfahren zum teilautomatisierten oder automatisierten Führen eines Ego-Fahrzeugs
WO2016026039A1 (en) * 2014-08-18 2016-02-25 Verity Studios Ag Invisible track for an interactive mobile robot system
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
US9701306B2 (en) * 2014-12-23 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Risk mitigation for autonomous vehicles relative to turning objects
US20170248953A1 (en) * 2016-02-25 2017-08-31 Ford Global Technologies, Llc Autonomous peril control
US10789650B1 (en) * 2016-04-27 2020-09-29 State Farm Mutual Automobile Insurance Company Systems and methods for reconstruction of a vehicular crash

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345518A (ja) * 2003-05-22 2004-12-09 Nissan Motor Co Ltd 車両用走行制御装置
JP2007264820A (ja) * 2006-03-27 2007-10-11 Aioi Kiso Kenkyusho:Kk 事故情報記録システムおよび車載システム
JP2009001104A (ja) * 2007-06-20 2009-01-08 Fujitsu Ten Ltd 追突被害軽減装置および追突被害軽減方法
JP2009274700A (ja) * 2008-05-19 2009-11-26 Advics Co Ltd 車両の運動制御装置、及び車両の運動制御方法
JP2013537651A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2014232508A (ja) * 2013-05-30 2014-12-11 トヨタ自動車株式会社 回避軌道予測装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153138A (ja) * 2018-03-05 2019-09-12 株式会社デンソー 画像作成装置
JP2019207220A (ja) * 2018-03-13 2019-12-05 本田技研工業株式会社 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
JP7221089B2 (ja) 2018-03-13 2023-02-13 本田技研工業株式会社 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
JPWO2019225349A1 (ja) * 2018-05-24 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
WO2019225349A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
US11850990B2 (en) 2018-05-24 2023-12-26 Sony Corporation Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
JP7226440B2 (ja) 2018-05-24 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
US11314973B2 (en) 2018-05-31 2022-04-26 Shanghai Sensetime Intelligent Technology Co., Ltd. Lane line-based intelligent driving control method and apparatus, and electronic device
JP2021508901A (ja) * 2018-05-31 2021-03-11 上▲海▼商▲湯▼智能科技有限公司Shanghai Sensetime Intelligent Technology Co., Ltd. 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
JP7024115B2 (ja) 2018-05-31 2022-02-22 上▲海▼商▲湯▼智能科技有限公司 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
WO2020012944A1 (ja) * 2018-07-09 2020-01-16 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2020031812A1 (ja) * 2018-08-09 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
US11812197B2 (en) 2018-08-09 2023-11-07 Sony Corporation Information processing device, information processing method, and moving body
WO2020217724A1 (ja) * 2019-04-23 2020-10-29 株式会社日立製作所 位置推定装置、位置推定システム、位置推定方法
WO2020262189A1 (ja) * 2019-06-27 2020-12-30 ソニー株式会社 移動体、制御方法、およびプログラム
WO2021014752A1 (ja) * 2019-07-19 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP7501535B2 (ja) 2019-07-19 2024-06-18 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
WO2021070651A1 (ja) * 2019-10-10 2021-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP6672076B2 (ja) 2020-03-25
US10131348B2 (en) 2018-11-20
US20170341645A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6672076B2 (ja) 情報処理装置及び移動体装置
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
US9952598B2 (en) Mobile robot system and method for controlling mobile robot
US20190025071A1 (en) Information processing device
CN102576495B (zh) 针对汽车的碰撞监控
US20180273030A1 (en) Autonomous Vehicle having Pedestrian Protection Subsystem
CN107000745A (zh) 车辆的行驶控制装置以及行驶控制方法
CN106463059A (zh) 障碍物信息管理装置
JP2008065755A (ja) 移動装置
KR101559886B1 (ko) 이동 수단의 집단 제어를 위한 장치 및 방법
US9529088B2 (en) Apparatus and method for determining available driving space
US9616886B2 (en) Size adjustment of forward objects for autonomous vehicles
JP2011054082A (ja) 自律移動装置
JP6094279B2 (ja) 追跡装置、追跡プログラムおよび追跡方法
US20230045416A1 (en) Information processing device, information processing method, and information processing program
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
KR20220055167A (ko) 자율주행 로봇, 자율주행 로봇의 충돌 회피 방법 및 월드 맵 관리 방법
KR102279754B1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
JP6263453B2 (ja) 運動量推定装置及びプログラム
CN115565058A (zh) 机器人、避障方法、装置和存储介质
JP4774401B2 (ja) 自律移動体の経路設定装置
KR102012548B1 (ko) 로봇의 진입 가능 영역을 식별하는 방법 및 이를 구현하는 로봇
JP4997604B2 (ja) 個人用移動車両運転支援装置
US10694357B2 (en) Using vehicle sensor data to monitor pedestrian health
JP7345684B2 (ja) 自動運転システム、サーバ、および、ダイナミックマップの生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R151 Written notification of patent or utility model registration

Ref document number: 6672076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151