JP2017159881A - 認識結果提示装置、認識結果提示方法及び自律移動体 - Google Patents

認識結果提示装置、認識結果提示方法及び自律移動体 Download PDF

Info

Publication number
JP2017159881A
JP2017159881A JP2016210328A JP2016210328A JP2017159881A JP 2017159881 A JP2017159881 A JP 2017159881A JP 2016210328 A JP2016210328 A JP 2016210328A JP 2016210328 A JP2016210328 A JP 2016210328A JP 2017159881 A JP2017159881 A JP 2017159881A
Authority
JP
Japan
Prior art keywords
unit
recognition
risk
recognition result
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016210328A
Other languages
English (en)
Other versions
JP6933457B2 (ja
Inventor
和紀 小塚
Kazuki Kozuka
和紀 小塚
亮太 藤村
Ryota Fujimura
亮太 藤村
哲司 渕上
Tetsuji Fuchigami
哲司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201710061084.3A priority Critical patent/CN107176161B/zh
Priority to US15/437,874 priority patent/US10248873B2/en
Priority to EP17157357.9A priority patent/EP3216653B1/en
Publication of JP2017159881A publication Critical patent/JP2017159881A/ja
Priority to US16/256,118 priority patent/US10528827B2/en
Application granted granted Critical
Publication of JP6933457B2 publication Critical patent/JP6933457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる認識結果提示装置、認識結果提示方法及び自律移動体を提供する。【解決手段】認識結果提示装置は、自動運転車両の周囲に存在する認識対象(人物)を検出する人物検出部12と、人物検出部12によって検出された認識対象(人物)に対して、人物検出部12によって認識対象(人物)が検出されることによって自動運転車両が認識対象(人物)を認識していることを示す認識結果を提示する提示部114とを備える。【選択図】図2

Description

本開示は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置、認識結果提示方法及び自律移動体に関するものである。
近年、自律運転車両の開発が進められている。自律運転車両は、自律運転車両の周囲に存在する歩行者を認識し、認識結果に応じて自律運転車両の走行を制御している。
例えば、特許文献1では、車両に搭載された車載用表示装置が、車載用制御装置が出力した運転行動内容と運転行動要因とを取得し、画像表示や音声出力を用いて運転行動内容と運転行動要因とを通知することが開示されている。
また、例えば、特許文献2では、自律運転車両が、自律運転車両に何が起こっているのか又は自律運転車両が現在何をしているのかを歩行者へ通知することが開示されている。
また、例えば、特許文献3では、自動走行する移動体の報知手段が、検知された監視対象が存在する範囲領域の方向のそれぞれに対して、検知した情報、診断した診断結果、検知した移動状態を車体などに表示したり音声出力したりして外部に報知することが開示されている。
国際公開第2015/156146号 米国特許第9196164号明細書 特開2015−186944号公報
しかしながら、上記従来の技術では、自律移動体によって認識されていることが認識対象に確実に通知されることはなく、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる認識結果提示装置、認識結果提示方法及び自律移動体を提供することを目的とするものである。
本開示の一態様に係る認識結果提示装置は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置であって、前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、を備える。
本開示によれば、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。
本実施の形態1に係る自動運転車両の構成を示すブロック図である。 本実施の形態1における認識結果提示装置の構成を示す図である。 本実施の形態1における認識結果提示装置の動作について説明するためのフローチャートである。 本実施の形態1において、撮影画像の取得、人物の検出及び撮影画像の座標変換について説明するための模式図である。 本実施の形態1において認識結果を提示する処理について説明するための図である。 本実施の形態1の第1の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態1の第2の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態1の第2の変形例において複数の自動運転車両が所定の範囲内に存在する場合に認識結果を提示する処理について説明するための図である。 本実施の形態1の第3の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態1の第4の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態1の第5の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態2における認識結果提示装置の構成を示す図である。 本実施の形態3における認識結果提示装置の構成を示す図である。 本実施の形態3において、危険度が高い認識対象に対して優先的に光を照射する処理について説明するための図である。 本実施の形態3において、危険度が高い認識対象に対して優先的に音を出力する処理について説明するための図である。
(本開示に係る一態様を発明するに至った経緯)
近年、自律運転車両の開発が進められている。自律運転車両は、自律運転車両の周囲に存在する歩行者を認識し、認識結果に応じて自律運転車両の走行を制御している。
例えば、特許文献1では、車両に搭載された車載用表示装置が、車載用制御装置が出力した運転行動内容と運転行動要因とを取得し、画像表示や音声出力を用いて運転行動内容と運転行動要因とを通知することが開示されている。
また、例えば、特許文献2では、自律運転車両が、自律運転車両に何が起こっているのか又は自律運転車両が現在何をしているのかを歩行者へ通知することが開示されている。
また、例えば、特許文献3では、自動走行する移動体の報知手段が、検知された監視対象が存在する範囲領域の方向のそれぞれに対して、検知した情報、診断した診断結果、検知した移動状態を車体などに表示したり音声出力したりして外部に報知することが開示されている。
上記の特許文献1では、車両の運転行動内容が乗員に通知され、特許文献2では、自律運転車両の動作が歩行者に通知される。そのため、自律運転車両の周囲にいる歩行者は、自身が自律運転車両によって認識されているか否かが分からず、自律運転車両の前を横断することが可能であるか否かを判断することができない。
また、上記の特許文献3では、監視対象物の存在を検知した方向のLED(発光ダイオード)を点灯させることにより、監視対象物が認識されたことを報知しているが、同一方向に複数の監視対象物が存在する場合に、個々の監視対象物に対して認識されていることが報知されることはない。そのため、同一方向に複数の歩行者が存在する場合、複数の歩行者のうちの認識されている歩行者と認識されていない歩行者とが特定されないので、各歩行者は、自身が自律運転車両によって認識されているか否かを確認することができない。
以上の課題を解決するために、本開示の一態様に係る認識結果提示装置は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置であって、前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、を備える。
この構成によれば、自律移動体の周囲に存在する認識対象が検出される。そして、検出された認識対象に対して、認識対象が検出されることによって自律移動体が認識対象を認識していることを示す認識結果が提示される。
したがって、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含んでもよい。
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する方向へ照射される光によって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射しもよい。
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する位置の地面に向けて照射される所定の形状の光によって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射するとともに、前記認識対象が存在する位置の地面と前記自律移動体が存在する位置の地面とを結ぶ直線上に光を照射してもよい。
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する位置の地面に向けて照射される所定の形状の光と、認識対象が存在する位置の地面と自律移動体が存在する位置の地面とを結ぶ直線上に照射される光とによって確実に通知することができる。
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含んでもよい。
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する方向へ出力される所定の音によって確実に通知することができる。
また、上記の認識結果提示装置において、前記自律移動体の周囲の画像を撮影する撮影部をさらに備え、前記検出部は、前記画像内における前記認識対象を検出し、前記提示部は、前記自律移動体の表面に配置され、前記検出部によって検出された前記認識対象を識別可能な態様で表した前記画像を表示する表示部を含んでもよい。
この構成によれば、自律移動体の周囲の画像が撮影される。画像内における認識対象が検出される。自律移動体の表面に配置された表示部に、検出された認識対象を識別可能な態様で表した画像が表示される。
したがって、自律移動体の表面に配置された表示部に表示される、検出された認識対象を識別可能な態様で表した画像によって、認識対象が自律移動体によって認識されていることを確実に通知することができる。
また、上記の認識結果提示装置において、前記表示部は、前記画像の左右を反転させて表示してもよい。
この構成によれば、画像の左右が反転させて表示されるので、検出された認識対象が鏡に映っているように表示され、直感的に認識結果を把握することができる。
また、上記の認識結果提示装置において、前記認識対象は人物であり、前記検出部によって検出された前記人物の属性を判定する属性判定部と、前記属性判定部によって判定された前記属性に応じて提示方法を決定する提示方法決定部と、をさらに備え、前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示してもよい。
この構成によれば、認識対象は人物である。検出された人物の属性が判定される。判定された属性に応じて提示方法が決定される。決定された提示方法に従って認識結果が提示される。
したがって、検出された人物の属性に応じた適切な提示方法に従って認識結果を提示することができる。
また、上記の認識結果提示装置において、前記検出部によって検出された前記認識対象の危険度を判定する危険度判定部と、前記危険度判定部によって判定された前記危険度に応じて提示方法を決定する提示方法決定部と、をさらに備え、前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示してもよい。
この構成によれば、検出された認識対象の危険度が判定される。判定された危険度に応じて提示方法が決定される。決定された提示方法に従って認識結果が提示される。
したがって、検出された認識対象の危険度に応じた適切な提示方法に従って認識結果を提示することができる。
また、上記の認識結果提示装置において、前記危険度は、第1の危険度と、前記第1の危険度より低い第2の危険度とを含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の提示方法と、前記危険度判定部によって前記第2の危険度であると判定された場合の提示方法とを異ならせてもよい。
この構成によれば、危険度は、第1の危険度と、第1の危険度より低い第2の危険度とを含む。第1の危険度であると判定された場合の提示方法と、第2の危険度であると判定された場合の提示方法とを異ならせる。
したがって、危険度が高い場合の提示方法と、危険度が低い場合の提示方法とが異なるので、認識対象は、危険度に応じて提示された認識結果を確認することにより、自身の危険度を認識することができる。
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記光の色と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記光の色とを異ならせてもよい。
この構成によれば、認識対象が存在する方向へ光が照射される。第1の危険度であると判定された場合の光の色と、第2の危険度であると判定された場合の光の色とを異ならせる。
したがって、認識対象は、照射された光の色を確認することにより、自身の危険度を認識することができる。
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記音と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記音とを異ならせてもよい。
この構成によれば、認識対象が存在する方向へ所定の音が出力される。第1の危険度であると判定された場合の音と、第2の危険度であると判定された場合の音とを異ならせる。
したがって、認識対象は、出力された所定の音を確認することにより、自身の危険度を認識することができる。
また、上記の認識結果提示装置において、前記認識対象は、複数の認識対象を含み、前記検出部は、前記複数の認識対象を検出し、前記危険度判定部は、前記検出部によって検出された前記複数の認識対象のそれぞれの前記危険度を判定し、前記提示部は、前記複数の認識対象のうちの前記危険度が最も高い認識対象から順番に前記認識結果を提示してもよい。
この構成によれば、認識対象は、複数の認識対象を含む。複数の認識対象が検出される。検出された複数の認識対象のそれぞれの危険度が判定される。複数の認識対象のうちの危険度が最も高い認識対象から順番に認識結果が提示される。
したがって、複数の認識対象のうちの危険度が最も高い認識対象から順番に認識結果が提示されるので、複数の認識対象のそれぞれは、自身の危険度を認識することができる。
本開示の他の態様に係る自律移動体は、上記のいずれかに記載の認識結果提示装置と、前記認識結果提示装置による前記認識結果に基づいて、自律移動体の移動を制御する制御部と、を備える。
この構成によれば、上記のいずれかに記載の認識結果提示装置を自律移動体に適用することができる。
本開示の他の態様に係る認識結果提示方法は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置における認識結果提示方法であって、前記自律移動体の周囲に存在する前記認識対象を検出し、検出した前記認識対象に対して、前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する。
この構成によれば、自律移動体の周囲に存在する認識対象が検出される。そして、検出された認識対象に対して、前記認識対象が検出されることによって自律移動体が認識対象を認識していることを示す認識結果が提示される。
したがって、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
(実施の形態1)
図1は、本実施の形態1に係る自動運転車両の構成を示すブロック図である。図1に示す自動運転車両1は、自動運転システム101、指示器102、車両制御プロセッサ103、ブレーキ制御システム104、アクセル制御システム105、ステアリング制御システム106、車両ナビゲーションシステム107及びGPS(Global Positioning System)108を備える。
自動運転車両1は、自律走行する車両であり、自律移動体の一例である。本実施の形態1において、自動運転車両1は、自動車であるが、本開示は特にこれに限定されず、自動運転車両1は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
自動運転システム101は、プロセッサ111、メモリ112、ユーザ入力部113、提示部114及びセンサ115を備える。
メモリ112は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ROM(Read Only Memory)、RAM(Random Access Memory)、光ディスク及び半導体メモリ等である。メモリ112は、プロセッサ111により実行される自動運転プログラム121及びプロセッサ111により利用されるデータ122を記憶している。
データ122は、地図データ21及び座標変換マップデータ22を含む。地図データ21は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ21としては、上記の情報に限らない。座標変換マップデータ22は、カメラ31によって撮影された撮影画像上の各画素の位置と、実空間上の位置とを対応付けた座標変換マップである。
プロセッサ111は、例えばCPU(中央演算処理装置)であり、メモリ112に記憶されている自動運転プログラム121を実行する。プロセッサ111が自動運転プログラム121を実行することにより、自動運転車両1は自律的に走行する。また、プロセッサ111は、メモリ112からデータ122を読み出し、メモリ112にデータ122を書き込み、メモリ112に記憶されているデータ122を更新する。
自動運転プログラム121は、レーン検出部11、人物検出部12及び座標変換部13としてプロセッサ111を機能させる。
レーン検出部11は、カメラ31によって撮影された撮影画像から、道路上に描かれた車線を認識し、自動運転車両1が走行するレーンを検出する。
人物検出部12は、カメラ31によって撮影された撮影画像から、自動運転車両1の周囲に存在する人物(認識対象)を検出する。人物検出部12は、例えば、多層構造のニューラルネットワークをディープラーニングにより機械学習し、機械学習したニューラルネットワークに撮影画像を入力することにより、撮影画像に含まれる人物を検出する。人物検出部12は、撮影画像中の検出した人物を矩形状の枠で囲む。
座標変換部13は、座標変換マップデータ22を用いて、撮影画像の座標を実空間の座標に変換する。
ユーザ入力部113は、ユーザによる種々の情報の入力を受け付ける。ユーザ入力部113は、例えば、ボタン又はタッチパネルで構成される。
提示部114は、種々の情報を提示する。提示部114は、人物検出部12によって検出された人物(認識対象)に対して、人物検出部12によって人物(認識対象)が検出されることによって自動運転車両1が人物(認識対象)を認識していることを示す認識結果を提示する。提示部114は、レーザ照射部32を含む。レーザ照射部32は、自動運転車両1の前方部分に配置され、自動運転車両1の前方に存在する人物に向けてレーザ光を照射する。なお、レーザ照射部32は、自動運転車両1の前方だけでなく、自動運転車両1の後方、自動運転車両1の右方及び自動運転車両1の左方などの自動運転車両1の周囲に存在する人物に向けてレーザ光を照射してもよい。また、レーザ照射部32は、レーザ照射部32と人物との間の地面上に直線状のレーザ光を照射することが好ましい。
レーザ照射部32は、座標変換部13によって実空間上の座標に変換された人物の位置に向けてレーザ光を照射する。なお、人物検出部12によって人物が存在する方向及び自動運転車両1から人物までの距離が特定された場合、レーザ照射部32は、人物(認識対象)が存在する位置の地面に向けて所定の形状のレーザ光を照射してもよい。
センサ115は、自動運転車両1の周囲の環境及び自動運転車両1の内部の環境を測定する。センサ115は、例えば、自動運転車両1の速度を計測する速度計、自動運転車両1の加速度を計測する加速時計、自動運転車両1の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ115は、上記のセンサに限らない。
センサ115は、カメラ31を含む。カメラ31は、撮影部の一例であり、自動運転車両1のバックミラーの近傍に配置され、自動運転車両1の前方の画像を撮影する。なお、カメラ31は、自動運転車両1の前方だけでなく、自動運転車両1の後方、自動運転車両1の右方及び自動運転車両1の左方などの自動運転車両1の周囲の画像を撮影してもよい。
指示器102は、自動運転車両1が左折、右折又は進路を変更する際に、その方向を周囲に示すための装置である。車両制御プロセッサ103は、自動運転車両1を制御する。ブレーキ制御システム104は、自動運転車両1を減速するように制御する。アクセル制御システム105は、自動運転車両1の速度を制御する。ステアリング制御システム106は、自動運転車両1の進行方向を調節する。車両ナビゲーションシステム107は、自動運転車両1の走行経路を決定したり、自動運転車両1の走行経路を提示したりする。GPS108は、自動運転車両1の現在位置を取得する。
プロセッサ111は、センサ115によるセンシング結果、レーン検出部11による検出結果及び人物検出部12による検出結果に基づいて、自動運転車両1の方向及び速度を制御する。プロセッサ111は、アクセル制御システム105によって自動運転車両1を加速させ、ブレーキ制御システム104によって自動運転車両1を減速させ、ステアリング制御システム106によって自動運転車両1の方向を変化させる。
図2は、本実施の形態1における認識結果提示装置の構成を示す図である。図2に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、レーザ照射部32及び座標変換マップデータ格納部221を備える。
図2に示す認識結果提示装置において図1と同じ構成については同じ符号を付し、説明を省略する。座標変換マップデータ格納部221は、図1のメモリ112で構成され、座標変換マップデータ22を記憶する。
続いて、本実施の形態1における認識結果提示装置の動作について説明する。
図3は、本実施の形態1における認識結果提示装置の動作について説明するためのフローチャートである。図4は、本実施の形態1において、撮影画像の取得、人物の検出及び撮影画像の座標変換について説明するための模式図である。
まず、ステップS1において、カメラ31は、自動運転車両1の進行方向の画像を撮影する。このとき、カメラ31は、自動運転車両1の前方を撮影可能な位置に配置され、自動運転車両1の前方を撮影する。なお、自動運転車両1が前進する場合には、自動運転車両1の前方に配置されたカメラによって撮影し、自動運転車両1が後進する場合には、自動運転車両1の後方に配置されたカメラによって撮影することが好ましい。
次に、ステップS2において、人物検出部12は、カメラ31によって撮影された撮影画像201を取得する。図4に示す撮影画像201は、人物2,3を含む。
次に、ステップS3において、人物検出部12は、カメラ31から取得した撮影画像に含まれる人物を検出する。図4において、人物検出部12は、撮影画像201に含まれる人物2,3のうちの人物2を検出し、検出した人物2の周囲に矩形状の枠202を付与する。なお、図4では、人物3は、人物として検出されていない。このように、検出精度などにより、必ずしも撮影画像内の全ての人物が検出されるわけではない。
次に、ステップS4において、座標変換部13は、人物検出部12によって撮影画像から人物が検出されたか否かを判断する。ここで、人物が検出されなかったと判断された場合(ステップS4でNO)、ステップS1の処理に戻る。
一方、人物が検出されたと判断された場合(ステップS4でYES)、ステップS5において、座標変換部13は、座標変換マップデータ22を用いて、撮影画像の座標を実空間の座標に変換する。図4に示すように、撮影画像201を座標変換することにより、実空間の座標に対応した実空間画像203が生成される。
次に、ステップS6において、レーザ照射部32は、人物検出部12によって検出された人物の位置に向けてレーザ光を照射する。このとき、レーザ照射部32は、座標変換部13によって変換された実空間画像203内の人物2の座標位置から、実際に人物2が存在する位置を特定し、特定した位置に向けてレーザ光を照射する。その後、ステップS1の処理に戻る。
なお、ステップS1〜ステップS6の処理は、自動運転車両1の電源がオンされてからオフされるまで行われる。
図5は、本実施の形態1において認識結果を提示する処理について説明するための図である。図5に示すように、人物2が検出された場合、レーザ照射部32は、検出された人物2の位置に向けてレーザ光211を照射する。また、人物3は検出されていないため、レーザ光211が照射されていない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
このように、検出された認識対象に対して、認識対象が検出されることによって自動運転車両1が認識対象を認識していることを示す認識結果が提示されるので、認識対象が自動運転車両1によって認識されていることを認識対象に対して確実に通知することができる。
なお、本実施の形態1では、レーザ光を人物に照射しているが、本開示は特にこれに限定されず、発光ダイオードなどの他の光源からの光を人物に照射してもよい。
また、提示部114は、プロジェクタを備えてもよく、プロジェクタからの光(画像)を人物に向けて照射してもよい。この場合、プロジェクタは、プロジェクタと人物との間の地面上に直線状の光を照射することが好ましい。
図6は、本実施の形態1の第1の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態1の第1の変形例では、認識対象が存在する位置の地面に向けて所定の形状の光が照射される。センサ115により、人物が存在する方向及び人物までの距離が分かれば、検出された人物の足下にレーザ光を照射することができる。図6に示すように、人物2が検出された場合、レーザ照射部32は、人物2が存在する位置の地面に向けて所定の形状のレーザ光212を照射する。図6では、円形状のレーザ光212が照射されている。また、人物3は検出されていないため、円形状のレーザ光212が照射されていない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
図7は、本実施の形態1の第2の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態1の第2の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、自動運転車両1の表面に配置され、人物検出部12によって検出された人物(認識対象)を識別可能な態様で表した画像を表示する表示部33を備える。
図7に示すように、表示部33は、例えば、液晶表示装置であり、自動運転車両1の表面に配置される。なお、表示部33は、自動運転車両1の前面、後面、右側面及び左側面の少なくとも1つの位置に配置される。人物検出部12は、撮影画像201に含まれる人物2,3のうちの人物2を検出し、検出した人物2の周囲に矩形状の枠202を付与する。表示部33は、検出した人物2の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。また、人物3は検出されていないため、人物3の周囲に矩形状の枠202は表示されない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
なお、表示部33は、画像の左右を反転させて表示することが好ましい。これにより、人物が鏡に映っているように表示されるので、人物は直感的に認識結果を把握することができる。
図8は、本実施の形態1の第2の変形例において複数の自動運転車両が所定の範囲内に存在する場合に認識結果を提示する処理について説明するための図である。
図8に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aの表示部33は、検出した人物2の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。また、自動運転車両1aによって人物3は検出されていないため、人物3の周囲に矩形状の枠202は表示されない。
また、自動運転車両1bによって人物2及び人物3が検出された場合、自動運転車両1bの表示部33は、検出した人物2及び人物3の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。
したがって、人物の近傍に複数の自動運転車両が存在する場合に、人物は、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。
図9は、本実施の形態1の第3の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態1の第3の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、認識対象が存在する方向へ所定の音を出力する音出力部34を備える。
図9に示すように、音出力部34は、例えば、指向性スピーカであり、検出された人物が存在する方向に対して指向性を有する所定の音を出力する。また、人物3は検出されていないため、人物3に対しては所定の音は出力されない。また、音出力部34から出力される音は指向性を有しているため、人物2だけに聞こえ、人物3には聞こえない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
図10は、本実施の形態1の第4の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態1の第4の変形例では、レーザ照射部32は、認識対象が存在する位置の地面に向けて所定の形状の光を照射するとともに、認識対象が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に光を照射する。
図10に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aのレーザ照射部32は、人物2が存在する位置の地面に向けて所定の形状のレーザ光212を照射するとともに、人物2が存在する位置の地面と自動運転車両1aが存在する位置の地面とを結ぶ直線上にレーザ光213を照射する。図10では、円形状のレーザ光212が照射されている。また、人物3は自動運転車両1aによって検出されていないため、人物3が存在する位置の地面と自動運転車両1aが存在する位置の地面とを結ぶ直線上にレーザ光213は照射されない。
また、自動運転車両1bによって人物3が検出された場合、自動運転車両1bのレーザ照射部32は、人物3が存在する位置の地面に向けて所定の形状のレーザ光212を照射するとともに、人物3が存在する位置の地面と自動運転車両1bが存在する位置の地面とを結ぶ直線上にレーザ光213を照射する。図10では、円形状のレーザ光212が照射されている。また、人物2は自動運転車両1bによって検出されていないため、人物2が存在する位置の地面と自動運転車両1bが存在する位置の地面とを結ぶ直線上にレーザ光213は照射されない。
したがって、人物が存在する位置の地面に向けて所定の形状の光が照射されるとともに、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に光が照射されるので、人物の近傍に複数の自動運転車両が存在する場合に、人物は、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。
なお、レーザ照射部32は、人物が検出された場合に、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に常にレーザ光213を照射してもよいが、他の自動運転車両が近傍に存在する場合にのみ、レーザ光213を照射してもよい。この場合、自動運転車両は、自身が存在することを示す情報(例えば、識別情報)を所定の範囲内でブロードキャストするとともに、所定の範囲内に存在する他の自動運転車両によって送信された情報(例えば、識別情報)を受信する通信部をさらに備えてもよい。そして、レーザ照射部32は、他の自動運転車両によって送信された情報が受信された場合、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上にレーザ光213を照射してもよい。
このように、複数の自動運転車両が所定の範囲内に存在する場合にのみ、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上にレーザ光213が照射されるので、消費電力を削減することができる。
図11は、本実施の形態1の第5の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態1の第5の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、認識対象が存在する方向へ所定の音を出力する音出力部34を備える。音出力部34は、例えば、指向性スピーカであり、検出された人物が存在する方向に対して指向性を有する所定の音を出力する。
また、認識結果提示装置は、通信部をさらに備える。通信部は、自身を識別する識別情報及び自身が出力する音の種類を示す音情報を所定の範囲内でブロードキャストするとともに、所定の範囲内に存在する他の自動運転車両によって送信された識別情報及び音情報を受信する。音出力部34は、複数種類の音を出力することが可能である。通信部によって他の自動運転車両から識別情報及び音情報を受信した場合、音出力部34は、自身が出力する現在の音の種類が、受信した音情報で示される他の自動運転車両の音の種類と同じであるか否かを判断する。音出力部34は、自身の音の種類が、他の自動運転車両の音の種類と同じであると判断した場合、現在の音の種類を他の音の種類に変更する。
図11に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aの音出力部34は、人物2が存在する方向に向けて第1の音を出力する。音出力部34は、第1の音を出力するように初期設定されている。また、人物3は自動運転車両1aによって検出されていないため、人物3が存在する方向に第1の音は出力されない。自動運転車両1aの通信部は、自動運転車両1aを識別する識別情報及び自動運転車両1aが出力する音の種類(第1の音)を示す音情報を所定の範囲内でブロードキャストする。
自動運転車両1bの通信部は、所定の範囲内に存在する自動運転車両1aによって送信された識別情報及び音情報を受信する。音出力部34は、自動運転車両1bが出力する現在の音の種類(第1の音)が、受信した音情報で示される自動運転車両1aの音の種類(第1の音)と同じであるか否かを判断する。音出力部34は、自動運転車両1bの音の種類が、自動運転車両1aの音の種類と同じであると判断した場合、音の種類(第1の音)を他の音の種類(第2の音)に変更する。
そして、自動運転車両1bによって人物2が検出された場合、自動運転車両1bの音出力部34は、人物2が存在する方向に向けて、第1の音とは異なる第2の音を出力する。また、人物3は自動運転車両1bによって検出されていないため、人物3が存在する方向に第2の音は出力されない。その後、自動運転車両1bの通信部は、自動運転車両1bを識別する識別情報及び自動運転車両1bが出力する音の種類(第2の音)を示す音情報を所定の範囲内でブロードキャストする。
このように、複数の自動運転車両が所定の範囲内に存在する場合、複数の自動運転車両はそれぞれ異なる音を出力するで、人物は、人物の近傍に複数の自動運転車両が存在する場合に、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。
なお、本実施の形態1において、人間の顔を模した顔デバイスを自動運転車両の表面に配置し、人物検出部12によって検出された人物(認識対象)に対して顔デバイスの視線を向けてウインクすることにより、自動運転車両が人物(認識対象)を認識していることを示す認識結果を提示してもよい。
また、本実施の形態1における認識対象は人物であるが、本開示は特にこれに限定されず、認識対象は、自転車及び自動車などの他の車両、犬及び猫などの動物、並びにベビーカーであってもよい。また、移動する認識対象が検出されてもよい。
また、本実施の形態1では、センサ115はカメラ31を含み、人物検出部12は、カメラ31によって撮影された画像から人物を検出しているが、本開示は特にこれに限定されず、センサ115は、特定の方向に存在する物体の有無を検出する障害物センサを含んでもよい。この場合、人物検出部12は、障害物センサによって物体が検出された場合、人物を検出したと判断してもよい。レーザ照射部32は障害物センサの近傍に配置することが好ましい。また、センサ115は、水平方向にライン状に配置した複数の距離センサを含んでもよい。この場合、人物検出部12は、複数の距離センサのうちの少なくとも1つの距離センサによって物体が検出された場合、人物を検出したと判断し、物体が存在する方向と物体までの距離とを特定してもよい。さらに、センサ115は、自動運転車両1の周囲の空間の3次元形状を測定する3次元測定装置を含んでもよい。この場合、人物検出部12は、3次元測定装置によって人物が検出された場合、人物が存在する方向及び人物までの距離を特定してもよい。
また、実施の形態1において、提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含んでもよい。すなわち、レーザ照射部32による認識結果の提示、表示部33による認識結果の提示及び音出力部34による認識結果の提示のいずれか2つ又は全てを組み合わせてもよい。
(実施の形態2)
図12は、本実施の形態2における認識結果提示装置の構成を示す図である。図12に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、属性判定部14、提示方法決定部15、提示部114及び座標変換マップデータ格納部221を備える。
実施の形態2における自動運転車両の構成は、自動運転プログラム121が属性判定部14及び提示方法決定部15をさらに備えること以外は、図1に示す自動運転車両の構成と同じである。図12に示す認識結果提示装置において図1及び図2と同じ構成については同じ符号を付し、説明を省略する。
属性判定部14は、人物検出部12によって検出された人物の属性を判定する。ここで、属性とは、例えば、子供又は高齢者である。属性判定部14は、人物検出部12によって検出された人物の特徴から人物の属性を判定する。例えば、属性判定部14は、人物検出部12によって検出された人物の身長を撮影画像から推定し、推定した身長が所定の身長以下である場合、人物の属性が子供であると判定する。また、例えば、属性判定部14は、人物検出部12によって検出された人物の画像と、腰が曲がっているなどの高齢者の特徴を表す画像とを比較し、検出された人物の画像が高齢者の特徴を表す画像と一致する場合、人物の属性が高齢者であると判定する。
提示方法決定部15は、属性判定部14によって判定された属性に応じて提示方法を決定する。例えば、提示方法決定部15は、属性判定部14によって判定された人物の属性が子供である場合、文字を使用せずに標識を使用した提示方法に決定する。また、例えば、提示方法決定部15は、属性判定部14によって判定された人物の属性が高齢者である場合、レーザ光をより明るくする提示方法、又は出力する音をより大きくする提示方法に決定する。
提示部114は、提示方法決定部15によって決定された提示方法に従って認識結果を提示する。提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含む。
例えば、提示方法決定部15によって文字を使用せずに標識を使用した提示方法に決定された場合、表示部33は、人物検出部12によって検出された人物(認識対象)を識別可能な態様で表した画像を表示するとともに、当該画像に文字ではなく標識を重畳して表示する。検出された人物が子供でなければ、表示部33は、例えば撮像画像に「注意」という文字を重畳して表示するが、検出された人物が子供であれば、表示部33は、例えば撮像画像に「注意」を促す標識を重畳して表示する。これにより、文字が読めない子供に対しても、文字の意味を伝えることができる。
また、例えば、提示方法決定部15によってレーザ光をより明るくする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された人物(認識対象)に向けて、輝度をより高くしたレーザ光を照射する。
また、例えば、提示方法決定部15によって出力する音をより大きくする提示方法に決定された場合、音出力部34は、人物検出部12によって検出された人物(認識対象)に向けて、音量をより大きくした音を出力する。
(実施の形態3)
図13は、本実施の形態3における認識結果提示装置の構成を示す図である。図13に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、危険度判定部16、提示方法決定部17、提示部114及び座標変換マップデータ格納部221を備える。
実施の形態3における自動運転車両の構成は、自動運転プログラム121が危険度判定部16及び提示方法決定部17をさらに備えること以外は、図1に示す自動運転車両の構成と同じである。図13に示す認識結果提示装置において図1及び図2と同じ構成については同じ符号を付し、説明を省略する。
危険度判定部16は、人物検出部12によって検出された人物(認識対象)の危険度を判定する。危険度は、第1の危険度と、第1の危険度より低い第2の危険度とを含む。例えば、危険度判定部16は、自動運転車両1から人物までの距離を撮影画像から推定し、推定した距離が所定の距離以下である場合、危険度が高い第1の危険度であると判定し、推定した距離が所定の距離より長い場合、危険度が低い第2の危険度であると判定する。
提示方法決定部17は、危険度判定部16によって判定された危険度に応じて提示方法を決定する。提示方法決定部17は、危険度判定部16によって第1の危険度であると判定された場合のレーザ光の色と、危険度判定部16によって第2の危険度であると判定された場合のレーザ光の色とを異ならせる。例えば、提示方法決定部17は、第1の危険度であると判定された場合、レーザ光を赤色にする提示方法に決定し、第2の危険度であると判定された場合、レーザ光を青色にする提示方法に決定する。
提示部114は、提示方法決定部17によって決定された提示方法に従って認識結果を提示する。提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含む。
例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)に向けて、赤色のレーザ光を照射する。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)に向けて、青色のレーザ光を照射する。これにより、認識対象は、照射された光の色によって危険度がどの程度であるかを認識することができる。
また、例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)が存在する位置の地面に向けて、赤色の所定の形状のレーザ光を照射してもよい。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)が存在する位置の地面に向けて、青色の所定の形状のレーザ光を照射してもよい。
また、例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)が存在する位置の地面に向けて、赤色の所定の形状のレーザ光を照射するとともに、人物(認識対象)が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に赤色のレーザ光を照射してもよい。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)が存在する位置の地面に向けて、青色の所定の形状のレーザ光を照射するとともに、人物(認識対象)が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に青色のレーザ光を照射してもよい。
また、提示方法決定部17は、危険度判定部16によって第1の危険度であると判定された場合の音と、危険度判定部16によって第2の危険度であると判定された場合の音とを異ならせてもよい。例えば、提示方法決定部17は、第1の危険度であると判定された場合、第1の音を出力する提示方法に決定し、第2の危険度であると判定された場合、第1の音とは異なる第2の音を出力する提示方法に決定する。そして、第1の音を出力する提示方法に決定された場合、音出力部34は、人物検出部12によって検出された第1の危険度の人物(認識対象)に向けて、第1の音を出力してもよい。また、第2の音を出力する提示方法に決定された場合、音出力部34は、人物検出部12によって検出された第2の危険度の人物(認識対象)に向けて、第2の音を出力してもよい。
また、例えば、提示方法決定部17は、第1の危険度であると判定された場合、検出した人物の周囲に付与する矩形状の枠の色を赤色にする提示方法に決定し、第2の危険度であると判定された場合、検出した人物の周囲に付与する矩形状の枠の色を青色にする提示方法に決定する。そして、検出した人物の周囲に付与する矩形状の枠の色を赤色にする提示方法に決定された場合、表示部33は、人物検出部12によって検出された第1の危険度の人物(認識対象)の周囲に赤色の矩形状の枠を付与した画像を表示してもよい。また、検出した人物の周囲に付与する矩形状の枠の色を青色にする提示方法に決定された場合、表示部33は、人物検出部12によって検出された第2の危険度の人物(認識対象)の周囲に青色の矩形状の枠を付与した画像を表示してもよい。
また、人物検出部12によって複数の人物(認識対象)が検出された場合、危険度判定部16は、人物検出部12によって検出された複数の人物(認識対象)のそれぞれの危険度を判定してもよい。そして、提示部114は、複数の人物(認識対象)のうちの危険度が最も高い人物(認識対象)から順番に認識結果を提示してもよい。例えば、人物検出部12によって複数の人物が検出された場合、危険度判定部16は、自動運転車両1から複数の人物のそれぞれまでの距離を撮影画像から推定し、推定した距離が最も近い(短い)人物から順番に危険度が高いと判定する。そして、提示部114は、複数の人物のうちの危険度が最も高い人物に対して優先的に認識結果を提示する。
例えば、レーザ照射部32が1度に照射可能なレーザ光の数が限られている場合、レーザ照射部32は、複数の人物のうちの危険度が最も高い人物に対して優先的にレーザ光を照射する。
図14は、本実施の形態3において、危険度が高い認識対象に対して優先的に光を照射する処理について説明するための図である。図14では、人物2,3が、自動運転車両1の人物検出部12によって検出されている。人物2は人物3よりも自動運転車両1の近くにいるため、人物2の危険度は人物3の危険度よりも高いと判定される。レーザ照射部32が1度に1つのレーザ光を出射可能である場合、レーザ照射部32は、複数の人物2,3のうちの危険度が最も高い人物3に対してのみレーザ光を照射する。
また、レーザ照射部32が1度に2つのレーザ光を出射可能である場合、レーザ照射部32は、複数の人物2,3のうちの危険度が最も高い人物2と危険度が2番目に高い人物3とに対してレーザ光を照射してもよい。このとき、2つのレーザ光は互いに異なる色であることが好ましい。
また、例えば、音出力部34が1度に出力可能な音の数が限られている場合、音出力部34は、複数の人物のうちの危険度が最も高い人物に対して優先的に音を出力する。
図15は、本実施の形態3において、危険度が高い認識対象に対して優先的に音を出力する処理について説明するための図である。図15では、人物2,3が、自動運転車両1a及び自動運転車両1bの各人物検出部12によって検出されている。人物2は人物3よりも自動運転車両1a及び自動運転車両1bの近くにいるため、人物2の危険度は人物3の危険度よりも高いと判定される。音出力部34が1度に1つの音を出力可能である場合、音出力部34は、複数の人物2,3のうちの危険度が最も高い人物2に対してのみ音を出力する。
また、音出力部34が1度に2つの音を出力可能である場合、音出力部34は、複数の人物2,3のうちの危険度が最も高い人物2と危険度が2番目に高い人物3とに対して音を出力する。このとき、2つの音は互いに異なる音であることが好ましい。
なお、本実施の形態3では、危険度判定部16は、人物と自動運転車両との間の距離に応じて危険度を判定しているが、本開示は特にこれに限定されず、人物の移動方向を検出し、検出した移動方向が自動運転車両の進行方向に向かっている場合、危険度が高いと判定してもよい。人物の移動方向は、現在の撮影画像と過去の撮影画像とを比較することによって検出することが可能である。また、自動運転車両の進行方向は、現在の自動運転車両の位置と過去の自動運転車両の位置とを比較することによって検出することが可能である。
なお、実施の形態1〜3において、自動運転車両の検出部が、自動運転車両から所定の範囲内を運転者が運転する手動運転車両を検出し、提示部は、手動運転車両に対して、自動運転車両が手動運転車両を認識していることを示す認識結果を提示してもよい。
また、実施の形態1〜3において、認識結果提示装置の構成要素の一部を、認識結果提示装置とネットワークを介して通信可能なサーバが備えてもよい。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(Large Scale Integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、若しくはULSI(Ultra Large Scale Integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるReconfigurable Logic Deviceも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(Processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(Processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(Processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
本開示に係る認識結果提示装置、認識結果提示方法及び自律移動体は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置、認識結果提示方法及び自律移動体として有用である。
1,1a,1b 自動運転車両
2,3 人物
11 レーン検出部
12 人物検出部
13 座標変換部
14 属性判定部
15 提示方法決定部
16 危険度判定部
17 提示方法決定部
21 地図データ
22 座標変換マップデータ
31 カメラ
32 レーザ照射部
33 表示部
34 音出力部
101 自動運転システム
102 指示器
103 車両制御プロセッサ
104 ブレーキ制御システム
105 アクセル制御システム
106 ステアリング制御システム
107 車両ナビゲーションシステム
108 GPS
111 プロセッサ
112 メモリ
113 ユーザ入力部
114 提示部
115 センサ
121 自動運転プログラム
122 データ
221 座標変換マップデータ格納部

Claims (15)

  1. 自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置であって、
    前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、
    前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、
    を備える認識結果提示装置。
  2. 前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含む、
    請求項1記載の認識結果提示装置。
  3. 前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射する、
    請求項2記載の認識結果提示装置。
  4. 前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射するとともに、前記認識対象が存在する位置の地面と前記自律移動体が存在する位置の地面とを結ぶ直線上に光を照射する、
    請求項3記載の認識結果提示装置。
  5. 前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含む、
    請求項1記載の認識結果提示装置。
  6. 前記自律移動体の周囲の画像を撮影する撮影部をさらに備え、
    前記検出部は、前記画像内における前記認識対象を検出し、
    前記提示部は、前記自律移動体の表面に配置され、前記検出部によって検出された前記認識対象を識別可能な態様で表した前記画像を表示する表示部を含む、
    請求項1記載の認識結果提示装置。
  7. 前記表示部は、前記画像の左右を反転させて表示する、
    請求項6記載の認識結果提示装置。
  8. 前記認識対象は人物であり、
    前記検出部によって検出された前記人物の属性を判定する属性判定部と、
    前記属性判定部によって判定された前記属性に応じて提示方法を決定する提示方法決定部と、
    をさらに備え、
    前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示する、
    請求項1記載の認識結果提示装置。
  9. 前記検出部によって検出された前記認識対象の危険度を判定する危険度判定部と、
    前記危険度判定部によって判定された前記危険度に応じて提示方法を決定する提示方法決定部と、
    をさらに備え、
    前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示する、
    請求項1記載の認識結果提示装置。
  10. 前記危険度は、第1の危険度と、前記第1の危険度より低い第2の危険度とを含み、
    前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の提示方法と、前記危険度判定部によって前記第2の危険度であると判定された場合の提示方法とを異ならせる、
    請求項9記載の認識結果提示装置。
  11. 前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含み、
    前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記光の色と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記光の色とを異ならせる、
    請求項10記載の認識結果提示装置。
  12. 前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含み、
    前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記音と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記音とを異ならせる、
    請求項10記載の認識結果提示装置。
  13. 前記認識対象は、複数の認識対象を含み、
    前記検出部は、前記複数の認識対象を検出し、
    前記危険度判定部は、前記検出部によって検出された前記複数の認識対象のそれぞれの前記危険度を判定し、
    前記提示部は、前記複数の認識対象のうちの前記危険度が最も高い認識対象から順番に前記認識結果を提示する、
    請求項9記載の認識結果提示装置。
  14. 請求項1〜13のいずれか1項に記載の認識結果提示装置と、
    前記認識結果提示装置による前記認識結果に基づいて、自律移動体の移動を制御する制御部と、
    を備える自律移動体。
  15. 自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置における認識結果提示方法であって、
    前記自律移動体の周囲に存在する前記認識対象を検出し、
    検出した前記認識対象に対して、前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する、
    認識結果提示方法。
JP2016210328A 2016-03-10 2016-10-27 認識結果提示装置、認識結果提示方法及び自律移動体 Active JP6933457B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710061084.3A CN107176161B (zh) 2016-03-10 2017-01-25 识别结果提示装置、识别结果提示方法以及自主移动体
US15/437,874 US10248873B2 (en) 2016-03-10 2017-02-21 Apparatus for presenting result of recognizing recognition target
EP17157357.9A EP3216653B1 (en) 2016-03-10 2017-02-22 Apparatus for presenting result of recognizing recognition target
US16/256,118 US10528827B2 (en) 2016-03-10 2019-01-24 Apparatus for presenting result of recognizing recognition target

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662306181P 2016-03-10 2016-03-10
US62/306,181 2016-03-10

Publications (2)

Publication Number Publication Date
JP2017159881A true JP2017159881A (ja) 2017-09-14
JP6933457B2 JP6933457B2 (ja) 2021-09-08

Family

ID=59854618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016210328A Active JP6933457B2 (ja) 2016-03-10 2016-10-27 認識結果提示装置、認識結果提示方法及び自律移動体

Country Status (1)

Country Link
JP (1) JP6933457B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139468A (ja) * 2018-02-09 2019-08-22 株式会社ビコー 情報処理装置、情報処理方法およびプログラム
JP2019139733A (ja) * 2018-08-24 2019-08-22 株式会社ビコー 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP2019177806A (ja) * 2018-03-30 2019-10-17 三菱自動車工業株式会社 警報装置
WO2019225117A1 (ja) * 2018-05-22 2019-11-28 ヤマハ発動機株式会社 オフロードビークル及びマリンビークル
WO2020059729A1 (ja) * 2018-09-20 2020-03-26 株式会社小糸製作所 コミュニケーションランプ装置
WO2020067337A1 (ja) * 2018-09-28 2020-04-02 株式会社小糸製作所 車両用照明灯
CN111186373A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 报告装置
WO2020116121A1 (ja) * 2018-12-04 2020-06-11 株式会社小糸製作所 車両用コミュニケーションシステム
WO2020189636A1 (en) * 2019-03-20 2020-09-24 Ricoh Company, Ltd. Information providing system, moving body, information providing method, and information providing program
JPWO2019082980A1 (ja) * 2017-10-26 2020-11-12 株式会社小糸製作所 車両用前照灯システム、車両用ランプシステム
JPWO2020115517A1 (ja) * 2018-12-03 2021-12-23 日産自動車株式会社 駐車時の車両走行制御方法及び車両走行制御装置
WO2022270413A1 (ja) * 2021-06-21 2022-12-29 株式会社小糸製作所 配光制御装置、車両用灯具システムおよび配光制御方法
KR20230020607A (ko) * 2021-08-03 2023-02-13 (주)에이텍티앤 자율주행차량의 운행정보 표시장치
WO2023090426A1 (ja) * 2021-11-22 2023-05-25 株式会社小糸製作所 対人用ランプおよび車両用ランプ
JP7335760B2 (ja) 2019-09-17 2023-08-30 株式会社Subaru 自動運転車両における報知装置および報知方法
JP7373605B1 (ja) 2022-04-28 2023-11-02 楽天グループ株式会社 物流管理サーバ、情報処理方法、プログラム及び情報処理システム
JP7405542B2 (ja) 2019-09-17 2023-12-26 株式会社Subaru 自動運転車両における報知装置および報知方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2012040950A (ja) * 2010-08-19 2012-03-01 Koito Mfg Co Ltd 車両用照明システム
JP2014046838A (ja) * 2012-08-31 2014-03-17 Denso Corp 対歩行者報知装置
JP2015186944A (ja) * 2014-03-26 2015-10-29 株式会社日本総合研究所 車両状態を報知する自動走行移動体及び車両状態報知方法
US20150336502A1 (en) * 2014-05-22 2015-11-26 Applied Minds, Llc Communication between autonomous vehicle and external observers
JP2016031660A (ja) * 2014-07-29 2016-03-07 クラリオン株式会社 車両制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2012040950A (ja) * 2010-08-19 2012-03-01 Koito Mfg Co Ltd 車両用照明システム
JP2014046838A (ja) * 2012-08-31 2014-03-17 Denso Corp 対歩行者報知装置
JP2015186944A (ja) * 2014-03-26 2015-10-29 株式会社日本総合研究所 車両状態を報知する自動走行移動体及び車両状態報知方法
US20150336502A1 (en) * 2014-05-22 2015-11-26 Applied Minds, Llc Communication between autonomous vehicle and external observers
JP2016031660A (ja) * 2014-07-29 2016-03-07 クラリオン株式会社 車両制御装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019082980A1 (ja) * 2017-10-26 2020-11-12 株式会社小糸製作所 車両用前照灯システム、車両用ランプシステム
JP2019139468A (ja) * 2018-02-09 2019-08-22 株式会社ビコー 情報処理装置、情報処理方法およびプログラム
JP2019177806A (ja) * 2018-03-30 2019-10-17 三菱自動車工業株式会社 警報装置
WO2019225117A1 (ja) * 2018-05-22 2019-11-28 ヤマハ発動機株式会社 オフロードビークル及びマリンビークル
JP2019139733A (ja) * 2018-08-24 2019-08-22 株式会社ビコー 情報処理システム、情報処理装置、情報処理方法およびプログラム
WO2020059729A1 (ja) * 2018-09-20 2020-03-26 株式会社小糸製作所 コミュニケーションランプ装置
US11465553B2 (en) 2018-09-28 2022-10-11 Koito Manufacturing Co., Ltd. Illuminating lamp for vehicle
WO2020067337A1 (ja) * 2018-09-28 2020-04-02 株式会社小糸製作所 車両用照明灯
CN111186373A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 报告装置
CN111186373B (zh) * 2018-11-14 2023-03-10 丰田自动车株式会社 报告装置
US11605289B2 (en) 2018-11-14 2023-03-14 Toyota Jidosha Kabushiki Kaisha Notification device
JP2020080114A (ja) * 2018-11-14 2020-05-28 トヨタ自動車株式会社 報知装置
JP7139902B2 (ja) 2018-11-14 2022-09-21 トヨタ自動車株式会社 報知装置
JPWO2020115517A1 (ja) * 2018-12-03 2021-12-23 日産自動車株式会社 駐車時の車両走行制御方法及び車両走行制御装置
JP7271571B2 (ja) 2018-12-03 2023-05-11 日産自動車株式会社 駐車時の車両走行制御方法及び車両走行制御装置
JP7320000B2 (ja) 2018-12-04 2023-08-02 株式会社小糸製作所 車両用コミュニケーションシステム
WO2020116121A1 (ja) * 2018-12-04 2020-06-11 株式会社小糸製作所 車両用コミュニケーションシステム
CN113165573A (zh) * 2018-12-04 2021-07-23 株式会社小糸制作所 车辆用通信系统
JPWO2020116121A1 (ja) * 2018-12-04 2021-10-21 株式会社小糸製作所 車両用コミュニケーションシステム
JP2020152246A (ja) * 2019-03-20 2020-09-24 株式会社リコー 情報提供システム、移動体、情報提供方法及び情報提供プログラム
WO2020189636A1 (en) * 2019-03-20 2020-09-24 Ricoh Company, Ltd. Information providing system, moving body, information providing method, and information providing program
JP7335760B2 (ja) 2019-09-17 2023-08-30 株式会社Subaru 自動運転車両における報知装置および報知方法
JP7405542B2 (ja) 2019-09-17 2023-12-26 株式会社Subaru 自動運転車両における報知装置および報知方法
WO2022270413A1 (ja) * 2021-06-21 2022-12-29 株式会社小糸製作所 配光制御装置、車両用灯具システムおよび配光制御方法
KR20230020607A (ko) * 2021-08-03 2023-02-13 (주)에이텍티앤 자율주행차량의 운행정보 표시장치
KR102634819B1 (ko) 2021-08-03 2024-02-13 (주)에이텍모빌리티 자율주행차량의 운행정보 표시장치
WO2023090426A1 (ja) * 2021-11-22 2023-05-25 株式会社小糸製作所 対人用ランプおよび車両用ランプ
JP7373605B1 (ja) 2022-04-28 2023-11-02 楽天グループ株式会社 物流管理サーバ、情報処理方法、プログラム及び情報処理システム

Also Published As

Publication number Publication date
JP6933457B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
CN107176161B (zh) 识别结果提示装置、识别结果提示方法以及自主移动体
JP6933457B2 (ja) 認識結果提示装置、認識結果提示方法及び自律移動体
JP6788477B2 (ja) 認識結果提示装置及び認識結果提示方法
US10474907B2 (en) Apparatus that presents result of recognition of recognition target
US10497264B2 (en) Methods and systems for providing warnings of obstacle objects
EP3324556A1 (en) Visual communication system for autonomous driving vehicles (adv)
US9469248B2 (en) System and method for providing situational awareness in a vehicle
CN107298021A (zh) 信息提示控制装置、自动驾驶车及其驾驶辅助系统
US10737702B2 (en) Visually simulating driving plans in autonomous vehicles
CN108883772A (zh) 驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助方法及程序
US9892329B2 (en) Animal type determination device
JP7079069B2 (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
JPWO2018092710A1 (ja) 通知装置、自動運転車両、通知方法、プログラム、非一時的記録媒体、および通知システム
JP2004259069A (ja) 車両危険度に応じた警報信号を出力する警報装置
JP2020046706A (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
EP3715162B1 (en) Device and method for displaying content
JP2004295472A (ja) 車両用警報装置
JPWO2020036108A1 (ja) 車両用表示システム及び車両
CN109823344B (zh) 驾驶提示方法与系统
US11801843B2 (en) Method, system, and computer program product for determining safety-critical traffic scenarios for driver assistance systems (DAS) and highly automated driving functions (HAD)
CN110930767B (zh) 一种智慧公路安全预警方法和预警系统
KR102425036B1 (ko) 차량 및 그 제어방법
US20230213352A1 (en) Method and apparatus for recognizing parking space
US20240132075A1 (en) Vehicle control device, storage medium storing computer program for controlling vehicle and method for controlling vehicle
JP2017194831A (ja) 移動体の自動運転制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150