JP2023059982A - 出力装置、出力方法及びプログラム - Google Patents

Abstract

【課題】地図データを収集する作業の効率を向上させることを１つの目的とする。【解決手段】本発明は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する取得部１１と、周辺情報に基づき、取得部１１による周辺情報の再取得が必要か否かを判断する判断部１２と、判断部１２により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する出力部１３と、を備えることを特徴とする出力装置１０を提供する。【選択図】図２

Description

本発明は、出力装置、出力方法及びプログラムに関する。

特許文献１に、異なる位置に配置される複数の撮像部で撮像された画像を取得する画像取得部と、複数の画像間で共通する部位についての視差情報を生成する視差情報生成部と、複数の撮像素子のうち一部の撮像素子では撮影されかつ他の撮像素子では物体に隠れて撮影不能となる背景のオクルージョン領域を検出するオクルージョン領域検出部とを備える撮像装置が開示されている。

特開２０１７－１７５４８３号公報

地図データ生成等のために、移動体（例：自動車）にセンサ（例：カメラ、ＬＩＤＡＲ、レーダ等）を配置し、移動しながらセンサで周辺情報を取得する作業（地図データを収集する作業）がなされている。当該作業においては、オクルージョン領域の発生等の理由でデータの再取得が必要となり、それにより作業効率が悪くなるという問題がある。本発明は、地図データを収集する作業の効率を向上させることを１つの目的とする。

本開示に係る第１の発明は、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得部と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得部による前記周辺情報の再取得が必要と判断する判断部と、
前記判断部により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力部と、
を備えることを特徴とする出力装置である。

本開示に係る第２の発明は、
コンピュータが、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得工程と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得工程での前記周辺情報の再取得が必要と判断する判断工程と、
前記判断工程で前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力工程と、
を実行する出力方法である。

本開示に係る第３の発明は、
コンピュータを、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得手段、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得手段による前記周辺情報の再取得が必要と判断する判断手段、
前記判断手段により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力手段、
として機能させるプログラムである。

出力装置のハードウエア構成を例示する図である。 出力装置の機能ブロック図の一例である。 出力装置により生成される情報の一例を模式的に示す図である。 出力装置により出力される情報の一例を模式的に示す図である。 出力装置により出力される情報の一例を模式的に示す図である。 出力装置により出力される情報の一例を模式的に示す図である。 出力装置により出力される情報の一例を模式的に示す図である。 出力装置の処理の流れの一例を示すフローチャートである。 出力装置により出力される情報の一例を模式的に示す図である。 出力装置により出力される情報の一例を模式的に示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

まず、本実施形態の出力装置の概要を説明する。本実施形態の出力装置は、地図データを収集する作業、より具体的には、移動体（例：自動車）にセンサ（例：カメラ、ＬＩＤＡＲ、レーダ等）を配置し、移動しながらセンサで周辺情報を取得する作業に利用される。

出力装置は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。そして、出力装置は、取得した周辺情報に基づき、周辺情報の再取得が必要か否かを判断する。そして、出力装置は、周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。

移動体の移動を制御するための情報の出力は、移動体が自動運転機能を有する場合になされる。移動体の移動を制御するための情報は、例えば周辺情報の再取得が必要な位置を目的地又は通過点に設定し、移動体にその位置を通過させるための情報であってもよい。

このような本実施形態の出力装置によれば、地図データを収集する作業の作業員（以下、単に「作業員」という場合がある）は、出力装置から出力された情報に基づき、周辺情報の再取得が必要になったことを把握することができる。すなわち、作業員は、周辺情報を自分の目で確認などすることなく、周辺情報の再取得が必要になったことを把握できる。結果、地図データを収集する作業の効率が高まる。

また、移動体の移動を制御するための情報を出力できる本実施形態の出力装置によれば、作業員による「周辺情報の再取得が必要になったことやその位置の把握」や「周辺情報の再取得が必要な位置を通過させる指示入力」等の作業なしで、周辺情報の再取得が必要な位置に移動し、周辺情報を再取得することができる。結果、地図データを収集する作業の効率が高まる。

次に、本実施形態の出力装置の構成を詳細に説明する。出力装置は、移動体（例：自動車（自動運転機能を有してもよいし、有さなくてもよい））に当該される移動体搭載装置であってもよいし、スマートフォン、タブレット端末、携帯電話、ノートＰＣ（personal computer）等の可搬型装置であってもよい。出力装置は、移動体に搭載されたＥＣＵ（electronic control unit）と有線及び／又は無線で接続し、通信してもよい。ＥＣＵは、移動体に搭載された各種システムを制御する。

まず、出力装置のハードウエア構成の一例を説明する。出力装置が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、出力装置のハードウエア構成を例示するブロック図である。図１に示すように、出力装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、情報出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、出力装置の機能構成を説明する。図２に、本実施形態の出力装置１０の機能ブロック図の一例を示す。図示するように、出力装置１０は、取得部１１と、判断部１２と、出力部１３とを有する。

取得部１１は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。取得部１１は、移動体に配置された複数のセンサ各々から周辺情報を取得してもよい。

センサは、例えば、カメラ、ＬＩＤＡＲ、レーダ等が例示されるが、これらに限定されない。移動体には複数のセンサが配置されてもよいし、１つのセンサが配置されてもよい。複数のセンサが配置される場合、複数のセンサは同種のセンサであってよいし、互いに異なる種類のセンサであってもよい。

周辺情報は、例えばセンサにより生成された画像（距離画像を含む）である。周辺情報は、測定日時及び測定位置（例：緯度、経度等）などと対応付けられる。

判断部１２は、取得部１１により取得された周辺情報に基づき、取得部による周辺情報の再取得が必要か否かを判断する。

例えば、判断部１２は、周辺情報が予め定められた障害物を示している場合（画像に障害物が写っている場合）、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。障害物は、地図データに不要な対象物、より具体的にはその位置から移動する可能性が高いものであり、人、車、自転車、バス等が例示されるが、これらに限定されない。

判断部１２は、予め、障害物の外観の特徴を示す特徴量を保持しておいてもよい。そして、センサにより生成された画像内に当該特徴量を示す箇所があるか否かを検索することで、周辺情報が障害物を示しているか否かを判断してもよい。

その他、取得部１１が複数のセンサ各々から周辺情報を取得した場合、判断部１２は、一部のセンサで測定できたが、他のセンサで測定できなかったオクルージョン領域（一部のセンサで生成された画像には写っているが、他のセンサで生成された画像には写っていない領域）が存在する場合、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。また、取得部１１は、基準値以上の大きさ（画像内で占める面積）のオクルージョン領域が存在する場合、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。当該オクルージョン領域を検出する手段は特段制限されず、あらゆる技術を採用できる。

判断部１２による判断結果は、例えば、図３に示すように、再取得リストとしてまとめられる。図示する再取得リストは、通番と、再取得が必要と判断された周辺情報が取得された位置（例：緯度、経度等）と、再取得が必要と判断された周辺情報が取得された時刻と、周辺情報の再取得が必要と判断された理由とが互いに対応付けられている。理由では、周辺情報が示す障害物の種類が示されてもよいし、一部のセンサで測定できたが他のセンサで測定できなかったオクルージョン領域の存在が示されてもよい。

出力部１３は、判断部１２により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。

移動体の移動を制御するための情報の出力は、移動体が自動運転機能を有する場合になされる。移動体の移動を制御するための情報は、例えば周辺情報の再取得が必要な位置を通過させるための情報であり、周辺情報の再取得が必要な位置を目的地や通過地点として設定させる情報であってもよい。当該情報は、例えばＥＣＵに入力される。ＥＣＵは、設定された目的地や通過地点、及び、現在位置に基づき移動経路を探索する。そして、探索した移動経路通りに移動体を移動させる。

周辺情報の再取得が必要である旨を示す情報（以下、「再取得要求情報」という場合がある）は、ディスプレイ、スピーカ、投影装置等のあらゆる出力装置を介して出力される。

図４に、出力部１３により出力される再取得要求情報の一例を示す。図示する再取得要求情報は、再取得が必要と判断された周辺情報を取得した位置である再取得位置を示す。具体的には、地図上に、再取得位置をマッピングしている。「再」マークを付された位置が、再取得位置である。当該再取得要求情報によれば、再取得位置を直感的に把握できる。

図５に、出力部１３により出力される再取得要求情報の他の一例を示す。図示する再取得要求情報は、再取得位置に対応付けて、再取得が必要と判断された周辺情報が取得された時刻、及び、周辺情報の再取得が必要と判断された理由が示されている点で、図４に示す再取得要求情報と異なる。

図５に示す再取得要求情報によれば、再取得位置を直感的に把握できる。また、図５に示す再取得要求情報によれば、再取得位置毎に、再取得が必要と判断された周辺情報が取得された時刻、及び、再取得が必要と判断された理由を把握できる。作業員は、これらの情報に基づき、障害物が存在しなくなる時刻を予測し、その時刻以降にその再取得位置に到達するように移動することができる。結果、再取得位置に到達した際に再取得の原因がまだ残っており、再取得した周辺情報が再び再取得が必要と判断される不都合を軽減できる。

図６に、出力部１３により出力される再取得要求情報の他の一例を示す。図示する再取得要求情報は、文章で、再取得が必要と判断された周辺情報が取得された位置、時刻、及び、周辺情報の再取得が必要と判断された理由を示している。

このように、出力部１３は、地図上に再取得位置がマッピングされた画像情報を出力してもよい。

なお、出力部１３は、再取得が必要と判断された周辺情報が取得された時の移動体の走行位置（例：走行レーン）を出力してもよい。例えば、図４及び図５に示す再取得要求情報において一つの再取得位置を指定する入力を行うと、当該情報が表示されてもよい。

図７に、出力部１３により出力される移動体の走行位置を示す情報の一例を示す。図示する情報では、再取得が必要と判断された周辺情報が取得された時の移動方向や走行レーンが示されている。なお、当該情報は、移動体に搭載されたセンサにより収集、蓄積される。

当該情報によれば、作業員は、再取得が必要と判断された周辺情報が取得された時の移動体の走行位置を把握することができる。そして、再取得時には違う走行位置を走行することで、再取得した周辺情報が再び再取得が必要と判断される不都合を軽減できる。

次に、図８のフローチャートを用いて、出力装置１０の処理の流れの一例を説明する。

Ｓ１０では、取得部１１は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。

Ｓ１１では、判断部１２は、周辺情報を解析し、取得部１１による周辺情報の再取得が必要か否かを判断する。

Ｓ１２では、出力部１３は、判断部１２により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。

なお、取得部１１は、センサで生成された周辺情報を、リアルタイム処理で取得することが好ましい。取得部１１は、一定時間ごとにまとめて周辺情報を取得してもよいが（バッチ処理）、一定時間を比較的小さい値とすることで、リアルタイム処理に準じた処理とすることが好ましい。

そして、判断部１２は、リアルタイム処理で、取得部１１により取得された周辺情報を処理する、判断部１２は、一定時間ごとにまとめて周辺情報を処理してもよいが（バッチ処理）、一定時間を比較的小さい値とすることで、リアルタイム処理に準じた処理とすることが好ましい。

そして、出力部１３は、新たに判断部１２により再取得が必要と判断されると、それに応じて、図６に示すような情報を出力してもよい。また、図４及び図５に示すような情報を表示している場合には、新たに判断部１２により再取得が必要と判断されると、それに応じて、表示する情報を、当該地図上に新たな再取得位置をマッピングした情報に更新してもよい。

ここで、変形例を説明する。出力装置１０は、再取得された周辺情報に対しても、同様の処理を行ってもよい。すなわち、取得部１１は、再取得された周辺情報を取得し、判断部１２は、再取得された周辺情報に基づき、取得部１１による周辺情報の再取得が必要か否かを判断してもよい。

そして、この判断部１２による判断結果に基づき、図３に示す再取得リストが更新されてもよい。例えば、判断部１２は、再取得リストで示される位置と同じ位置で再取得された周辺情報に対して、再取得必要と判断しなかった場合、その位置に対応する情報（通番、位置、時刻、理由等）を再取得リストから削除してもよい。これにより、出力部１３から出力される情報（図４、５等）も更新される。

また、出力部１３は、再取得リストで示される位置と同じ位置で再取得された周辺情報に対して、再取得必要と判断しなかった場合、その旨を示す情報を出力してもよい。

例えば、図９に示すように、再取得された周辺情報に対して再取得必要と判断されなかった再取得位置に対応付けて、その旨を示す情報を表示してもよい。図示する例の場合、「解消」の文字を付された再取得位置が、再取得された周辺情報に対して再取得必要と判断されなかった再取得位置である。その他、図１０に示すように、文章でその旨を示してもよい。また、「解消」の文字に代えて、解消を示すアイコン等の図を表示してもよい。

他の変形例を説明する。ここまでは、出力装置１０が、移動体に当該される移動体搭載装置や、移動体に持ち込める可搬型装置であることを前提にしたが、出力装置１０は移動体に搭載されないサーバであってもよい。この場合、出力装置１０（サーバ）は、移動体に搭載されたシステム（移動体搭載システム）と通信可能に構成され、移動体搭載システムから移動体に配置されたセンサで収集された周辺情報を取得する。そして、出力装置１０（サーバ）は、このようにして取得した周辺情報に基づき、周辺情報の再取得が必要か否かを判断し、周辺情報の再取得が必要と判断された場合には、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を、移動体搭載システムや移動体に持ち込まれた可搬型装置に向けて送信する。当該変形例においても、同様の作用効果を実現できる。

以上説明した本実施形態の出力装置１０によれば、地図データを収集する作業の作業員は、出力装置１０から出力された情報に基づき、周辺情報の再取得が必要になったことを把握することができる。すなわち、作業員は、周辺情報を自分の目で確認などすることなく、周辺情報の再取得が必要になったことを把握できる。結果、地図データを収集する作業の効率が高まる。

また、移動体に搭載される装置、又は、移動体の中に持ち込める可搬型装置とすることができる本実施形態の出力装置１０によれば、周辺情報の再取得が必要になったこと示す情報を、移動体に乗車中の作業員に閲覧させることができる。この場合、作業員は、移動体に乗車中に、周辺情報の再取得が必要になったことを把握できる。そして、作業員は、その乗車の流れで、周辺情報の再取得が必要になった位置への移動及び周辺情報の再取得を行うことができる。結果、地図データを収集する作業の効率が高まる。

また、変形例で示すように、出力装置１０が移動体に搭載されないサーバである場合においても、出力装置１０は移動体搭載システムや移動体に持ち込まれた可搬型装置と通信し、上記同様に、周辺情報の再取得が必要になったこと示す情報を、移動体に乗車中の作業員に閲覧させることができる。結果、同様の作用効果が実現される。

また、移動体の移動を制御するための情報を出力できる本実施形態の出力装置１０によれば、作業員による「周辺情報の再取得が必要になったことやその位置の把握」や「周辺情報の再取得が必要な位置を通過させる指示入力」等の作業なしで、周辺情報の再取得が必要な位置に移動し、周辺情報を再取得することができる。結果、地図データを収集する作業の効率が高まる。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 出力装置
１１ 取得部
１２ 判断部
１３ 出力部

Claims (10)

1. 移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得部と、
   地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得部による前記周辺情報の再取得が必要と判断する判断部と、
   前記判断部により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力部と、
   を備えることを特徴とする出力装置。
2. 請求項１に記載の出力装置において、
   前記取得部は、前記移動体に配置された複数の前記センサ各々から前記周辺情報を取得し、
   前記判断部は、一部の前記センサで測定できたが、他の前記センサで測定できなかったオクルージョン領域が存在する場合、前記取得部による再取得が必要と判断する出力装置。
3. 請求項２に記載の出力装置において、
   前記判断部は、基準値以上の大きさの前記オクルージョン領域が存在する場合、前記取得部による再取得が必要と判断する出力装置。
4. 請求項１から３のいずれか１項に記載の出力装置において、
   前記出力部は、再取得が必要と判断された前記周辺情報を取得した位置である再取得位置を示す情報を出力する出力装置。
5. 請求項４に記載の出力装置において、
   前記出力部は、地図上に前記再取得位置がマッピングされた画像情報を出力する出力装置。
6. 請求項１から５のいずれか１項に記載の出力装置において、
   前記出力部は、再取得が必要と判断された前記周辺情報を取得した時の前記移動体の走行位置を出力する出力装置。
7. 請求項１から６のいずれか１項に記載の出力装置において、
   前記出力部は、再取得が必要と判断された前記周辺情報を取得した位置に対応付けて、再取得が必要と判断された前記周辺情報で示される前記不要な物体を示す情報を出力する出力装置。
8. 請求項１から７のいずれか１項に記載の出力装置において、
   前記移動体に搭載される出力装置。
9. コンピュータが、
   移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得工程と、
   地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得工程での前記周辺情報の再取得が必要と判断する判断工程と、
   前記判断工程で前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力工程と、
   を実行する出力方法。
10. コンピュータを、
    移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得手段、
    地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得手段による前記周辺情報の再取得が必要と判断する判断手段、
    前記判断手段により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力手段、
    として機能させるプログラム。

Images