JP2022015113A - 表示情報作成装置、表示システム、及び表示情報作成方法 - Google Patents

表示情報作成装置、表示システム、及び表示情報作成方法 Download PDF

Info

Publication number
JP2022015113A
JP2022015113A JP2020117755A JP2020117755A JP2022015113A JP 2022015113 A JP2022015113 A JP 2022015113A JP 2020117755 A JP2020117755 A JP 2020117755A JP 2020117755 A JP2020117755 A JP 2020117755A JP 2022015113 A JP2022015113 A JP 2022015113A
Authority
JP
Japan
Prior art keywords
display
unit
data
creation
display information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020117755A
Other languages
English (en)
Other versions
JP7461817B2 (ja
Inventor
匠 藤田
Takumi Fujita
裕介 木内
Yusuke Kiuchi
弘義 小島
Hiroyoshi Kojima
淳 藤田
Atsushi Fujita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2020117755A priority Critical patent/JP7461817B2/ja
Publication of JP2022015113A publication Critical patent/JP2022015113A/ja
Application granted granted Critical
Publication of JP7461817B2 publication Critical patent/JP7461817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】三次元地図データを画面に表示させる際の表示形式を容易に設定できる表示情報作成装置、表示システム、及び表示情報作成方法を提供する。【解決手段】表示情報作成装置は、移動体と所定領域に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得する点群データ取得部と、移動体の位置情報を取得する位置情報取得部と、位置情報に基づいて点群データを共通の座標系に変換して三次元地図データを作成して随時合成する地図データ作成部と、表示部の表示画面の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定可能な画面設定部と、表示設定に基づいて、三次元地図データの所定視点によって特定される地図を含む表示情報を作成する表示情報作成部と、を備える。【選択図】図2

Description

本開示は、表示情報作成装置、表示システム、及び表示情報作成方法に関する。
移動体において、周辺環境への干渉を避けるための周辺状況の認識手段として、設置物を含めた地形の三次元地図データを作成し、運転者又は監視者に提示する技術が知られている(例えば、特許文献1)。
特開2019-200351号公報
ところで、三次元の地図を表示画面に表示する場合、地図を表示させる際の視点、表示画面数及び視点の数、表示サイズ等が設定可能である。このような表示設定は、オペレータによる操作によって各々を任意の設定値に設定する必要がある。
本開示は、上記に鑑みてなされたものであって、三次元地図データを画面に表示させる際の表示形式を容易に設定できることができる表示情報作成装置、表示システム、及び表示情報作成方法を提供することを目的とする。
本開示の表示情報作成装置は、移動体と所定領域に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得する点群データ取得部と、前記移動体の位置情報を取得する位置情報取得部と、前記位置情報に基づいて前記点群データを共通の座標系に変換して三次元地図データを作成して随時合成する地図データ作成部と、表示部の表示画面の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定可能な画面設定部と、前記表示設定に基づいて、前記三次元地図データの所定視点によって特定される地図を含む表示情報を作成する表示情報作成部と、を備える。
また、本開示の表示システムは、前記表示情報作成装置と、前記所定領域を移動可能かつ前記表示情報作成装置と通信可能な前記移動体と、前記表示情報作成装置及び前記移動体への操作を入力可能な操作部と、前記表示情報を表示可能な表示部と、を含み、前記表示情報作成装置及び前記移動体と通信可能な基地局と、を備える。
また、本開示の表示情報作成方法は、移動体と所定領域に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得するステップと、前記移動体の位置情報を取得するステップと、前記位置情報に基づいて前記点群データを共通の座標系に変換して三次元地図データを作成して随時合成するステップと、表示部の表示画面の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定するステップと、前記表示設定に基づいて、前記三次元地図データの所定視点によって特定される地図を含む表示情報を作成するステップと、を含む。
本開示の表示情報作成装置、表示システム、及び表示情報作成方法によれば、三次元地図データを画面に表示させる際の表示形式を容易に設定することができる。
図1は、第1実施形態に係る表示システムの構成例を示す模式図である。 図2は、第1実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。 図3は、移動体による点群データの取得範囲を示す説明図である。 図4は、三次元地図データを表示する際の視点の位置及び方向の一例を示す模式図である。 図5は、表示画面の一例を示す模式図である。 図6は、第1実施形態に係る表示システムの処理の一例を示すフローチャートである。 図7は、第2実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。 図8は、第2実施形態に係る表示システムの処理の一例を示すフローチャートである。 図9は、第3実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。 図10は、第3実施形態に係る表示システムの処理の一例を示すフローチャートである。 図11は、第4実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。 図12は、第4実施形態に係る表示システムの処理の一例を示すフローチャートである。 図13は、第5実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。 図14は、第5実施形態に係る表示システムの処理の一例を示すフローチャートである。
以下に、本開示に係る表示情報作成装置、表示システム、及び表示情報作成方法について、実施形態を図面に基づいて詳細に説明する。なお、本開示は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、実質的に同一のもの、あるいは均等の範囲のものが含まれる。さらに、以下に記載した構成要素は、本開示の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本開示に係る表示情報作成装置、表示システム、及び表示情報作成方法の実施形態を例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。なお、以下の実施形態の説明において、同一構成には同一符号を付し、異なる構成には異なる符号を付すものとする。
本発明において、表示システムは、地上、空中、水上及び水中を移動する移動体の周辺環境に関し、地表面、水底面、建造物及び障害物等の種々の地物を含む地形の三次元地図データを含む表示情報を表示するシステムである。移動体は、例えば、自動車等の車両、航空機、船舶、潜水艇、又は有人作業ロボット等の運転員を要する移動体と、先進安全自動車(Advanced Safety Vehicle)、無人搬送車(AGV:Automated Guided Vehicle)、無人航空機(UAV:Unmanned Aerial Vehicle)、無人潜水機(AUV:Autonomous Underwater Vehicle)、又は無人作業ロボット等の自律型又は遠隔操作型の移動体と、を含む。以下に記載した各実施形態においては、地上を走行する自動車等の車両である移動体の周辺環境に関し、遠隔地のオペレータに三次元地図データを含む表示情報を表示する表示システムについて説明する。
(第1実施形態)
まず、第1実施形態の表示システム1の構成について説明する。図1は、第1実施形態に係る表示システム1の構成例を示す模式図である。表示システム1は、所定領域2と、基地局3と、通信ネットワーク4と、を含む。
所定領域2は、三次元地図データを含む表示情報の作成対象となる現場である。所定領域2は、地表面、建造物、障害物等の種々の地物(例えば、図3及び図4の地物X1、X2、Y1、Y2)を含む環境下にある。
所定領域2には、当該環境下で移動可能な移動体10が配備される。移動体10は、第1実施形態において、車両である。移動体10は、筐体12と、移動機構14と、通信部16と、制御部18と、測定装置20と、を含む。
移動機構14は、第1実施形態において、筐体12の底面に設けられた車輪を含む。移動機構14は、クローラを含んでもよい。移動機構14は、筐体12の内部に収容された駆動機構から伝達される動力によって車輪が駆動されることで、移動体10の所定領域2を含む地上での移動を実現する。
通信部16は、通信ネットワーク4を介して、所定領域2から離れた基地局3との間で各種情報を送受信可能である。通信部16は、通信ネットワーク4を介して基地局3から受信した各種の制御信号を、制御部18に出力する。通信部16は、測定装置20が取得した各種情報を、通信ネットワーク4を介して基地局3へ送信する。
制御部18は、移動体10の各構成要素をそれぞれ制御して、所定領域2における各種動作を移動体10に実行させる。制御部18は、通信部16及び測定装置20を制御する。制御部18は、各種の制御プログラム及び各種の制御処理に用いられるデータを記憶する記憶装置と、予め定められる制御プログラムを実行する演算処理装置と、を含む。
測定装置20は、所定領域2における移動体10及び移動体10の周辺環境に関し、三次元地図データの作成に必要な各種情報を測定する。測定装置20は、例えば、SLAM(Simultaneous Localization and Mapping)技術を利用する。測定装置20は、制御部18の制御信号に基づいて、各種の測定を実行する。測定装置20は、測定した各種情報の通信信号を通信部16へ出力する。測定装置20は、第1実施形態において、レーザ測量センサ22と、色データ取得センサ24と、自己位置推定センサ26と、撮像カメラ28と、を含む。
レーザ測量センサ22は、例えば、三次元レーザスキャナを含む。レーザ測量センサ22は、所定領域2における移動体10の周辺環境に存在する地物をレーザ光で走査して、地物の表面を構成する各点について距離測定を行う。レーザ測量センサ22は、所定領域2に存在する地物の表面を多数の点集合である点群として認識して、レーザ測量センサ22が位置する測定点から各点までの距離情報を含む点群データを取得する。
色データ取得センサ24は、所定領域2における移動体10の周辺環境に存在する地物が有する色データを取得する。色データ取得センサ24は、地物からの反射光を取得することにより、地物が有する色データを二次元情報として取得する。したがって、第1実施形態においては、所定領域2に存在する地物は、移動体10、所定領域2内又は所定領域2近傍に設けられた照明装置、又は日光等によって、少なくとも色データ取得センサ24が有効な色データを取得できる程度の輝度を有するものとする。有効な色データとは、対応する点群データに付与されて、後述の基地局3の表示部34に表示された際に、オペレータが良好に認識可能に設定された閾値以上の色情報を含む色データを意味する。
色データ取得センサ24は、色データを取得可能なカメラを含む。色データ取得センサ24は、例えば、単眼カメラ等の一般的なカメラ、又は同時に対象物までの距離データを取得可能な深度カメラ又はステレオカメラを含む。なお、第1実施形態では、レーザ測量センサ22によって距離データを取得するため、よりシンプルな一般的なカメラを採用することで構成の簡略化及び低コスト化を図ることができる。
自己位置推定センサ26は、所定領域2における移動体10の自己位置を推定し、推定結果を位置情報として取得する。自己位置推定センサ26による移動体10の位置情報の取得方法は、公知の各種方法を含んでよい。
例えば、移動体10がGPS(Global Positioning System)信号を受信可能な環境にある場合、自己位置推定センサ26は、GPSによる測位情報に基づいて、移動体10の自己位置の推定を行ってもよい。また、例えば、移動体10がGPS信号を受信困難な環境にある場合、自己位置推定センサ26は、移動体10の駆動機構における車輪の回転速度又は操舵角等に基づいて、移動体10の自己位置の推定を行ってもよい。より詳しくは、自己位置推定センサ26は、所定領域2における初期位置からの相対変位を幾何学的に求めるオドメトリ、レーザ測量センサ22で取得された点群データを時系列で位置合わせすることにより移動量を逆推定するスキャンマッチング等を用いて、移動体10の自己位置の推定を行ってもよい。なお、本発明において移動体が水中を移動する場合、自己位置推定センサ26は、例えば、慣性航法装置(INS:Inertial Navigation System)を含んでもよい。
なお、第1実施形態において、測定装置20のレーザ測量センサ22、色データ取得センサ24及び自己位置推定センサ26は、所定領域2の広さに対して十分に狭い間隔で配置されているものとする。したがって、以下の説明では、レーザ測量センサ22、色データ取得センサ24及び自己位置推定センサ26は、共通の測定点を有するとみなす。
撮像カメラ28は、所定領域2における移動体10の周辺環境の任意の範囲を撮影することにより、撮像カメラ28の位置を視点とする映像データを取得する。撮像カメラ28は、色データ取得センサ24を構成するカメラ、又は移動体10に搭載されたドライブレコーダのカメラ等であってもよい。
基地局3は、通信ネットワーク4を介して、移動体10の通信部16との間で各種情報を送受信可能なサーバコンピュータ(Server Computer)である。基地局3は、例えば、移動体10の測定装置20を動作させるための各種の制御信号を、通信ネットワーク4を介して移動体10へ送信する。基地局3は、移動体10から測定装置20が取得した各種情報を、通信ネットワーク4を介して受信する。基地局3は、例えば、複数の移動体10と通信可能であってもよい。また、基地局3の一部の構成は、ネットワーク通信可能なクラウドサーバ(Cloud Server)に設けられていてもよい。基地局3は、操作部32と、表示部34と、表示情報作成装置40と、を備える。
操作部32は、オペレータによる移動体10及び表示情報作成装置40に対する種々操作を受付可能である。操作部32は、例えば、移動体10を前進、後退、旋回、加速、減速、及び停止等の移動に関する操作を受付可能である。操作部32は、受け付けた移動体10に対する操作に応じた操作信号を表示情報作成装置40へ出力する。操作部32は、例えば、画面設定部60の画面設定データ記憶部62に記憶された画面設定データを編集する操作を受付可能である。操作部32は、受け付けた表示情報作成装置40に対する操作に応じた操作信号を表示情報作成装置40へ出力する。操作部32は、例えば、物理的なスイッチ、キーボード、又は表示部34に設けられたタッチパネルで実現することができる。なお、図1に示す一例において、操作部32は、表示情報作成装置40に有線又は無線で接続されたキーボードによって実現される。
表示部34は、種々の映像を表示する表示画面36を含む。表示部34は、例えば、点群データ及び色データを合成した色付点群データ、色付点群データを合成した三次元地図データ、映像データを含む表示情報を表示画面36に表示する。表示部34は、後述する表示情報作成装置40の表示情報出力部58から出力された表示情報の映像信号に基づいて、表示情報作成装置40によって作成された表示情報を表示する。
表示部34は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等を含む表示装置である。表示部34は、操作部32を含むタッチパネルを含んでもよい。表示部34は、表示情報作成装置40と一体形成されてもよい。表示部34の表示形式は、オペレータが五感により認識可能である他の形式を含んでもよい。表示部34は、例えば、音によって予め定める通知情報を通知するスピーカ、光によって予め定める通知情報を通知する発光装置等を含んでもよい。
表示情報作成装置40は、オペレータに対して三次元地図データを含む表示情報の表示を行うとともに、表示システム1のメインサーバとして機能する。また、表示情報作成装置40は、三次元地図データを作成する地図作成装置としても機能する。表示情報作成装置40は、各種の制御プログラム及び各種の制御処理に用いられるデータを記憶する記憶装置と、予め定められる制御プログラムを実行する演算処理装置と、通信手段としての入出力インターフェース装置と、を含む。
表示情報作成装置40は、例えば、移動体10の測定装置20に所定領域2における周辺環境の各種情報を測定させるとともに、通信ネットワーク4を介して測定させた点群データ、色データ及び位置情報を含む各種情報を取得する。表示情報作成装置40は、例えば、取得した所定領域2における周辺環境の点群データ及び色データに基づいて、色付点群データを作成する。表示情報作成装置40は、例えば、色付点群データと、取得した移動体10の位置情報とに基づいて、三次元地図データを作成する。表示情報作成装置40は、例えば、オペレータにより操作部32から設定された表示画面36の画面設定データに基づいて、三次元地図データを含む表示情報を作成するとともに、表示情報を表示部34に出力する。
次に、第1実施形態の表示情報作成装置40の内部構成について説明する。図2は、第1実施形態に係る表示情報作成装置40の内部構成を周辺構成とともに示すブロック図である。表示情報作成装置40は、点群データ取得部42と、色データ取得部44と、位置情報取得部46と、映像データ取得部48と、色付点群データ作成部50と、地図データ作成部52と、地図データ記憶部54と、表示情報作成部56と、表示情報出力部58と、画面設定部60と、地図化制御部70と、を含む。
点群データ取得部42は、移動体10のレーザ測量センサ22が取得した点群データを、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が点群データ取得部42において取得した点群データは、所定領域2に存在する地物の表面を構成する各点について、移動体10のレーザ測量センサ22が位置する測定点と各点との間の距離情報を含む。点群データ取得部42は、取得した点群データを、色付点群データ作成部50及び地図データ作成部52へ出力する。
色データ取得部44は、移動体10の色データ取得センサ24が取得した色データを、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が色データ取得部44において取得した色データは、点群データ取得部42が取得した点群データに含まれる各点に対応する色情報を含む。また、表示情報作成装置40が色データ取得部44において取得した色データは、オペレータが良好に認識可能に設定された閾値以上の色情報を含む。なお、色データ取得部44が色データを取得する周期及びタイミングは、点群データ取得部42が点群データを取得する周期及びタイミングと、同一であることが好ましい。色データ取得部44は、取得した色データを、色付点群データ作成部50へ出力する。
位置情報取得部46は、移動体10の自己位置推定センサ26が取得した位置情報を、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が位置情報取得部46において取得した位置情報は、例えば、所定領域2に設定される所定の基準点を有する領域座標系において、基準点に対する相対座標として取得される。なお、位置情報取得部46が位置情報を取得する周期及びタイミングは、点群データ取得部42が点群データを取得する周期及びタイミング、及び色データ取得部44が色データを取得する周期及びタイミングと、同一であることが好ましい。位置情報取得部46は、取得した位置情報を、地図データ作成部52へ出力する。
映像データ取得部48は、移動体10の撮像カメラ28が取得した映像データを、通信ネットワーク4(図1参照)を介して取得する。表示情報作成装置40が映像データ取得部48において取得した映像データは、撮像カメラ28の位置を視点とし、所定領域2における移動体10の周辺環境の任意の範囲を撮影した映像データを含む。映像データ取得部48は、取得した映像データを、表示情報作成部56へ出力する。
色付点群データ作成部50は、点群データ取得部42が取得した点群データと、色データ取得部44が取得した色データとを合成することによって、色付点群データを作成する。点群データと色データとの合成は、点群データに含まれる各点に対応する色情報を、点群データに付与することで行われる。色付点群データ作成部50は、第1実施形態において、地図化制御部70による三次元地図データの作成指示を取得した場合、色付点群データの作成を開始する。色付点群データ作成部50は、作成した色付点群データを、地図データ作成部52及び表示情報作成部56へ出力する。
地図データ作成部52は、色付点群データ作成部50が作成した色付点群データと、位置情報取得部46が取得した位置情報とに基づいて、三次元地図データを作成する。点群データ取得部42が取得した点群データは、移動体10の測定点から各点までの距離情報として示されている。すなわち、色付点群データ作成部50が作成した色付点群データは、移動体10の慣性座標系で示されている。三次元地図データの作成は、色付点群データを、所定領域2の領域座標系に変換することで行われる。地図データ作成部52は、作成した三次元地図データを、地図データ記憶部54へ出力して記憶させる。地図データ作成部52は、地図データ記憶部54に既に記憶されている三次元地図データに、新たに作成した三次元地図データを合成して記憶させる。
地図データ記憶部54は、地図データ作成部52が作成した三次元地図データを一時的に記憶する。一時的にとは、例えば、表示システム1が終了するまで、又はオペレータが所定の記憶消去操作をするまで等の時間的範囲を示す。また、地図データ記憶部54は、地図データ作成部52が作成した三次元地図データを、既に記憶された三次元地図データに追加して記憶する。すなわち、地図データ記憶部54に記憶される三次元地図データは、所定周期毎に取得及び作成され、随時領域座標系に変換された色付点群データの集合体である。地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56へ出力する。
表示情報作成部56は、画面設定部60の画面設定データ記憶部62に記憶された表示設定に基づいて、三次元地図データを含む表示情報を作成する。表示情報は、色付点群データの画像又は映像データの映像を含んでもよい。表示情報は、例えば、物理的な表示装置(第1実施形態における表示部34の表示画面36)において、表示する画面数及び各画面の表示サイズ等の画面構成の情報を含む。表示情報は、例えば、各画面に表示するデータの種類を含む。データの種類とは、三次元地図データ、三次元地図データを表示させる所定視点の位置情報及び方向情報、色付点群データの画像及び映像データの映像を含む。移動体10が複数の撮像カメラ28を備える場合、映像データは、複数の映像データを含む。三次元地図データは、画面設定データに設定されている視点の設定に基づいて、所定視点によって特定される地図として表示可能なデータである。三次元地図データは、画面設定データが複数の視点の設定を有する場合、各々の視点によって特定される複数の地図として表示可能である。表示情報作成部56は、作成した表示情報を、表示情報出力部58へ出力する。
表示情報出力部58は、表示情報作成部56が作成した表示情報を、表示部34へ出力し、画面設定部60の画面設定データ記憶部62に記憶された画面設定データに基づいて、三次元地図データを含む表示情報を、表示設定に基づく表示形式で表示画面36に表示させる。この際、三次元地図データは、画面設定データに設定された所定視点の位置情報及び方向情報によって特定される地図として表示される。すなわち、三次元地図データは、所定視点で二次元に射影した地図として表示画面36に表示される。なお、三次元地図データを表示させる所定視点は、表示画面36への表示中に、オペレータの操作等によって適宜変更可能であってもよい。表示情報が色付点群データを含む場合、表示情報出力部58は、色付点群データの画像を表示設定に基づく表示形式で表示画面36に表示させる。表示情報が映像データを含む場合、表示情報出力部58は、映像データの映像を表示設定に基づく表示形式で表示画面36に表示させる。
画面設定部60は、表示部34の表示画面36の表示形式に関する画面設定データの管理を行う。画面設定部60は、画面設定データの設定値の組み合わせを含む表示設定を設定可能である。画面設定データは、例えば、物理的な表示装置(第1実施形態における表示部34の表示画面36)における、表示する画面数及び各画面の表示サイズ等の画面構成設定、各画面に表示するデータの種類の設定、三次元地図データを表示画面36に表示する際の視点の設定等の表示形式を含む。
画面設定部60では、例えば、三次元地図データを表示部34の表示画面36に地図として表示する際の視点を設定可能である。視点の設定項目は、視点の基点となる位置情報と、視点を基点として視る方向の方向情報と、を含む。視点の設定項目は、例えば、X座標、Y座標及びZ座標と、各々の3軸回りの方向情報と、が設定可能である。画面設定部60では、例えば、表示部34の表示画面36の画面数及び各画面の表示サイズ等の画面構成を設定可能である。画面設定部60では、例えば、表示部34の複数の表示画面36に、三次元地図データの異なる視点によって特定される地図をそれぞれ表示させる表示設定を設定可能である。画面設定部60では、例えば、表示部34の複数の表示画面36に、三次元地図データの所定視点によって特定される地図と、色付点群データの画像と、映像データの映像と、をそれぞれ表示させる表示設定を設定可能である。画面設定部60は、画面設定データ記憶部62と、画面設定データ記憶制御部64と、画面設定データ編集指示取得部66と、を含む。
画面設定データ記憶部62は、画面設定データを記憶する。画面設定データ記憶部62は、表示設定リストと、直近設定リストと、を有する。
表示設定リストは、各種の画面設定データの設定値の組み合わせを含む表示設定と、表示設定の名称がリスト化されて記録されたデータである。表示設定の名称は、数字で構成されたリスト番号、及び文字列で構成されたリスト名の少なくともいずれかを含む。リスト番号及びリスト名は、表示設定リストの保存時に、画面設定部60において自動的に割り当てられた一意な数字及び文字列であってもよいし、オペレータによって操作部32等から入力された数字及び文字列であってもよい。表示設定リストの各々の表示設定は、オペレータの操作によって追加、編集又は削除される。表示設定リストの各々の表示設定は、オペレータの操作によって削除されるまで、画面設定データ記憶部62に記録されたまま残される。
直近設定リストは、過去の表示設定が一時的に記録されたデータである。直近設定リストの各々の表示設定は、オペレータの操作によって追加、編集又は削除される。直近設定リストは、所定容量に達した状態で、新たな過去の表示設定が追加された場合、最も古い表示設定から順に画面設定データ記憶部62から自動的に削除される。所定容量とは、例えば、予め設定された直近設定リストの最大容量である。
画面設定データ記憶部62は、表示設定リスト及び直近設定リストの表示設定のうち、オペレータの操作によって選択されている表示設定を、表示情報作成部56へ出力する。オペレータは、表示設定リスト及び直近設定リストの表示設定を、表示設定の名称によって指定することができる。これにより、各種の画面設定データの設定値を一から入力することなく、三次元地図データを含む表示情報を、所望の視点によって特定される地図として表示するための表示設定で表示部34に表示させることができる。
画面設定データ記憶制御部64は、画面設定データ編集指示取得部66がオペレータによる操作部32からの操作信号を取得した場合、取得した操作信号に応じて、画面設定データ記憶部62の表示設定リスト又は直近設定リストを編集する。
画面設定データ編集指示取得部66は、オペレータによる操作部32から、画面設定データ記憶部62に記憶された画面設定データを編集する指示を含む操作信号を取得する。画面設定データ編集指示取得部66は、取得した操作信号に応じた画面設定データの編集指示を、画面設定データ記憶制御部64へ出力する。
地図化制御部70は、色付点群データ作成部50に、三次元地図データの作成開始及び作成終了を指示する制御信号を出力する。地図化制御部70は、例えば、オペレータの操作部32への操作に基づいて三次元地図データの作成開始及び作成終了を指示してもよい。地図化制御部70は、例えば、取得した移動体10の位置情報に基づいて、移動体10が予め設定された所定領域2に進入した場合、三次元地図データの作成開始を指示してもよい。
なお、表示情報作成装置40の上記の各構成要素は、互いに共通の演算処理装置、記憶装置又は通信インターフェースを備えていてもいいし、それぞれ複数の場所に離れて配置されていてもよい。例えば、表示情報作成装置40は、地図作成装置と、画面設定装置と、表示制御装置と、にそれぞれ分割して構成されてもよい。地図作成装置は、点群データ取得部42、色データ取得部44、位置情報取得部46、映像データ取得部48、色付点群データ作成部50、地図データ作成部52、地図データ記憶部54及び地図化制御部70を含む。画面設定装置は、画面設定部60を含む。表示制御装置は、表示情報作成部56及び表示情報出力部58を含む。
次に、所定領域2を移動する移動体10による色付点群データの取得範囲を説明する。図3は、移動体10による点群データの取得範囲を示す説明図である。図3に示す一例においては、移動体10が、所定領域2において、進行方向(図3における右方)に対して右方(図3における下方)に配備される地物X1及び地物X2の間に後進で進入する動作を行う。地物X1及び地物X2は、移動体10の測定装置20による測定範囲を遮る程度に移動体10に対して背の高い構造物とする。また、移動体10のレーザ測量センサ22及び色データ取得センサ24は、移動体10の前後左右にそれぞれ設けられる。また、色データ取得センサ24による色データが取得可能な範囲は、レーザ測量センサ22によるセンサ有効範囲Sを含むものとする。なお、レーザ測量センサ22のセンサ有効範囲Sは、本発明では図3に示す角度及び有効距離に限定されない。
図3のステップST1からステップST5に示す図において、移動体10の現在の位置におけるセンサ有効範囲Sにおいて取得した点群データの各点を黒丸で示す。また、移動体10の過去のセンサ有効範囲Sにおいて取得した点群データの各点を白丸で示す。
ステップST1において、移動体10は、進行方向に対して右方に地物X1が配備される位置にある。ステップST1では、地物X1の移動体10側の側面の一部、及び地物X2の移動体10寄りの角部の点群データを取得する。
ステップST2において、移動体10は、ステップST1の位置よりも前進した位置に移動する。ステップST2では、地物X1及び地物X2においてステップST1で点群データを取得した位置よりも前方に位置する側面の一部の点群データを取得する。
ステップST3及びステップST4において、移動体10は、進行方向に対して右方に地物X1と地物X2との間が開けた位置に移動する。ステップST3及びステップST4では、地物X1の地物X2側の側面、及び地物X2の地物X1側の側面の点群データを取得する。
ステップST5において、移動体10は、地物X2の左方を通過して、左方側に若干旋回した状態で停止する。この後、移動体10は、後進しながら、地物X1及び地物X2の間に進入する。ステップST5の位置では、地物X1及び地物X2の間に移動体10からの死角BSが存在する。しかしながら、ステップST3及びステップST4において、地物X1及び地物X2の間の点群データを取得しているので、表示情報作成装置40は、死角BS部分も含む三次元地図データを作成できる。したがって、表示情報作成装置40は、死角BS部分も含む地図として表示可能な三次元地図データを表示情報として出力することができる。
次に、作成した三次元地図データについて、表示部34の表示画面36に所定視点によって特定される地図として表示させる際の視点の設定について説明する。図4は、三次元地図データを表示する際の視点の位置及び方向の一例を示す模式図である。図4に示す一例においては、移動体10の進行方向の前方に地物Y1及び地物Y2が配備されるものとする。また、移動体10のレーザ測量センサ22及び色データ取得センサ24は、移動体10の前方に設けられる。また、色データ取得センサ24による色データが取得可能な範囲は、レーザ測量センサ22によるセンサ有効範囲Sを含むものとする。
図4に示すように、移動体10のレーザ測量センサ22では、センサ有効範囲S内の地物Y1の表面を構成する各点の点群データは取得可能だが、センサ有効範囲S外の地物Y2の表面を構成する各点の点群データは取得できない。しかしながら、地物Y2が過去にセンサ有効範囲Sに入っており、地物Y2の表面を構成する各点の点群データが取得されていた場合、表示情報作成装置40は、地物Y2を含む三次元地図データを記憶している。
ここで、移動体10のレーザ測量センサ22及び色データ取得センサ24の測定位置及び測定方向を、図4において、実センサRPの位置及び方向で示す。実センサRPは、移動体10の移動に伴って移動するが、移動体10に対する相対的な位置及び測定方向は変化しない。
表示情報作成装置40は、過去から現在までの実センサRP以外の仮想センサVP1及び仮想センサVP2等を視点とする地図として表示可能な三次元地図データを作成可能である。仮想センサVP1は、地物Y1及び地物Y2に対する俯瞰視点を示す。仮想センサVP2は、地物Y1及び地物Y2に対する仰視視点を示す。三次元地図データを所定視点によって特定される地図として表示する際の視点は、進行方向の前方から後方を視る視点等でもよい。
なお、三次元地図データを所定視点によって特定される地図として表示する方法には、三次元のデータに対して任意の視点に対する二次元の画像データとして射影して画面表示する公知の方法を用いることができる。
表示情報作成装置40は、過去から現在までのセンサ有効範囲Sから取得された点群データ及び色データに基づいて作成した三次元地図データを、各々の視点によって特定される地図として表示させることができるので、移動体10の動作に適した周辺環境の情報をオペレータに提示することができる。
次に、表示設定に基づいて表示される表示画面36の一例について説明する。図5は、表示画面36の一例を示す模式図である。図5に示す一例において、表示画面36は、第1表示画面361と、第2表示画面362と、第3表示画面363と、第4表示画面364と、に分割される。
第1表示画面361は、図5に示す一例において、表示画面36の左上の領域に設けられる。第1表示画面361は、第2表示画面362、第3表示画面363及び第4表示画面364より画面サイズが大きい。第1表示画面361には、表示設定に基づいて、例えば、三次元地図データの所定視点によって特定される地図が表示される。
第2表示画面362は、図5に示す一例において、表示画面36の右上の領域に設けられる。第2表示画面362は、第1表示画面361より画面サイズが小さい。第2表示画面362には、表示設定に基づいて、例えば、第1表示画面361に表示された地図の視点とは異なる視点によって特定される地図が表示される。
第3表示画面363は、図5に示す一例において、表示画面36の右下の領域に設けられる。第3表示画面363は、第1表示画面361より画面サイズが小さい。第3表示画面363には、表示設定に基づいて、例えば、実際のレーザ測量センサ22の位置を視点とする色付点群データの画像が表示される。
第4表示画面364は、図5に示す一例において、表示画面36の左下の領域に設けられる。第4表示画面364は、第4表示画面364には、例えば、その他の移動体10に関する情報が表示される。
表示画面36の画面数及び各画面の表示サイズ等の画面構成、それぞれの画面に表示させる地図又は画像の種類、地図の視点位置等は、図5に示す一例に限定されず、画面設定部60において画面設定データの設定値の組み合わせを含む表示設定として種々設定できる。
次に、第1実施形態の表示情報作成装置40による表示情報の作成処理を含む表示方法について説明する。図6は、第1実施形態に係る表示情報作成装置40の処理の一例を示すフローチャートである。図6に示す処理は、表示情報作成装置40が予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40は、例えば、地図化制御部70が、オペレータの操作部32への操作に基づいて三次元地図データの作成開始を指示する制御信号を、色付点群データ作成部50に出力することによって、図6に示すステップST200に移行して処理を開始する。
表示情報作成装置40は、三次元地図データを初期化する(ステップST200)。より詳しくは、表示情報作成装置40は、地図データ記憶部54に記憶された三次元地図データを削除して、新規の三次元地図データが作成可能であるように初期化する。表示情報作成装置40は、ステップST202に移行する。
表示情報作成装置40は、表示設定を参照する(ステップST202)。具体的には、表示情報作成部56は、画面設定データ記憶部62に記憶された画面設定データを参照して、表示設定リスト及び直近設定リストの表示設定のうち選択されている表示設定を取得して一時的に記憶する。表示情報作成装置40は、ステップST206に移行する。
表示情報作成装置40は、点群データを取得する(ステップST206)。具体的には、点群データ取得部42は、移動体10のレーザ測量センサ22が取得した点群データを、通信ネットワーク4を介して取得する。この際、点群データ取得部42は、所定領域2において、測定時の位置における移動体10のセンサ有効範囲Sに相当する点群データを取得する。点群データ取得部42は、取得した点群データを、色付点群データ作成部50及び地図データ作成部52へ出力する。表示情報作成装置40は、ステップST208に移行する。
表示情報作成装置40は、色データを取得する(ステップST208)。具体的には、色データ取得部44は、移動体10の色データ取得センサ24が取得した色データを、通信ネットワーク4を介して取得する。この際、色データ取得部44は、所定領域2において、ステップST206で点群データを取得した位置における移動体10のセンサ有効範囲Sに相当する色データを取得する。色データ取得部44は、取得した色データを、色付点群データ作成部50へ出力する。表示情報作成装置40は、ステップST210に移行する。
表示情報作成装置40は、位置情報を取得する(ステップST210)。具体的には、位置情報取得部46は、移動体10の自己位置推定センサ26が取得した位置情報を、通信ネットワーク4を介して取得する。この際、位置情報取得部46は、所定領域2において、ステップST206で点群データを取得した位置における移動体10の位置情報を取得する。位置情報は、例えば、所定領域2に設定される所定の基準点を有する領域座標系において、基準点に対する相対座標として取得される。位置情報取得部46は、取得した位置情報を、地図データ作成部52へ出力する。表示情報作成装置40は、ステップST226に移行する。
表示情報作成装置40は、色付点群データを作成する(ステップST226)。具体的には、色付点群データ作成部50は、ステップST206で点群データ取得部42が取得した点群データと、ステップST208で色データ取得部44が取得した色データとを合成することによって、色付点群データを作成する。点群データと色データとの合成は、点群データに含まれる各点に対応する色情報を、点群データに付与することで行われる。色付点群データ作成部50は、作成した色付点群データを、地図データ作成部52及び表示情報作成部56へ出力する。表示情報作成装置40は、ステップST228に移行する。
表示情報作成装置40は、色付点群データを三次元地図データに追加する。具体的には、地図データ作成部52は、ステップST210で位置情報取得部46が取得した位置情報に基づいて、ステップST226で色付点群データ作成部50が作成した色付点群データを所定領域2の領域座標系に変換する。地図データ作成部52は、所定領域2の領域座標系に変換した色付点群データを、三次元地図データとして、地図データ記憶部54へ出力する。地図データ記憶部54は、三次元地図データを記憶する。地図データ記憶部54に既に作成された三次元地図データがある場合、地図データ記憶部54は、新たに作成された三次元地図データを、既に記憶された三次元地図データに追加して記憶する。地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56へ出力する。表示情報作成装置40は、ステップST246に移行する。
表示情報作成装置40は、表示設定の変更指示があるか否かを判定する(ステップST246)。画面設定データ記憶部62は、オペレータの操作によって表示設定リスト及び直近設定リストの表示設定のうち、新たに任意の表示設定が選択された場合、新たな表示設定を表示情報作成部56へ出力する。表示情報作成部56は、ステップST246において、表示設定の前回の取得以降、画面設定データ記憶部62から新たな表示設定が出力されたか否かを判定する。前回取得された表示設定とは、ステップST202で参照された表示設定、又はステップST248で更新された表示設定を示す。表示設定の変更指示がある場合(ステップST246;Yes)、表示情報作成装置40は、ステップST248に移行する。表示設定の変更指示がない場合(ステップST246;No)、表示情報作成装置40は、ステップST250に移行する。
表示設定の変更指示がある場合(ステップST246;Yes)、表示情報作成装置40は、表示設定を更新する(ステップST248)。具体的には、表示情報作成部56は、前回取得した表示設定に、新たに取得した表示設定を上書きして一時的に記憶する。表示情報作成装置40は、ステップST250に移行する。
表示情報作成装置40は、表示情報を出力する(ステップST250)。具体的には、表示情報作成部56は、一時的に記憶している表示設定に基づいて、三次元地図データを含む表示情報を作成する。三次元地図データは、表示設定に設定されている視点の設定に基づいて、所定視点によって特定される地図として表示可能なデータである。表示設定が所定の表示画面36に色付点群データを表示させる設定を含む場合、表示情報作成部56は、三次元地図データ、三次元地図データを表示させる所定視点の位置情報及び方向情報と、色付点群データの画像とを、各々の表示画面36に表示させる表示情報を作成する。表示情報作成部56は、作成した表示情報を、表示情報出力部58へ出力する。表示情報出力部58は、取得した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。表示情報作成装置40は、ステップST252に移行する。
表示情報作成装置40は、表示システム1が終了されたか否かを判定する(ステップST252)。具体的には、表示情報作成装置40は、例えば、オペレータによる操作部32への操作によって、表示システム1を終了させる操作信号を取得したか否かを判定する。表示システム1が終了された場合(ステップST252;Yes)、表示情報作成装置40は、図6に示すフローチャートの処理を終了する。表示システム1が終了されていない場合(ステップST252;No)、表示情報作成装置40は、ステップST206に戻り、ステップST206からステップST250までの処理を繰り返し実行する。
表示情報作成装置40は、ステップST206からステップST228までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40は、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40は、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
(第2実施形態)
次に、第2実施形態の表示情報作成装置40Aの内部構成について説明する。図7は、第2実施形態に係る表示情報作成装置40Aの内部構成を周辺構成とともに示すブロック図である。なお、第2実施形態の表示情報作成装置40Aにおいて、第1実施形態の表示情報作成装置40と同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
第2実施形態の表示情報作成装置40Aは、第1実施形態の表示情報作成装置40と比較して、点群データ取得部42、位置情報取得部46及び地図化制御部70の代わりに、点群データ取得部42A、位置情報取得部46A及び地図化制御部70Aを含む点で異なる。
点群データ取得部42Aは、第1実施形態の点群データ取得部42と比較して、さらに、取得した点群データを、色付点群データ作成部50及び地図データ作成部52のみならず、地図化制御部70Aの領域内判定部74へ出力する点で異なる。点群データ取得部42Aの他の構成及び機能は、第1実施形態の点群データ取得部42と同様である。
位置情報取得部46Aは、第1実施形態の位置情報取得部46と比較して、さらに、取得した位置情報を、地図データ作成部52へのみならず、地図化制御部70Aの領域内判定部74へ出力する点で異なる。位置情報取得部46Aの他の構成及び機能は、第1実施形態の位置情報取得部46と同様である。
地図化制御部70Aは、操作部32から取得したオペレータによる三次元地図データの作成開始及び作成終了の指示を含む操作信号に基づいて、色付点群データ作成部50に、三次元地図データの作成開始及び作成終了を指示する制御信号を出力する。地図化制御部70Aは、領域データ記憶部72と、領域内判定部74と、作成開始終了指示部76と、領域データ記憶制御部78と、領域データ編集指示取得部80と、を含む。
領域データ記憶部72は、領域データを記憶する。領域データは、三次元地図データを含む表示情報の作成対象となる地図作成領域(例えば、図3の所定領域2を参照)の位置情報を含む。領域データ記憶部72に記憶される位置情報は、例えば、経度情報及び緯度情報を含むグローバル座標系で示される。領域データは、第2実施形態において、地図作成領域設定データ、を含む。地図作成領域設定データは、三次元地図データの作成を開始する以前に、予め設定される地図作成領域の位置情報を含む。地図作成領域設定データは、オペレータの操作によって、追加、編集又は削除可能である。領域データ記憶部72は、領域データを領域内判定部74へ出力する。
領域内判定部74は、位置情報取得部46Aが取得した位置情報に基づいて、点群データ取得部42A取得した点群データを、グローバル座標系に変換する。領域内判定部74は、領域データ記憶部72に記憶される地図作成領域設定データを参照する。領域内判定部74は、グローバル座標系に変換した点群データの各点の位置が、地図作成領域設定データに設定された地図作成領域に含まれるか否かを判定する。領域内判定部74は、地図作成領域内であるか否かの判定結果を、作成開始終了指示部76へ出力する。
作成開始終了指示部76は、領域内判定部74から、地図作成領域内であるか否かの判定結果を取得する。作成開始終了指示部76は、三次元地図データの作成開始指示及び作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内であると判定した場合、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内であると判定した場合でも、既に三次元地図データを作成中である場合、三次元地図データの作成開始指示の出力を省略してもよい。作成開始終了指示部76は、領域内判定部74が地図作成領域内でないと判定した場合、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内でないと判定した場合でも、三次元地図データを作成中でない場合、三次元地図データの作成終了の指示の出力を省略してもよい。
領域データ記憶制御部78は、領域データ編集指示取得部80がオペレータによる操作部32からの操作信号を取得した場合、取得した操作信号に応じて、領域データ記憶部72の地図作成領域設定データを編集する。
領域データ編集指示取得部80は、オペレータによる操作部32から、領域データ記憶部72に記憶された地図作成領域設定データを編集する指示を含む操作信号を取得する。領域データ編集指示取得部80は、取得した操作信号に応じた地図作成領域設定データの編集指示を、領域データ記憶制御部78へ出力する。
次に、第2実施形態の表示情報作成装置40Aによる表示情報の作成処理を含む表示方法について説明する。図8は、第2実施形態に係る表示情報作成装置40Aの処理の一例を示すフローチャートである。図8に示す処理は、表示情報作成装置40Aが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Aは、例えば、表示システム1が起動することによって、図8に示すステップST300に移行して処理を開始する。
ステップST300、ステップST302、ステップST306、ステップST308、及びステップST310の処理は、第1実施形態のステップST200、ステップST202、ステップST206、ステップST208、及びステップST210の処理と同様であるため、説明を省略する。但し、第2実施形態のステップST306においては、点群データ取得部42Aが、取得した点群データを、色付点群データ作成部50及び地図データ作成部52のみならず、領域内判定部74へも出力する。また、第2実施形態のステップST310においては、位置情報取得部46Aが、取得した位置情報を、地図データ作成部52のみならず、領域内判定部74へも出力する。表示情報作成装置40Aは、ステップST310の処理を終了すると、ステップST312に移行する。
表示情報作成装置40Aは、地図作成領域内か否かを判定する(ステップST312)。具体的には、まず、領域内判定部74は、ステップST310で取得した位置情報に基づいて、ステップST306で取得した点群データをグローバル座標系に変換する。次に、領域内判定部74は、領域データ記憶部72に記憶される地図作成領域設定データを参照する。領域内判定部74は、グローバル座標系に変換した点群データの各点の位置が、地図作成領域設定データに設定された地図作成領域に含まれるか否かを判定する。領域内判定部74は、判定結果を作成開始終了指示部76へ出力する。
地図作成領域内である場合(ステップST312;Yes)、作成開始終了指示部76は、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。表示情報作成装置40Aは、ステップST326へ移行する。地図作成領域内でない場合(ステップST312;No)、作成開始終了指示部76は、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。表示情報作成装置40Aは、ステップST330へ移行する。
ステップST326及びステップST328の処理は、第1実施形態のステップST226及びステップST228の処理と同様であるため、説明を省略する。表示情報作成装置40Aは、ステップST328の処理を終了すると、ステップST330に移行する。
表示情報作成装置40Aは、三次元地図データがあるか否かを判定する(ステップST330)。具体的には、表示情報作成装置40Aは、地図データ記憶部54に既に作成された三次元地図データがあるか否かを判定する。三次元地図データがある場合(ステップST330;Yes)、表示情報作成装置40Aは、ステップST346へ移行する。三次元地図データがない場合(ステップST330;No)、表示情報作成装置40Aは、ステップST352へ移行する。
ステップST346、ステップST348、ステップST350、及びステップST352の処理は、第1実施形態のステップST246、ステップST248、ステップST250、及びステップST252の処理と同様であるため、説明を省略する。
表示情報作成装置40Aは、移動体10による測定範囲が地図作成領域内に含まれる間、ステップST306からステップST328までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Aは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Aは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
(第3実施形態)
次に、第3実施形態の表示情報作成装置40Bの内部構成について説明する。図9は、第3実施形態に係る表示情報作成装置40Bの内部構成を周辺構成とともに示すブロック図である。なお、第3実施形態の表示情報作成装置40Bにおいて、第2実施形態の表示情報作成装置40Aと同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
第3実施形態の表示情報作成装置40Bは、第2実施形態の表示情報作成装置40Aと比較して、地図化制御部70Aの代わりに地図化制御部70Bを含む点で異なる。地図化制御部70Bは、第2実施形態の地図化制御部70Aと比較して、領域データ記憶部72、作成開始終了指示部76及び領域データ記憶制御部78の代わりに、領域データ記憶部72B、作成開始終了指示部76B及び領域データ記憶制御部78Bを含み、さらに、作成開始終了指示取得部82を含む点で異なる。
領域データ記憶部72Bは、第2実施形態の領域データ記憶部72と比較して、領域データが、地図作成領域設定データに加えて、地図作成実績データ及びカウンタを含む点で異なる。地図作成実績データは、過去にオペレータの操作によって三次元地図データの作成を指示された地図作成領域の位置情報を含む。地図作成実績データは、オペレータの操作によって、削除可能である。カウンタは、同一領域における三次元地図データの作成指示の回数をカウントする。領域データ記憶部72は、同一領域における三次元地図データの作成指示の回数が所定回数以上である場合、すなわち、蓄積された地図作成実績データの地図作成領域に所定以上の重複がある場合、当該地図作成実績データを、地図作成領域設定データに変更する。領域データ記憶部72Bの他の構成及び機能は、第2実施形態の領域データ記憶部72と同様である。
作成開始終了指示部76Bは、第2実施形態の作成開始終了指示部76と比較して、さらに、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示及び作成終了指示を取得する。作成開始終了指示部76Bは、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示を取得した場合、地図作成領域内でなくとも、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Bは、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成終了指示を取得した場合、地図作成領域内であっても、三次元地図データの作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Bの他の構成及び機能は、第2実施形態の作成開始終了指示部76と同様である。
領域データ記憶制御部78Bは、第2実施形態の領域データ記憶制御部78と比較して、さらに、作成開始終了指示取得部82から地図作成実績データを更新させる指示を取得する点で異なる。領域データ記憶制御部78Bは、作成開始終了指示取得部82から取得した地図作成実績データの更新指示に応じて、領域データ記憶部72Bの地図作成実績データを更新する。領域データ記憶制御部78Bの他の構成及び機能は、第2実施形態の領域データ記憶制御部78と同様である。
作成開始終了指示取得部82は、オペレータによる操作部32から、三次元地図データの作成開始及び作成終了の指示を含む操作信号を取得する。作成開始終了指示取得部82は、取得した操作信号に応じた三次元地図データの作成開始指示及び作成終了指示を、作成開始終了指示部76Bへ出力する。作成開始終了指示取得部82は、取得した三次元地図データの作成開始指示及び作成終了指示に基づいて、地図作成実績データを更新させる指示を、領域データ記憶制御部78Bへ出力する。
次に、第3実施形態の表示情報作成装置40Bによる表示情報の作成処理を含む表示方法について説明する。図10は、第3実施形態に係る表示情報作成装置40Bの処理の一例を示すフローチャートである。図10に示す処理は、表示情報作成装置40Bが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Bは、例えば、表示システム1が起動することによって、図10に示すステップST400に移行して処理を開始する。
ステップST400、ステップST402、ステップST406、ステップST408、ステップST410、及びステップST412の処理は、第2実施形態のステップST300、ステップST302、ステップST306、ステップST308、ステップST310、及びステップST312の処理と同様であるため、説明を省略する。ステップST412において、地図作成領域内であると判定された場合(ステップST412;Yes)、表示情報作成装置40Bは、ステップST426へ移行する。また、地図作成領域内でないと判定された場合(ステップST412;No)、表示情報作成装置40Bは、ステップST414へ移行する。
地図作成領域内でない場合(ステップST412;No)、表示情報作成装置40Bは、地図作成開始の指示があるか否かを判定する(ステップST414)。具体的には、表示情報作成装置40Bは、作成開始終了指示部76Bが作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示を取得したか否かを判定する。地図作成開始の指示がある場合(ステップST414;Yes)、表示情報作成装置40Bは、ステップST416へ移行する。地図作成開始の指示がない場合(ステップST414;No)、表示情報作成装置40Bは、ステップST430へ移行する。
地図作成開始の指示がある場合(ステップST414;Yes)、表示情報作成装置40Bは、地図作成実績データを更新する(ステップST416)。具体的には、領域データ記憶制御部78Bは、作成開始終了指示取得部82から地図作成実績データを更新させる指示を取得する。領域データ記憶制御部78Bは、作成開始終了指示取得部82から取得した地図作成実績データの更新指示に応じて、領域データ記憶部72Bの地図作成実績データを更新する。表示情報作成装置40Bは、ステップST418へ移行する。
表示情報作成装置40Bは、同一領域での作成指示の回数が所定回数以上か否かを判定する(ステップST418)。具体的には、領域データ記憶部72Bにおいて地図作成実績データが更新された際、既に蓄積された地図作成実績データと重複する場合、カウンタは、同一領域における三次元地図データの作成指示の回数のカウンタ値を1つ増やして記憶する。同一領域での作成指示の回数が所定回数以上である場合(ステップST418;Yes)、表示情報作成装置40Bは、ステップST420へ移行する。同一領域での作成指示の回数が所定回数未満である場合(ステップST418;No)、表示情報作成装置40Bは、ステップST426へ移行する。
同一領域での作成指示の回数が所定回数以上である場合(ステップST418;Yes)、表示情報作成装置40Bは、地図作成領域設定データを更新する(ステップST420)。具体的には、領域データ記憶部72Bは、蓄積された地図作成実績データの地図作成領域に所定以上の重複がある場合、当該地図作成実績データを、地図作成領域設定データに変更する。表示情報作成装置40Bは、ステップST426へ移行する。
ステップST426、ステップST428、ステップST430、ステップST446、ステップST448、ステップST450、及びステップST452の処理は、第2実施形態のステップST326、ステップST328、ステップST330ステップST346、ステップST348、ステップST350、及びステップST352の処理と同様であるため、説明を省略する。ステップST452において、表示システム1が終了されたと判定された場合(ステップST452;Yes)、表示情報作成装置40Bは、図10に示すフローチャートの処理を終了する。また、表示システム1が終了されていないと判定された場合(ステップST452;No)、表示情報作成装置40Bは、ステップST454へ移行する。
表示情報作成装置40Bは、地図作成終了の指示があるか否かを判定する(ステップST454)。具体的には、表示情報作成装置40Bは、作成開始終了指示部76Bが作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成終了指示を取得したか否かを判定する。地図作成終了の指示がある場合(ステップST454;Yes)、表示情報作成装置40Bは、図10に示すフローチャートの処理を終了する。地図作成終了の指示がない場合(ステップST454;No)、表示情報作成装置40Bは、ステップST406に戻り、ステップST406からステップST452までの処理を繰り返し実行する。
表示情報作成装置40Bは、移動体10による測定範囲が地図作成領域内に含まれる間、又はオペレーションの操作による三次元地図データの作成開始指示から作成終了指示までの間、ステップST406からステップST428までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Bは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Bは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
(第4実施形態)
次に、第4実施形態の表示情報作成装置40Cの内部構成について説明する。図11は、第4実施形態に係る表示情報作成装置40Cの内部構成を周辺構成とともに示すブロック図である。なお、第4実施形態の表示情報作成装置40Cにおいて、第3実施形態の表示情報作成装置40Bと同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
第4実施形態の表示情報作成装置40Cは、第3実施形態の表示情報作成装置40Bと比較して、地図化制御部70Bの代わりに地図化制御部70Cを含む点で異なる。地図化制御部70Cは、第3実施形態の地図化制御部70Bと比較して、領域内判定部74、作成開始終了指示部76B及び作成開始終了指示取得部82の代わりに、領域内判定部74C、作成開始終了指示部76C及び作成開始終了指示取得部82Cを含み、さらに、報知情報出力部84を含む点で異なる。
領域内判定部74Cは、第2実施形態及び第3実施形態の領域内判定部74と比較して、領域内判定部74は、地図作成領域内であるか否かの判定結果を、作成開始終了指示部76Cではなく、報知情報出力部84へ出力する点で異なる。領域内判定部74Cの他の構成及び機能は、第2実施形態及び第3実施形態の領域内判定部74と同様である。
作成開始終了指示部76Cは、第3実施形態の作成開始終了指示部76Bと比較して、領域内判定部74Cから、地図作成領域内であるか否かの判定結果を取得しない点で異なる。作成開始終了指示部76Cは、三次元地図データの作成開始指示及び作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Cは、作成開始終了指示取得部82Cから、オペレータの操作による三次元地図データの作成開始指示を取得した場合、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Cは、作成開始終了指示取得部82Cから、オペレータの操作による三次元地図データの作成終了指示を取得した場合、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。
報知情報出力部84は、領域内判定部74Cから、地図作成領域内であるか否かの判定結果を取得する。報知情報出力部84は、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を、表示部34へ出力する。オペレータは、表示部34に表示された報知情報を確認して、操作部32を介して三次元地図データの作成を開始するか否かを選択する操作を行う。
作成開始終了指示取得部82Cは、第3実施形態の作成開始終了指示取得部82と比較して、さらに、報知情報出力部84が出力した報知情報に対するオペレータの選択結果を取得する点で異なる。作成開始終了指示取得部82Cは、オペレータが報知情報に対して三次元地図データの作成を開始すると選択する操作を行った場合、三次元地図データの作成開始指示を、作成開始終了指示部76Cへ出力する。作成開始終了指示取得部82Cの他の構成及び機能は、第3実施形態の作成開始終了指示取得部82と同様である。
次に、第4実施形態の表示情報作成装置40Cによる表示情報の作成処理を含む表示方法について説明する。図12は、第4実施形態に係る表示情報作成装置40Cの処理の一例を示すフローチャートである。図12に示す処理は、表示情報作成装置40Cが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Cは、例えば、表示システム1が起動することによって、図12に示すステップST500に移行して処理を開始する。
ステップST500、ステップST502、ステップST506、ステップST508、ステップST510、及びステップST512の処理は、第3実施形態のステップST400、ステップST402、ステップST406、ステップST408、ステップST410、及びステップST412の処理と同様であるため、説明を省略する。ステップST512において、地図作成領域内であると判定された場合(ステップST512;Yes)、表示情報作成装置40Cは、ステップST522へ移行する。また、地図作成領域内でないと判定された場合(ステップST512;No)、表示情報作成装置40Cは、ステップST514へ移行する。
地図作成領域内であると判定された場合(ステップST512;Yes)、表示情報作成装置40Cは、地図作成を開始するか否かを選択するように報知する(ステップST522)。具体的には、報知情報出力部84は、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を、表示部34へ出力する。オペレータは、表示部34に表示された報知情報を確認して、操作部32を介して三次元地図データの作成を開始するか否かを選択する操作を行う。表示情報作成装置40Cは、ステップST524へ移行する。
表示情報作成装置40Cは、地図作成開始が選択されたか否かを判定する(ステップST524)。具体的には、作成開始終了指示取得部82Cは、報知情報出力部84が出力した報知情報に対するオペレータの選択結果を、操作部32を介して取得する。表示情報作成装置40Cは、作成開始終了指示取得部82Cが三次元地図データの作成開始を承諾する操作信号を取得した場合、地図作成開始が選択されたと判定する。地図作成開始が選択された場合(ステップST524;Yes)、表示情報作成装置40Cは、ステップST526へ移行する。表示情報作成装置40Cは、作成開始終了指示取得部82Cが三次元地図データの作成開始を拒否する操作信号を取得した場合、又は、報知情報の出力から所定時間が経過した場合、地図作成開始が選択されないと判定する。地図作成開始が選択されない場合(ステップST524;No)、表示情報作成装置40Cは、ステップST530へ移行する。
ステップST514、ステップST516、ステップST518、ステップST520、ステップST526、ステップST528、ステップST530、ステップST546、ステップST548、ステップST550、ステップST552、及びステップST554処理は、第3実施形態のステップST414、ステップST416、ステップST418、ステップST420、ステップST326、ステップST328、ステップST330ステップST346、ステップST348、ステップST350、ステップST352、及びステップST354処理と同様であるため、説明を省略する。
表示情報作成装置40Cは、移動体10による測定範囲が地図作成領域内に含まれる間、又はオペレーションの操作による三次元地図データの作成開始指示から作成終了指示までの間、ステップST506からステップST528までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Cは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Cは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
(第5実施形態)
次に、第5実施形態の表示情報作成装置40Dの内部構成について説明する。図13は、第5実施形態に係る表示情報作成装置40Dの内部構成を周辺構成とともに示すブロック図である。なお、第5実施形態の表示情報作成装置40Dにおいて、第1実施形態の表示情報作成装置40と同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
第5実施形態の表示情報作成装置40Dは、第1実施形態の表示情報作成装置40と比較して、位置情報取得部46、地図データ記憶部54及び表示情報作成部56の代わりに、位置情報取得部46D、地図データ記憶部54D及び表示情報作成部56Dを含み、さらに、干渉警告部90を含む点で異なる。
位置情報取得部46Dは、第1実施形態の位置情報取得部46と比較して、さらに、取得した位置情報を、地図データ作成部52へのみならず、干渉警告部90の移動物理量算出部94へ出力する点で異なる。位置情報取得部46Dの他の構成及び機能は、第1実施形態の位置情報取得部46と同様である。
地図データ記憶部54Dは、第1実施形態の地図データ記憶部54と比較して、さらに、更新された三次元地図データを、表示情報作成部56Dのみならず、干渉警告部90の干渉判定部102へ出力する。点で異なる。地図データ記憶部54Dの他の構成及び機能は、第1実施形態の地図データ記憶部54と同様である。
表示情報作成部56Dは、第1実施形態の表示情報作成部56と比較して、さらに、干渉警告部90の警告情報出力部104から、警告情報を取得する点で異なる。表示情報作成部56Dが取得する警告情報は、干渉警告部90が判定した干渉箇所の情報を含む。干渉箇所とは、周囲環境に移動体10が干渉する可能性のある領域を示す。干渉とは、第5実施形態において、地図データ記憶部54Dに記憶されている三次元地図データを構成する色付点群データと、移動体10の移動体三次元モデルとが重複又は所定距離以上に近接することを示す。表示情報作成部56Dは、第5実施形態において、干渉箇所を明示した色付点群データを、表示情報の三次元地図データに更新する。表示情報作成部56Dの他の構成及び機能は、第1実施形態の表示情報作成部56と同様である。
干渉警告部90は、移動体10が周囲環境に干渉する可能性がある場合、干渉の可能性を警告するための所定の警告情報を出力する。干渉警告部90は、移動体データ記憶部92と、移動物理量算出部94と、操作情報取得部96と、操作物理量算出部98と、存在可能領域算出部100と、干渉判定部102と、警告情報出力部104と、を含む。
移動体データ記憶部92は、移動体10に関する移動体データを予め記憶する。移動体データは、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む。移動体データ記憶部92は、移動体三次元モデルデータを、存在可能領域算出部100へ出力する。
移動物理量算出部94は、移動体10の移動に関する物理量を算出する。移動体10の移動に関する物理量は、領域座標系における移動体10の基準点の相対座標及び姿勢角と、領域座標系における移動体10の基準点の相対座標及び姿勢角の時間変化量とを含む。移動物理量算出部94は、まず、位置情報取得部46Dから移動体10の位置情報を取得する。移動物理量算出部94が取得する移動体10の位置情報は、領域座標系における移動体10の基準点の相対座標及び姿勢角の情報を含む。移動物理量算出部94は、取得した移動体10の位置情報を一時的に記憶する。移動物理量算出部94は、次に、時間的に連続する移動体10の位置情報に基づいて、移動体10の基準点の相対座標及び姿勢角の時間変化量を算出する。移動物理量算出部94は、移動体10の移動に関する物理量を、存在可能領域算出部100へ出力する。
操作情報取得部96は、操作部32がオペレータによる移動体10の移動に関する操作を受け付けた場合、操作部32から移動体10に対する操作情報を取得する。操作情報は、例えば、前進、後退、旋回、加速、減速、及び停止等の移動に関する操作情報を含む。操作情報取得部96は、移動体10に対する操作情報を、操作物理量算出部98へ出力する。
操作物理量算出部98は、移動体10に対する操作に対応する物理量を算出する。操作物理量算出部98は、操作情報取得部96から取得した移動体10に対する操作情報に基づいて、移動体10に対する操作に対応する物理量を算出する。移動体10に対する操作に対応する物理量は、移動体10の移動方向、移動速度、移動方向及び移動速度の変化量を含む。操作物理量算出部98は、算出した移動体10に対する操作に対応する物理量を、存在可能領域算出部100へ出力する。
存在可能領域算出部100は、移動体データ記憶部92から、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む移動体データを取得する。存在可能領域算出部100は、移動物理量算出部94から、移動体10の移動に関する物理量を取得する。存在可能領域算出部100は、操作物理量算出部98から、算出した移動体10に対する操作に対応する物理量を取得する。存在可能領域算出部100は、取得した移動体三次元モデルデータ、移動体10の移動に関する物理量及び移動体10に対する操作に対応する物理量に基づいて、現在から所定時間内での移動体10の存在可能領域を算出する。存在可能領域とは、現在から所定時間内で移動体10が存在する可能性のある領域を示す。存在可能領域算出部100は、領域座標系における存在可能領域の相対座標情報を、干渉判定部102へ出力する。
干渉判定部102は、移動体10が周囲環境に干渉する可能性があるか否かを判定する。より詳しくは、干渉判定部102は、まず、地図データ記憶部54Dから取得した三次元地図データと存在可能領域算出部100とに基づいて、存在可能領域と三次元地図データに含まれる色付点群データの各点との最短距離を算出する。干渉判定部102は、次に、算出した最短距離が、所定閾値以上か否かを判定する。干渉判定部102は、最短距離が所定閾値未満である場合、移動体10が周囲環境に干渉する可能性があるとする判定結果を、警告情報出力部104へ出力する。
警告情報出力部104は、移動体10が周囲環境に干渉する可能性があると干渉判定部102が判定した場合、干渉の可能性を警告するための所定の警告情報を、表示情報作成部56D及び表示部34へ出力する。警告情報出力部104が表示情報作成部56Dに出力する警告情報は、干渉箇所の情報を含む。干渉箇所は、存在可能領域との最短距離が所定閾値未満である色付点群データの各点を示す。警告情報出力部104が表示部34へ出力する警告情報は、例えば、表示部34の表示画面36に表示させる文字情報、スピーカで発信させる音情報、発光装置で発光させる光情報等を含んでもよい。
次に、第5実施形態の表示情報作成装置40Dによる表示情報の作成処理を含む表示方法について説明する。図14は、第5実施形態に係る表示情報作成装置40Dの処理の一例を示すフローチャートである。図14に示す処理は、表示情報作成装置40Dが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Dは、例えば、地図化制御部70が、オペレータの操作部32への操作に基づいて三次元地図データの作成開始を指示する制御信号を、色付点群データ作成部50に出力することによって、図14に示すステップST600に移行して処理を開始する。
ステップST600及びステップST602の処理は、第1実施形態のステップST200及びステップST202の処理と同様であるため、説明を省略する。表示情報作成装置40Dは、ステップST602の処理を終了すると、ステップST604に移行する。
表示情報作成装置40Dは、移動体三次元モデルを参照する(ステップST604)。具体的には、存在可能領域算出部100は、移動体データ記憶部92から、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む移動体データを取得する。表示情報作成装置40Dは、ステップST606に移行する。
ステップST606、ステップST608、ステップST610、ステップST626及びステップST628の処理は、第1実施形態のステップST206、ステップST208、ステップST210、ステップST226及びステップST228の処理と同様であるため、説明を省略する。但し、第5実施形態のステップST610においては、位置情報取得部46Dが、取得した位置情報を、地図データ作成部52のみならず、移動物理量算出部94へも出力する。また、第5実施形態のステップST628においては、地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56のみならず、干渉判定部102へも出力する。表示情報作成装置40Dは、ステップST628の処理を終了すると、ステップST632に移行する。
表示情報作成装置40Dは、移動体10の移動に関する物理量を算出する(ステップST632)。具体的には、まず、移動物理量算出部94が、位置情報取得部46Dから移動体10の位置情報を取得する。移動物理量算出部94が取得する移動体10の位置情報は、領域座標系における移動体10の基準点の相対座標及び姿勢角の情報を含む。移動物理量算出部94は、次に、時間的に連続する移動体10の位置情報に基づいて、領域座標系における移動体10の基準点の相対座標及び姿勢角の時間変化量を算出する。表示情報作成装置40Dは、ステップST634に移行する。
表示情報作成装置40Dは、移動体10に対する操作情報を取得する(ステップST634)。具体的には、操作情報取得部96は、操作部32がオペレータによる移動体10の移動に関する操作を受け付けた場合、操作部32から移動体10に対する操作情報を取得する。操作情報取得部96は、移動体10に対する操作情報を、操作物理量算出部98へ出力する。表示情報作成装置40Dは、ステップST636に移行する。
表示情報作成装置40Dは、移動体10に対する操作に対応する物理量を算出する(ステップST636)。具体的には、操作物理量算出部98は、操作情報取得部96から取得した移動体10に対する操作情報に基づいて、移動体10に対する操作に対応する、移動体10の移動方向、移動速度、移動方向及び移動速度の変化量を含む物理量を算出する。操作物理量算出部98は、算出した移動体10に対する操作に対応する物理量を、存在可能領域算出部100へ出力する。表示情報作成装置40Dは、ステップST638に移行する。
表示情報作成装置40Dは、現在から所定時間内での移動体10の存在可能領域を算出する(ステップST638)。具体的には、存在可能領域算出部100は、ステップST604で取得した移動体三次元モデルデータと、ステップST632で取得及び算出した移動体10の移動に関する物理量と、ステップST634で算出した移動体10に対する操作に対応する物理量に基づいて、移動体10の存在可能領域を算出する。表示情報作成装置40Dは、ステップST640に移行する。
表示情報作成装置40Dは、移動体10が周囲環境に干渉する可能性があるか否かを判定する(ステップST640)。具体的には、干渉判定部102は、まず、地図データ記憶部54Dから取得した三次元地図データと存在可能領域算出部100とに基づいて、存在可能領域と三次元地図データに含まれる色付点群データの各点との最短距離を算出する。干渉判定部102は、次に、算出した最短距離が、所定閾値以上か否かを判定する。
干渉判定部102は、最短距離が所定閾値未満である場合、移動体10が周囲環境に干渉する可能性があると判定する。移動体10が周囲環境に干渉する可能性がある場合(ステップST640;Yes)、移動体10が周囲環境に干渉する可能性があるとする判定結果を、警告情報出力部104へ出力する。表示情報作成装置40Dは、ステップST642に移行する。干渉判定部102は、最短距離が所定閾値以上である場合、移動体10が周囲環境に干渉する可能性がないと判定する。移動体10が周囲環境に干渉する可能性がない場合(ステップST640;No)、表示情報作成装置40Dは、ステップST646に移行する。
移動体10が周囲環境に干渉する可能性がある場合(ステップST640;Yes)、表示情報作成装置40Dは、干渉箇所を明示した色付点群データを三次元地図データに更新する(ステップST642)。具体的には、まず、警告情報出力部104が、存在可能領域との最短距離が所定閾値未満である色付点群データの各点を示す干渉箇所の情報を、表示情報作成部56Dへ出力する。次に、表示情報作成部56Dが、干渉箇所を明示した色付点群データを、表示情報の三次元地図データに更新する。表示情報作成装置40Dは、ステップST644に移行する。
表示情報作成装置40Dは、干渉可能性ありの警告情報を表示部34へ出力する(ステップST644)。具体的には、警告情報出力部104は、例えば、表示部34の表示画面36に表示させる文字情報、スピーカで発信させる音情報、発光装置で発光させる光情報等を含む警告情報を、表示部34へ出力する。なお、ステップST644は、ステップST642の前に実行されてもよい。表示情報作成装置40Dは、ステップST646に移行する。
ステップST646、ステップST648、ステップST650、及びステップST652の処理は、第1実施形態のステップST246、ステップST248、ステップST250、及びステップST252の処理と同様であるため、説明を省略する。
なお、ステップST638において、現在から所定時間内での移動体10の存在可能領域を算出する際に、各々の物理量の値をそのまま使用してもよいし、重み付けを行った値を使用してもよい。重み付けを行う場合の一例について、以下に説明する。移動体10の移動範囲において水平面における一方向をX方向とし、水平面におけるX方向と直交する方向をY方向とする。移動体10のX方向への速度をVxとし、Y方向への速度をVyとし、重み付け係数をα及びβとした場合、存在可能領域算出部100は、移動体10のX方向への速度をα×Vxとし、Y方向への速度をβ×Vyとして、存在可能領域を算出する。なお、Vx<Vy、かつ、α<β、である。これにより、移動量が大きいと予想される方向に、存在可能領域を拡大させるので、干渉判定部102がより安全よりの判定を行うことができる。
表示情報作成装置40Dは、ステップST606からステップST628までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Dは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Dは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。また、表示情報作成装置40Dは、移動体10が周囲環境に干渉する可能性がある場合、警告情報を出力するとともに、三次元地図データに干渉箇所を明示した色付点群データを追加して更新させる。
(各実施形態の作用効果)
各実施形態に記載の表示情報作成装置40、40A、40B、40C、40D、表示システム1、及び表示情報作成方法は、例えば以下のように把握される。
第1の様態に係る表示情報作成装置40、40A、40B、40C、40Dは、移動体10と所定領域2に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得する点群データ取得部42、42Aと、移動体10の位置情報を取得する位置情報取得部46、46A、46Dと、位置情報に基づいて点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)を共通の座標系に変換して三次元地図データを作成して随時合成する地図データ作成部52と、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定可能な画面設定部60と、表示設定に基づいて、三次元地図データの所定視点によって特定される地図を含む表示情報を作成する表示情報作成部56、56Dと、を備える。
第1の様態に係る表示情報作成装置40、40A、40B、40C、40Dは、画面設定部60において、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを画面に表示させることができるので、表示形式を容易に設定できる。例えば、移動体10に対して要求される操作精度が高い場合、移動体10の操作のパターンが複数ある場合等、移動体10の操作に対して適した画面表示があることが望ましい場合に、適切に任意の視点及び画面構成を設定できる。
第2の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、オペレータによる操作によって追加、編集又は削除可能であって、複数の表示設定と表示設定に対応する名称とがリスト化して記録されたデータを示す表示設定リストを有し、選択された表示設定を表示情報作成部56、56Dへ出力する。これにより、オペレータが各々の設定値の組み合わせを含む表示設定に対応する名称を指定することで、各々の設定値を一から入力することなく、所望の表示形式で、三次元地図データの地図を含む表示情報を表示部34に表示させることができる。
第3の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、過去の表示設定が一時的に記録されかつ所定容量に達した場合に最も古い表示設定から順に自動的に削除されるデータを示す直近設定リストを有する。これにより、近い過去に使用した表示形式で、迅速に三次元地図データの地図を含む表示情報を表示部34に表示させることができる。
第4の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、表示部34の複数の表示画面36に、三次元地図データの異なる視点による地図をそれぞれ表示させる表示設定を設定可能である。表示部34の表示画面36に表示させる地図は、三次元地図データの所定視点の地図である。これにより、本来点群データ及び色データを測定する測定装置20が取り付けられていない位置に視点を設定することができる。様々な視点に設定することができるので、移動体10の移動及び作業に合わせた適切な視点での周辺環境の情報をオペレータに提示することができる。さらに、複数の視点によって特定される地図を提示することにより、移動体10の移動及び作業の効率及び精度の向上に寄与する。また、過去に取得した点群データ及び色データに基づく三次元地図データに、随時新たな三次元地図データを追加して更新して三次元地図データを作成するので、測定装置20を多数配置することなく、複数の視点による地図を提供できる。
第5の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、表示部34の複数の表示画面36に、三次元地図データの所定視点によって特定される地図と、点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)の画像と、をそれぞれ表示させる表示設定を設定可能である。距離情報を含む点群データと、二次元の色情報である色データと、に基づいて、色付点群データを作成し、色付点群データの座標系の変換及び合成によって三次元地図データを作成しているため、三次元地図データの地図のみならず色付点群データの画像も表示できる。
第6の様態に係る表示情報作成装置40A、40B、40Cは、三次元地図データを含む表示情報の作成対象となる地図作成領域の位置情報を含む領域データを有し、点群データの各点の位置が地図作成領域に含まれる場合、三次元地図データの作成開始を指示する制御信号を出力する地図化制御部70A、70B、70Cを備える。これにより、移動体10において特定動作を行う以前の移動時に、三次元地図データを作成することができる。また、特定動作を行う位置より手前から三次元地図データを作成する場合、作成された地図データには、地物の表面を構成するより多くの各点について測定された点群データ及び色データが蓄積されるため、より多くの周辺環境の情報をオペレータに提示することができる。また、必要とされる領域に限定して三次元地図データを作成するので、処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。
第7の様態に係る表示情報作成装置40A、40B、40Cにおいて、領域データは、三次元地図データの作成を開始する以前にオペレータが操作可能な操作部32を介して予め追加、編集又は削除可能に設定される地図作成領域の位置情報を含む地図作成領域設定データを含む。これにより、三次元地図データが必要とされることが予測される領域について、予め地図作成領域として設定できるので、必要とされる領域について過不足なく自動的に三次元地図データを作成することができる。このため、オペレータによって三次元地図データの作成開始の指示を都度行う必要がないので、手間を低減でき、作成開始の遅延を抑制できる。
第8の様態に係る表示情報作成装置40B、40Cにおいて、地図化制御部70B、70Cは、オペレータが操作可能な操作部32を介して三次元地図データの作成開始を指示する操作信号を取得した場合、三次元地図データの作成開始を指示する制御信号を出力する。これにより、三次元地図データを必要とされることを予測していなかった領域についても、三次元地図データを作成することができる。
第9の様態に係る表示情報作成装置40B、40Cにおいて、領域データは、過去に三次元地図データの作成を指示された地図作成領域の位置情報を含む地図作成実績データを含む。これにより、移動体10が複数回に亘って移動又は作業した同一の領域で三次元地図データの作成を指示された場合、予め設定した地図作成領域でなくとも、実績に基づいて自動的に三次元地図データを作成することができる。
第10の様態に係る表示情報作成装置40Cにおいて、地図化制御部70Cは、点群データの各点の位置が地図作成領域に含まれる場合、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を出力し、三次元地図データの作成開始を選択する操作信号を取得した場合、三次元地図データの作成開始を指示する制御信号を出力する。これにより、オペレータに三次元地図作成の要否を確認することができるので、不要な三次元地図データを作成することを抑制し、処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。
第11の様態に係る表示情報作成装置40Dは、現在から所定時間内で移動体10が存在する可能性のある領域を示す存在可能領域と、三次元地図データに含まれる点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)の各点との最短距離とが、所定閾値未満である場合、警告情報を出力する干渉警告部90を備える。これにより、移動体10と周囲環境とが干渉する可能性をオペレータに警告できるので、移動体10と周囲環境との干渉を抑制できる。
第12の様態に係る表示情報作成装置40Dにおいて、干渉警告部90は、移動体10の三次元モデルのデータを示す移動体三次元モデルデータと、移動体10の移動に関する物理量と、移動体10に対する操作情報とに基づいて、存在可能領域を算出する。これにより、現在の移動体10の位置、移動方向及び移動速度のみならず、移動体10に対して移動方向及び移動速度を変更させる操作情報に基づいて存在可能領域を算出することにより、より好適に移動体10と周囲環境とが干渉する可能性を判定することができる。
第13の様態に係る表示システム1は、第1の様態から第12の様態のいずれか1つの表示情報作成装置40、40A、40B、40C、40Dと、所定領域2を移動可能かつ表示情報作成装置40、40A、40B、40C、40Dと通信可能な移動体10と、表示情報作成装置40、40A、40B、40C、40D及び移動体10への操作を入力可能な操作部32と、表示情報を表示可能な表示部34と、を含み、表示情報作成装置40、40A、40B、40C、40D及び移動体10と通信可能な基地局3と、を備える。
第13の様態に係る表示システム1は、表示情報作成装置40、40A、40B、40C、40Dの画面設定部60において、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを表示画面36に表示させることができるので、表示形式を容易に設定できる。
第14の様態に係る表示情報作成方法は、移動体10と所定領域2に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得するステップST206、ST306、ST406、ST506、ST606と、移動体10の位置情報を取得するステップST210、ST310、ST410、ST510、ST610と、位置情報に基づいて点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)を共通の座標系に変換して三次元地図データを作成して随時合成するステップST228、ST328、ST428、ST528、ST628と、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定するステップと、表示設定に基づいて、三次元地図データの所定視点によって特定される地図を含む表示情報を作成するステップST250、ST350、ST450、ST550、ST650と、を含む。
第14の様態に係る表示情報作成方法は、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを画面に表示させることができるので、表示形式を容易に設定できる。例えば、移動体10に対して要求される操作精度が高い場合、移動体10の操作のパターンが複数ある場合等、移動体10の操作に対して適した画面表示があることが望ましい場合に、適切に任意の視点及び画面構成を設定できる。
以上、本開示の実施形態を説明したが、これらの実施形態の記載内容によって実施形態が限定されるものではない。例えば、移動体10において点群データを取得するレーザ測量センサ22及び色データを取得する色データ取得センサ24に代えて、色付点群データを取得する距離画像センサを備えてもよい。この場合、表示情報作成装置40、40A、40B、40C、40Dは、点群データ取得部42及び色データ取得部44に代えて、色付点群データを取得する色付点群データ取得部を備える。
また、表示情報作成装置40、40A、40B、40C、40Dは、色付点群データのうち、所定の有効領域をフィルタリングによって抽出して、抽出された有効領域に該当する色付点群データのみから三次元地図データを作成してもよい。所定の有効領域は、例えば、移動体10に搭載される照明装置の照明範囲に相当する領域等を含む。
また、実施形態では点群データの各点に色データを付与した色付点群データから色付きの三次元地図データを作成したが、本開示では色データを必須としない。すなわち、色データの代わりに輝度データを点群データの各点に付与した輝度付点群データから輝度付きの三次元地図データを作成してもよいし、点群データから色情報や輝度情報を含まない三次元地図データを作成してもよい。この場合、例えば、地図化制御部70、70A、70B、70Cは、色付点群データ作成部50の代わりに、地図データ作成部52に三次元地図データの作成開始を指示すればよい。また、表示部34の表示画面36に色付点群データの画像を表示させてもよい。
また、実施形態では移動体10と基地局3と通信ネットワーク4を介して接続するが、本開示では通信を介する構成に限定されない。すなわち、本開示は、所定領域2に対して遠隔にオペレータが存在する構成に限定されない。例えば、本開示を自動車、建設機械、大型フォーク等の有人機の移動体に適用する場合は、移動体に基地局3の構成、すなわち操作部32、表示部34、及び表示情報作成装置40を設けて、制御部18と基地局3の構成とを電気的に接続してもよい。
1 表示システム
2 所定領域
3 基地局
4 通信ネットワーク
10 移動体
32 操作部
34 表示部
36 表示画面
40、40A、40B、40C、40D 表示情報作成装置
42、42A 点群データ取得部
44 色データ取得部
46、46A、46D 位置情報取得部
48 映像データ取得部
50 色付点群データ作成部
52 地図データ作成部
54、54D 地図データ記憶部
56、56D 表示情報作成部
58 表示情報出力部
60 画面設定部
70、70A、70B、70C 地図化制御部
90 干渉警告部

Claims (14)

  1. 移動体と所定領域に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得する点群データ取得部と、
    前記移動体の位置情報を取得する位置情報取得部と、
    前記位置情報に基づいて前記点群データを共通の座標系に変換して三次元地図データを作成して随時合成する地図データ作成部と、
    表示部の表示画面の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定可能な画面設定部と、
    前記表示設定に基づいて、前記三次元地図データの所定視点によって特定される地図を含む表示情報を作成する表示情報作成部と、
    を備える、表示情報作成装置。
  2. 前記画面設定部は、オペレータによる操作によって追加、編集又は削除可能であって、複数の前記表示設定と前記表示設定に対応する名称とがリスト化して記録されたデータを示す表示設定リストを有し、選択された前記表示設定を前記表示情報作成部へ出力する、
    請求項1に記載の、表示情報作成装置。
  3. 前記画面設定部は、過去の前記表示設定が一時的に記録されかつ所定容量に達した場合に最も古い前記表示設定から順に自動的に削除されるデータを示す直近設定リストを有する、
    請求項1又は2に記載の、表示情報作成装置。
  4. 前記画面設定部は、前記表示部の複数の表示画面に、前記三次元地図データの異なる視点による地図をそれぞれ表示させる前記表示設定を設定可能である、
    請求項1から3のいずれか1項に記載の、表示情報作成装置。
  5. 前記画面設定部は、前記表示部の複数の表示画面に、前記三次元地図データの所定視点によって特定される地図と、前記点群データの画像と、をそれぞれ表示させる前記表示設定を設定可能である、
    請求項1から4のいずれか1項に記載の、表示情報作成装置。
  6. 前記三次元地図データを含む前記表示情報の作成対象となる地図作成領域の位置情報を含む領域データを有し、前記点群データの各点の位置が前記地図作成領域に含まれる場合、前記三次元地図データの作成開始を指示する制御信号を出力する地図化制御部を備える、
    請求項1から5のいずれか1項に記載の、表示情報作成装置。
  7. 前記領域データは、前記三次元地図データの作成を開始する以前にオペレータが操作可能な操作部を介して予め追加、編集又は削除可能に設定される前記地図作成領域の位置情報を含む地図作成領域設定データを含む、
    請求項6に記載の、表示情報作成装置。
  8. 前記地図化制御部は、オペレータが操作可能な操作部を介して前記三次元地図データの作成開始を指示する操作信号を取得した場合、前記三次元地図データの作成開始を指示する制御信号を出力する、
    請求項6又は7に記載の、表示情報作成装置。
  9. 前記領域データは、過去に前記三次元地図データの作成を指示された前記地図作成領域の位置情報を含む地図作成実績データを含む、
    請求項8に記載の、表示情報作成装置。
  10. 前記地図化制御部は、前記点群データの各点の位置が前記地図作成領域に含まれる場合、前記三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を出力し、前記三次元地図データの作成開始を選択する操作信号を取得した場合、前記三次元地図データの作成開始を指示する制御信号を出力する、
    請求項6から9のいずれか1項に記載の、表示情報作成装置。
  11. 現在から所定時間内で移動体が存在する可能性のある領域を示す存在可能領域と、前記三次元地図データに含まれる前記点群データの各点との最短距離とが、所定閾値未満である場合、警告情報を出力する干渉警告部を備える、
    請求項1から10のいずれか1項に記載の、表示情報作成装置。
  12. 前記干渉警告部は、前記移動体の三次元モデルのデータを示す移動体三次元モデルデータと、前記移動体の移動に関する物理量と、前記移動体に対する操作情報とに基づいて、前記存在可能領域を算出する、
    請求項11に記載の、表示情報作成装置。
  13. 請求項1から12のいずれか1項に記載の表示情報作成装置と、
    前記所定領域を移動可能かつ前記表示情報作成装置と通信可能な前記移動体と、
    前記表示情報作成装置及び前記移動体への操作を入力可能な操作部と、前記表示情報を表示可能な前記表示部と、を含み、前記表示情報作成装置及び前記移動体と通信可能な基地局と、
    を備える、表示システム。
  14. 移動体と所定領域に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得するステップと、
    前記移動体の位置情報を取得するステップと、
    前記位置情報に基づいて前記点群データを共通の座標系に変換して三次元地図データを作成して随時合成するステップと、
    表示部の表示画面の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定するステップと、
    前記表示設定に基づいて、前記三次元地図データの所定視点によって特定される地図を含む表示情報を作成するステップと、
    を含む、表示情報作成方法。
JP2020117755A 2020-07-08 2020-07-08 表示情報作成装置、表示システム、及び表示情報作成方法 Active JP7461817B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020117755A JP7461817B2 (ja) 2020-07-08 2020-07-08 表示情報作成装置、表示システム、及び表示情報作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020117755A JP7461817B2 (ja) 2020-07-08 2020-07-08 表示情報作成装置、表示システム、及び表示情報作成方法

Publications (2)

Publication Number Publication Date
JP2022015113A true JP2022015113A (ja) 2022-01-21
JP7461817B2 JP7461817B2 (ja) 2024-04-04

Family

ID=80120774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020117755A Active JP7461817B2 (ja) 2020-07-08 2020-07-08 表示情報作成装置、表示システム、及び表示情報作成方法

Country Status (1)

Country Link
JP (1) JP7461817B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146505A (ja) * 2022-03-29 2023-10-12 防衛装備庁長官 物体認識システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8910064B2 (en) 2011-06-20 2014-12-09 Panasonic Intellectual Property Corporation Of America GUI program creation supporting apparatus, GUI program creation support method, computer-readable recording medium and integrated circuit
JP6371577B2 (ja) 2014-05-08 2018-08-08 古野電気株式会社 情報表示装置及び情報表示装置の表示レイアウト変更方法
JP6335389B2 (ja) 2015-05-20 2018-05-30 三菱電機株式会社 点群画像生成装置および表示システム
JP6851144B2 (ja) 2016-05-11 2021-03-31 株式会社パスコ 地図情報処理システム、地図情報処理方法、サーバ、及びプログラム
JP6768051B2 (ja) 2018-12-19 2020-10-14 三菱電機株式会社 道路監視装置および道路監視プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146505A (ja) * 2022-03-29 2023-10-12 防衛装備庁長官 物体認識システム
JP7392221B2 (ja) 2022-03-29 2023-12-06 防衛装備庁長官 物体認識システム

Also Published As

Publication number Publication date
JP7461817B2 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
US11914369B2 (en) Multi-sensor environmental mapping
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP6807781B2 (ja) 表示システム、表示方法、及び遠隔操作システム
KR101515496B1 (ko) 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
WO2020258721A1 (zh) 智能巡航车导航方法及系统
JP7182895B2 (ja) 情報処理装置、プログラム、および情報処理方法
JP6867120B2 (ja) 地図作成方法及び地図作成装置
JP6445808B2 (ja) 画像表示システム
KR20140144921A (ko) 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
JP2016181119A (ja) 移動機器の周囲状況提示システム
US11977378B2 (en) Virtual path guidance system
CN111637890A (zh) 一种结合终端增强现实技术的移动机器人导航方法
JP7461817B2 (ja) 表示情報作成装置、表示システム、及び表示情報作成方法
JP7138856B2 (ja) 俯瞰映像提示システム
JP2024020389A (ja) 制御方法、制御装置及びプログラム
JP6996820B2 (ja) 遠隔操縦用表示装置と遠隔操縦用表示方法
KR101475207B1 (ko) 로봇조종 훈련용 시뮬레이션장치
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
CN112558008B (zh) 基于光通信装置的导航方法、系统、设备及介质
JP2020170293A (ja) 画像表示方法及び遠隔操縦システム
JP2010128792A (ja) 表示装置および表示システム
JP2018174002A (ja) 移動体
JP7265269B2 (ja) マップデータの修正方法及び修正プログラム
JP7328157B2 (ja) 施工管理方法及び施工方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7461817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150