JP2023087623A - 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ - Google Patents
情報処理システム、情報処理方法、プログラム、移動体、管理サーバ Download PDFInfo
- Publication number
- JP2023087623A JP2023087623A JP2022073518A JP2022073518A JP2023087623A JP 2023087623 A JP2023087623 A JP 2023087623A JP 2022073518 A JP2022073518 A JP 2022073518A JP 2022073518 A JP2022073518 A JP 2022073518A JP 2023087623 A JP2023087623 A JP 2023087623A
- Authority
- JP
- Japan
- Prior art keywords
- data
- model data
- dimensional
- point cloud
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000011960 computer-aided design Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成される。
【選択図】図1
Description
る。
l Vehicle)などの飛行体(以下、「飛行体」と総称する)や無人地上車両(U
GV:Unmanned Ground Vehicle)などの走行体などの自律制御
可能な移動体が産業に利用され始めている。こうした中で、特許文献1には、LIDAR
により周辺環境のポイントクラウド(点群)を取得して屋内を飛行するシステムが開示さ
れている。
ユーザ端末)に転送される旨が開示されているものの、点群データの有効利用については
記載されていない。
示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの
比較データに応じた結果データを生成可能な情報処理システム等を提供することを目的と
する。
物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内を
センサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較し
た比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果デ
ータ生成部と、を備える。
移動体により取得される三次元点群センシングデータとの比較データに応じた結果データ
を生成可能な情報処理システム等を提供することができる。
テム等は、以下のような構成を備える。
[項目1]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする情報処理システム。
[項目2]
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて
点群データを取得することで点群化して生成される、
ことを特徴とする請求項1に記載の情報処理システム。
[項目3]
前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ
間の差分情報を含む、
ことを特徴とする請求項1または2のいずれかに記載の情報処理システム。
[項目4]
前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部
をさらに備える、
ことを特徴とする請求項3に記載の情報処理システム。
[項目5]
前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータ
における前記構成物を示す構成物情報の変更のための前記更新データを生成する、
ことを特徴とする請求項4に記載の情報処理システム。
[項目6]
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータ
を前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。
[項目7]
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデ
ルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。
[項目8]
前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得され
た撮影画像である、
ことを特徴とする請求項6または7のいずれかに記載の情報処理システム。
[項目9]
前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づ
き推定される前記三次元点群モデルデータにおける自己位置推定情報である、
ことを特徴とする請求項1ないし8のいずれかに記載の情報処理システム。
[項目10]
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
を含む、
ことを特徴とするコンピュータによる情報処理方法。
[項目11]
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
をコンピュータに実行させることを特徴とするプログラム。
[項目12]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする移動体。
[項目13]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新デー
タを生成するデータ更新部、を備える、
ことを特徴とする管理サーバ。
以下、本発明の実施の形態による情報処理システム、情報処理方法、プログラム、移動
体、管理サーバについての実施の形態を説明する。添付図面において、同一または類似の
要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一ま
たは類似の要素に関する重複する説明は省略することがある。また、各実施形態で示され
る特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
図1に示されるように、本実施の形態における情報処理システムは、管理サーバ1と、
一以上のユーザ端末2と、一以上の移動体4(例えば、飛行体や走行体など)と、一以上
の移動体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、移動体4と、移
動体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示
された構成は一例であり、これに限らず、例えば、移動体格納装置5を有さずに、ユーザ
により持ち運びされる構成などでもよい。
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。
接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパ
ーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コン
ピューティングによって論理的に実現されてもよい。
部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置
である。例えばプロセッサ10はCPU(Central Processing Un
it)および/またはGPU(Graphics Processing Unit)で
あり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム
等を実行して各情報処理を実施する。
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時
に実行されるBIOS(Basic Input / Output System)、
及び各種設定情報等を格納する。
処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよ
い。
luetooth(登録商標)及びBLE(Bluetooth Low Energy
)の近距離通信インターフェースを備えていてもよい。
機器である。
種制御信号を伝達する。
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、
送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続さ
れる。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることか
ら、各要素の詳細な説明は省略する。
移動体4は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含
む既知の移動体であって、特に自律制御可能な移動体である。移動体4の具体的な例とし
て、走行体4を例示して以下で説明する。図4は、走行体4のハードウェア構成を示すブ
ロック図である。コントローラ41は、プログラマブルプロセッサ(例えば、中央演算処
理装置(CPU))などの1つ以上のプロセッサを有することができる。
送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算
装置である。コントローラ41は、メモリ411を有しており、当該メモリにアクセス可
能である。メモリ411は、1つ以上のステップを行うためにコントローラ41が実行可
能であるロジック、コード、および/またはプログラム命令を記憶している。また、コン
トローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接セ
ンサ(例えば、ライダー)等のセンサ類412を含みうる。
可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得し
たデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で
撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに
限らず、カメラ/センサ類42または内蔵メモリからネットワークNWを介して、少なく
とも管理サーバ1やユーザ端末2、移動体格納装置5のいずれかに1つに記録されてもよ
い。カメラ42は走行体4にジンバルを介して設置されていてもよい。
ュールを含んでいる。例えば、制御モジュールは、走行体の空間的配置、速度、および/
または加速度を調整するために、走行体の走行部(モータ45や車輪46等)を制御する
。バッテリー48から給電されるモータ45により車輪46が回転することで走行体の推
進力を生じさせる。制御モジュールは、カメラ/センサ類42の状態のうちの1つ以上を
制御することができる。そして、後述の移動経路情報記憶部480に格納された移動経路
情報に基づき、自律移動制御を行うように構成することも可能である。なお、図4の例示
においては、モータ45が車輪46ごとに設けられているが、これに代えて前後各2つの
車輪で共通としたり(すなわち、モータ45が前後で2つ)、前後4つの車輪で共通とし
たり(すなわち、モータ45が1つ)してもよく、これらは限定されない。
管理サーバ1、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/
または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線
通信または無線通信などの任意の適当な通信手段を使用することができる。
トワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネット
ワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することがで
きる。
た処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのう
ちの1つ以上を送信および/または受け取ることができる。
ンサ)、GPSセンサ、近接センサ(例えば、LiDAR(Light Detecti
on And Ranging)等)、またはビジョン/イメージセンサ(例えば、カメ
ラ)を含み得る。
ック図である。本発明の実施の形態においては、例えば、構造物(例えばビルなどの建物
)内の構成物(例えば、壁、柱、階段、設備など)の構成物情報及び構成物の配置情報を
含む三次元モデルデータ(例えば、BIMデータやCADデータなど)を点群化した三次
元点群モデルデータと、構造物内をセンサによりセンシングした結果を示す三次元点群セ
ンシングデータ(例えば、SLAMデータなど)と、を互いに比較した比較結果情報を生
成し、当該比較結果情報に応じた結果データを生成するために各種機能部を有している。
成部120、データ更新部130、情報出力部140、三次元モデルデータ記憶部150
、取得データ記憶部160を備えている。さらに、移動体4は、通信部410、三次元点
群センシングデータ取得部420、比較部430、比較結果データ送信部440、自己位
置推定部450、三次元データ記憶部460、生成データ記憶部470、移動経路情報記
憶部480を備えている。なお、各種機能部は、管理サーバ1のプロセッサ10または移
動体4のコントローラ41の能力等に合わせて、プロセッサ10またはコントローラ41
のうちのいずれの構成において実現されていてもよい。
110は、ユーザ端末2等からの各種要求やデータ等を受け付ける受付部としても機能す
る。
情報も含む)及び構成物の配置に関する配置情報を含む三次元モデルデータから、構造物
内の構成物に関する三次元点群モデルデータを生成する。三次元モデルデータ、三次元点
群モデルデータは、それぞれ設定された任意の点を原点(基準点)とした三次元の直交座
標系により表現されるデータであって、三次元データ記憶部150に記憶されて管理され
る。
ソフトウェアなどで作成されたデータを基にして作成された、構造物内の構成物の配置を
示し、寸法情報を有する三次元モデルデータであればどのようなデータであってもよく、
例えば、BIM(Building Information Modeling)デー
タ、CIM(Construction Information Modeling)
データ、CADデータ、City―GML等のGMLデータ、BIMデータ等から再構築
された三次元モデルデータ(例えば、BIMデータに付与されている材質情報等を除き表
面の位置情報等を抽出して三次元モデル化したデータ等)、複数種類の三次元モデルデー
タ(例えば、BIMデータとCity―GMLデータなど)を組み合わせて再構築された
三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを
有する構成物を生成することで得られた三次元モデルデータであってもよい。
する三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例え
ば、三次元モデルデータの構造物内を仮想のセンサ(例えば、仮想のLiDAR)を搭載
した仮想の移動体4を移動させることにより構造物内の構成物に関する三次元点群モデル
データを生成してもよい。これにより、理論上、構造物内を移動体4のセンサで実測した
場合の点群センシングデータに近い点群データを生成することができる。また、他の三次
元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化して
もよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点
群化してもよいし、既知の点群化技術(点群データへの変換技術)を用いて点群化しても
よい。
する。
信部410は、ユーザ端末2等からの各種要求やデータ等を受け付ける受付部としても機
能する。
構造物内を移動体4に搭載したセンサ(例えば、LiDAR)により実測することで生成
された三次元点群センシングデータを取得する。三次元点群センシングデータは、設定さ
れた任意の点を原点(基準点)とした三次元の直交座標系により表現されるデータであっ
て、三次元データ記憶部460に記憶されて管理される。
点群モデルデータと、三次元点群センシングデータを比較し、比較データを生成する。三
次元モデルデータは、例えば事前に管理サーバ1から三次元データ記憶部460に記憶さ
れて管理され、比較データは、例えば生成データ記憶部470に記憶されて管理される。
てもよく、点群間比較の既存技術であってもよいが、本実施の形態においては両三次元点
群データのフィッティング(両三次元点群データの縮尺が異なる場合には縮尺合わせも含
む)を行って、例えば三次元点群モデルデータの点をベースに三次元点群センシングデー
タを比較して所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データ
を生成する方法であってもよく、より具体的な例としては、例えば八分木を用いて所定値
の大きさのボクセルで空間を区切り、三次元点群モデルデータで点がなかったボクセル内
に、三次元スキャン点群データの点が存在する、または、存在しない場合に差分の点とし
て判定するようにしてもよい。すなわち、比較データは、このように両者の差が所定以上
の点群データである差分点群データであってもよい。なお、上述のとおり、両点群データ
の縮尺が異なる場合については縮尺を一致させるようにフィッティングを行うが、若干の
縮尺違い(すなわち、略一致)などの状況においては、ボクセルによる空間分解能に応じ
て、点のズレがあったとしても点の有無の変化がないと判定することが可能であるので、
縮尺一致のためのフィッティングは行わなくとも縮尺違いによる誤差は軽減される。
センシングデータと三次元点群モデルデータとの比較であってもよいが、移動経路を移動
中に取得した部分的な三次元点群センシングデータと三次元点群モデルデータとの比較で
あってもよい。そして、後者の比較の場合においては、比較データとして、三次元点群セ
ンシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータに
おける自己位置推定情報を含んでいてもよい。
較データに基づく結果データを生成し、外部(特に管理サーバ1やユーザ端末2)へ送信
する。結果データは、例えば比較データをそのまま用いたものであってもよいし、比較デ
ータから不要な情報(例えばズレ幅が所定値よりも小さい情報など)を削除したりなど比
較データを編集したデータであってもよい。
説明する。
タの更新のための更新データを生成し、当該更新データに応じて三次元モデルデータを更
新する。結果データは、取得データ記憶部160にて記憶され管理されてもよい。データ
更新部130は、より具体的には、例えば、点群の形状から三次元モデルデータにおける
構成物情報を推定するための学習モデルを用いたり、または、三次元モデルデータにおけ
る構成物の形状を点群化した構成物点群形状情報データベースを参照及び比較して推定す
るなどして、結果データの点群データ(特に差分点群データ)に基づき、変化があった構
成物の構成物情報(特に、構成物識別情報や構成物の種別情報など構成物が何かを特定す
る情報)を推定するとともに、三次元モデルデータと比較していずれの構成物がどのよう
に変化しているか(数の増減または場所の移動があるか)を判定する。そして、データ更
新部130は、この判定結果に基づいて、三次元モデルデータの構成物情報を変化に合わ
せて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を
変更したりなどと更新する。これにより、移動体4によるセンシング時の構造物内の構成
物の状態を反映した三次元モデルデータに更新が可能となる。
を推定する際に、構成物情報(特に構成物識別情報や構成物の種別情報など構成物がどの
ような種類のものかを特定する情報)が推定できないが何らかの構成物が存在することは
推定される場合には、例えば、推定できなかったことを示す所定形状の不明モデルデータ
(例えば、円柱や四角柱などの図形的な立体形状)を三次元モデルデータ上に配置するよ
うにしてもよいし、結果データの点群データ(特に差分点群データ)に基づき推定される
不明な構成物の形状(近似した形状を含む)の不明モデルデータを三次元モデルデータ上
に配置してもよいし、三次元モデルデータ上に差分点群データ(特に、比較の結果増えた
点群データ)を、例えば推定できなかった点群であることを示す色付けなどして重ね合わ
せて配置してもよい。さらに、上述の不明モデルデータのテクスチャを他の構成物とは異
なるテクスチャ(例えば、単色の目立つ色のテクスチャや、?マークなどの記号や「不明
」というテキストなどが記載されているテクスチャなど)としてもよいし、例えばセンサ
によりセンシングして点群データを取得する際などに取得された不明な構成物の位置の撮
影画像を不明モデルデータのテクスチャとしてもよい。これにより、三次元モデルデータ
を確認する際に、現場で確かめる必要がある場所が明らかになる。
次元点群モデルデータ、三次元点群センシングデータ、取得データ記憶部160に記憶さ
れる結果データや撮影データ(静止画や動画)、移動関連情報記憶部170に記憶される
移動経路情報や自己位置情報、などに基づいてユーザ端末2や移動体4に送信するための
出力情報を生成する。本実施の形態においては、例えば、ユーザ端末2において三次元モ
デルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に
基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対
応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ(例
えば、三次元モデルデータや三次元点群データ)を閲覧可能にするための出力情報を生成
してもよい。そして、ユーザ端末2において、当該リンクをユーザ端末2上で選択する操
作入力を受け付けることで、対応する取得情報が表示されるようにしてもよい。この時、
三次元データとして、BIMデータに関連する三次元データを用いた場合、BIMデータ
に関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物
単位で紐づけ(例えばリンク生成)が可能となる。
方法)について説明する。図7には、本実施形態にかかる情報処理のフローチャートが例
示されている。図8-11には、各三次元データを例示している。
る三次元モデルデータ(図8参照。例えば、BIMデータから生成された三次元モデルデ
ータ)を点群化した三次元点群モデルデータ(図9参照)を生成する(S101)。そし
て、生成した三次元点群モデルデータは、通信部101を介して移動体4へ送信される(
S102)。移動体4により受信された三次元点群モデルデータは、例えば三次元データ
記憶部460に記憶されてもよい。なお、このS102は、移動体4において比較処理が
行われるまでに実行されるのであれば、任意のタイミングで実行されてよい。
0に記憶される移動経路情報及びコントローラ41の制御に基づき、自律的な移動を開始
する(S103)。そして、移動体4は、三次元点群センシングデータ取得部420によ
り、移動中にセンサ(例えば、LiDAR)により生成された三次元点群センシングデー
タ(図10に例示されるように、センサを中心にセンシングして取得される三次元点群セ
ンシングデータ)を取得する(S104)。なお、移動経路情報は、例えばユーザ端末2
によりユーザが生成した移動経路に関する情報であってもよいし、移動体4をプロポ等の
外部コントローラで移動させた移動経路を記憶した情報であってもよい。また、移動体4
の移動は、上述の自律的な移動に限らず、ユーザ端末2や外部コントローラの入力操作に
したがって移動するようにしてもよい。
において、取得した三次元点群センシングデータと三次元点群モデルデータとを比較して
比較データを生成する(S105)。比較データは、移動中においては、取得する部分的
な三次元点群センシングデータと三次元点群モデルデータとの比較を行い、三次元点群セ
ンシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータに
おける自己位置推定情報を含んでいてもよい。また、比較データの生成は、移動終了後に
おいては、例えば両三次元点群データの比較(図11の例示では両三次元点群データを重
ね合わせている)を行って、例えば両者間で所定のズレ幅がある点や、そもそも点の有無
が異なる点に関する比較データ、すなわち、両者の差が所定以上の点群データ(例えば、
同じボクセル内に存在しない、または、新たに存在する点データの群)である差分点群デ
ータ600(図12参照)を生成してもよい。さらに、比較データは、図12に例示され
るように、三次元点群モデルデータまたは三次元点群センシングデータの少なくともいず
れかに重ね合わせて表示されてもよい。
30により生成された比較データに基づく結果データを生成し、外部(特に管理サーバ1
やユーザ端末2)へ送信する(S107)。結果データは、上述のとおり、例えば比較デ
ータをそのまま用いたものであってもよいし、比較データから不要な情報(例えばズレ幅
が所定値よりも小さい情報など)を削除したりなど比較データを編集したデータであって
もよい。結果データは、所定位置からセンシングした三次元点群センシングデータに対応
する単一の比較データに基づくデータに限らず、移動体4が移動しながらセンシングした
複数位置における複数の比較データをまとめたデータ(例えば、複数位置における複数の
三次元点群センシングデータに対応する複数の差分点群データ600を重ね合わせた差分
点群データ)であってもよい。なお、このようなまとめ処理は、移動体4においてステッ
プS107内で行われてもよいし、後述するステップS108内で管理サーバ1において
行われてもよい。
デルデータを更新する(S108)。更新は、結果データに基づき変化があった構成物の
構成物情報を推定するとともに、三次元モデルデータの構成物情報を結果データから判定
される変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削
除したり、位置を変更したりなどと変更する。
少なくとも表示するために送信する出力情報(例えば、上述のとおり、三次元モデルデー
タや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現
在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取
得情報を閲覧するためのリンクとなる記号などの印が付された三次元データを閲覧可能に
するための出力情報)を生成する(S109)。そして、生成された出力情報は、ユーザ
端末2や移動体4へ送信されてもよい。
移動体により取得される三次元点群センシングデータとの比較データに応じた結果データ
を生成可能な情報処理システム等を提供することができる。
物内をセンサでセンシングできればどのような構成でもよいため、例えばユーザ等の作業
者がセンサデバイスを持ち歩くことで三次元点群センシングデータを生成してもよく、そ
の他の機能部(通信部410、三次元点群センシングデータ取得部420、比較部430
、比較結果データ送信部440、自己位置推定部450、三次元データ記憶部460、生
成データ記憶部470、移動経路情報記憶部480など)については、センサデバイスが
直接または通信可能に接続される端末(ユーザ端末2を含む)や当該端末を介して接続さ
れる管理サーバ1のプロセッサやメモリにおいて実現される構成であってもよい。その場
合、S103の移動開始ステップは、センサを起動させて作業者が移動するステップであ
り得る。
構造物外の点検であってもよく、CIMデータやCity―GML等の構造物の表面を構
成するデータを含む三次元モデルデータを用い、このような三次元モデルデータを点群化
した三次元点群モデルデータと、三次元点群センシングデータとを比較することで、構造
物内同様の結果データを生成し、自己位置推定情報を取得したり、更新部130による構
造物外の構成(例えば、看板やアンテナ、増築した構成など)の更新などを行うことが可
能となる。さらに、構造物内外の両方に対する処理を組み合わせてもよい。
めに利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置(可
視光カメラ、赤外線カメラ、金属探知機、超音波測定器等)や、打鍵装置等、探知装置(
金属探知機)、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置(宇宙線
、放射線、電磁波等を検出するための装置)等の点検対象構造物の状態を知るために必要
な装置は全て採用され得る。
めに利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置(可
視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等)や、センサ装置
(モーションセンサ、赤外線センサ等)等、警備・監視対象構造物の異常や侵入者等を撮
像・検知するために必要な装置は全て採用され得る。
できる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物
や構造物内の点検、災害対応等の様々な産業にも利用することができる。
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
2 ユーザ端末
4 移動体
5 移動体格納装置
Claims (13)
- 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする情報処理システム。 - 前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて
点群データを取得することで点群化して生成される、
ことを特徴とする請求項1に記載の情報処理システム。 - 前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ
間の差分情報を含む、
ことを特徴とする請求項1または2のいずれかに記載の情報処理システム。 - 前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部
をさらに備える、
ことを特徴とする請求項3に記載の情報処理システム。 - 前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータ
における前記構成物を示す構成物情報の変更のための前記更新データを生成する、
ことを特徴とする請求項4に記載の情報処理システム。 - 前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータ
を前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。 - 前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデ
ルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。 - 前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得され
た撮影画像である、
ことを特徴とする請求項6または7のいずれかに記載の情報処理システム。 - 前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づ
き推定される前記三次元点群モデルデータにおける自己位置推定情報である、
ことを特徴とする請求項1ないし8のいずれかに記載の情報処理システム。 - 比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
を含む、
ことを特徴とするコンピュータによる情報処理方法。 - 比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
をコンピュータに実行させることを特徴とするプログラム。 - 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする移動体。 - 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新デー
タを生成するデータ更新部、を備える、
ことを特徴とする管理サーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022073518A JP7228298B1 (ja) | 2021-12-13 | 2022-04-27 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022525057A JP7118490B1 (ja) | 2021-12-13 | 2021-12-13 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
PCT/JP2021/045773 WO2023112083A1 (ja) | 2021-12-13 | 2021-12-13 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
JP2022073392A JP2023087622A (ja) | 2021-12-13 | 2022-04-27 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
JP2022073518A JP7228298B1 (ja) | 2021-12-13 | 2022-04-27 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022073392A Division JP2023087622A (ja) | 2021-12-13 | 2022-04-27 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7228298B1 JP7228298B1 (ja) | 2023-02-24 |
JP2023087623A true JP2023087623A (ja) | 2023-06-23 |
Family
ID=87760989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022073518A Active JP7228298B1 (ja) | 2021-12-13 | 2022-04-27 | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7228298B1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092044A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体 |
JP2012255674A (ja) * | 2011-06-08 | 2012-12-27 | Mitsutoyo Corp | 位置合わせ方法 |
WO2017110801A1 (ja) * | 2015-12-25 | 2017-06-29 | 三菱電機株式会社 | 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム |
KR102037331B1 (ko) * | 2019-05-02 | 2019-11-26 | (주)디노 | 플랜트 정밀 시공 지원 시스템 및 공간 정합성 검증 방법 |
JP2020086751A (ja) * | 2018-11-21 | 2020-06-04 | 日立Geニュークリア・エナジー株式会社 | マップ生成装置、および、マップ生成方法 |
JP2020095009A (ja) * | 2018-07-02 | 2020-06-18 | エスアールアイ インターナショナルSRI International | コンピュータによる鉄筋測定検査システム |
-
2022
- 2022-04-27 JP JP2022073518A patent/JP7228298B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092044A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体 |
JP2012255674A (ja) * | 2011-06-08 | 2012-12-27 | Mitsutoyo Corp | 位置合わせ方法 |
WO2017110801A1 (ja) * | 2015-12-25 | 2017-06-29 | 三菱電機株式会社 | 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム |
JP2020095009A (ja) * | 2018-07-02 | 2020-06-18 | エスアールアイ インターナショナルSRI International | コンピュータによる鉄筋測定検査システム |
JP2020086751A (ja) * | 2018-11-21 | 2020-06-04 | 日立Geニュークリア・エナジー株式会社 | マップ生成装置、および、マップ生成方法 |
KR102037331B1 (ko) * | 2019-05-02 | 2019-11-26 | (주)디노 | 플랜트 정밀 시공 지원 시스템 및 공간 정합성 검증 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7228298B1 (ja) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
WO2021184218A1 (zh) | 一种相对位姿标定方法及相关装置 | |
JP7118490B1 (ja) | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ | |
US11450102B2 (en) | System and method for spatially mapping smart objects within augmented reality scenes | |
US20200012756A1 (en) | Vision simulation system for simulating operations of a movable platform | |
CN110741395B (zh) | 现场命令视觉 | |
JP6829513B1 (ja) | 位置算出方法及び情報処理システム | |
Deng et al. | Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments | |
Gong et al. | Extrinsic calibration of a 3D LIDAR and a camera using a trihedron | |
JP2018096969A (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
JP2018072316A (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
JP7004374B1 (ja) | 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム | |
JP7228298B1 (ja) | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ | |
Baeck et al. | Drone based near real-time human detection with geographic localization | |
JP2020012774A (ja) | 建造物の測定方法 | |
Frietsch et al. | Vision based hovering and landing system for a vtol-mav with geo-localization capabilities | |
JP7072311B1 (ja) | 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム | |
JP7441579B1 (ja) | 情報処理システム及び情報処理方法 | |
JP7217570B1 (ja) | 情報処理システム及びプログラム、情報処理方法、サーバ | |
JP7573826B1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
WO2023228283A1 (ja) | 情報処理システム及び移動体、情報処理方法、プログラム | |
JP7170369B1 (ja) | 情報処理システム及び移動体、情報処理方法、プログラム | |
Nowicki et al. | Laser-based localization and terrain mapping for driver assistance in a city bus | |
WO2021049508A1 (ja) | 寸法表示システムおよび寸法表示方法 | |
JP7228310B1 (ja) | 情報処理システム及びプログラム、情報処理方法、サーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220427 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7228298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |