JP2023087623A - 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ - Google Patents

情報処理システム、情報処理方法、プログラム、移動体、管理サーバ Download PDF

Info

Publication number
JP2023087623A
JP2023087623A JP2022073518A JP2022073518A JP2023087623A JP 2023087623 A JP2023087623 A JP 2023087623A JP 2022073518 A JP2022073518 A JP 2022073518A JP 2022073518 A JP2022073518 A JP 2022073518A JP 2023087623 A JP2023087623 A JP 2023087623A
Authority
JP
Japan
Prior art keywords
data
model data
dimensional
point cloud
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022073518A
Other languages
English (en)
Other versions
JP7228298B1 (ja
Inventor
駿 菅井
Shun Sugai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022525057A external-priority patent/JP7118490B1/ja
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Priority to JP2022073518A priority Critical patent/JP7228298B1/ja
Application granted granted Critical
Publication of JP7228298B1 publication Critical patent/JP7228298B1/ja
Publication of JP2023087623A publication Critical patent/JP2023087623A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

Figure 2023087623000001
【課題】本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供すること。
【解決手段】本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成される。
【選択図】図1

Description

本発明は、情報処理システム、情報処理方法、プログラム、移動体、管理サーバに関す
る。
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aeria
l Vehicle)などの飛行体(以下、「飛行体」と総称する)や無人地上車両(U
GV:Unmanned Ground Vehicle)などの走行体などの自律制御
可能な移動体が産業に利用され始めている。こうした中で、特許文献1には、LIDAR
により周辺環境のポイントクラウド(点群)を取得して屋内を飛行するシステムが開示さ
れている。
特開2020-131930号公報
しかしながら、上記特許文献1では、飛行体が取得した点群データはオペレータ端末(
ユーザ端末)に転送される旨が開示されているものの、点群データの有効利用については
記載されていない。
本発明はこのような背景を鑑みてなされたものであり、少なくとも構造物内の構成物を
示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの
比較データに応じた結果データを生成可能な情報処理システム等を提供することを目的と
する。
上記課題を解決するための本発明の情報処理システム等は、少なくとも構造物内の構成
物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内を
センサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較し
た比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果デ
ータ生成部と、を備える。
本発明によれば、特に、少なくとも構造物内の構成物を示す三次元点群モデルデータと
移動体により取得される三次元点群センシングデータとの比較データに応じた結果データ
を生成可能な情報処理システム等を提供することができる。
本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図1の管理サーバのハードウェア構成を示すブロック図である。 図1のユーザ端末のハードウェア構成を示すブロック図である。 図1の移動体のハードウェア構成を示すブロック図である。 図1の管理サーバの機能を示すブロック図である。 図1の移動体の機能を示すブロック図である。 本発明の実施の形態にかかる情報処理方法のフローチャートである。 本発明の実施の形態にかかる三次元モデルデータの表示例である。 本発明の実施の形態にかかる三次元点群モデルデータの表示例である。 本発明の実施の形態にかかる三次元点群センシングデータの表示例である。 本発明の実施の形態にかかる三次元データ同士をフィッティングした際の表示例である。 本発明の実施の形態にかかる比較データの表示例である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理シス
テム等は、以下のような構成を備える。
[項目1]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする情報処理システム。
[項目2]
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて
点群データを取得することで点群化して生成される、
ことを特徴とする請求項1に記載の情報処理システム。
[項目3]
前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ
間の差分情報を含む、
ことを特徴とする請求項1または2のいずれかに記載の情報処理システム。
[項目4]
前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部
をさらに備える、
ことを特徴とする請求項3に記載の情報処理システム。
[項目5]
前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータ
における前記構成物を示す構成物情報の変更のための前記更新データを生成する、
ことを特徴とする請求項4に記載の情報処理システム。
[項目6]
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータ
を前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。
[項目7]
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデ
ルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項5に記載の情報処理システム。
[項目8]
前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得され
た撮影画像である、
ことを特徴とする請求項6または7のいずれかに記載の情報処理システム。
[項目9]
前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づ
き推定される前記三次元点群モデルデータにおける自己位置推定情報である、
ことを特徴とする請求項1ないし8のいずれかに記載の情報処理システム。
[項目10]
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
を含む、
ことを特徴とするコンピュータによる情報処理方法。
[項目11]
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
をコンピュータに実行させることを特徴とするプログラム。
[項目12]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする移動体。
[項目13]
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
グデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新デー
タを生成するデータ更新部、を備える、
ことを特徴とする管理サーバ。
<実施の形態の詳細>
以下、本発明の実施の形態による情報処理システム、情報処理方法、プログラム、移動
体、管理サーバについての実施の形態を説明する。添付図面において、同一または類似の
要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一ま
たは類似の要素に関する重複する説明は省略することがある。また、各実施形態で示され
る特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
図1に示されるように、本実施の形態における情報処理システムは、管理サーバ1と、
一以上のユーザ端末2と、一以上の移動体4(例えば、飛行体や走行体など)と、一以上
の移動体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、移動体4と、移
動体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示
された構成は一例であり、これに限らず、例えば、移動体格納装置5を有さずに、ユーザ
により持ち運びされる構成などでもよい。
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ1は、ユーザ端末2と、移動体4、移動体格納装置5と
接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパ
ーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コン
ピューティングによって論理的に実現されてもよい。
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信
部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受
信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置
である。例えばプロセッサ10はCPU(Central Processing Un
it)および/またはGPU(Graphics Processing Unit)で
あり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム
等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時
に実行されるBIOS(Basic Input / Output System)、
及び各種設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよ
い。
送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、B
luetooth(登録商標)及びBLE(Bluetooth Low Energy
)の近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、
送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続さ
れる。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることか
ら、各要素の詳細な説明は省略する。
<移動体4>
移動体4は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含
む既知の移動体であって、特に自律制御可能な移動体である。移動体4の具体的な例とし
て、走行体4を例示して以下で説明する。図4は、走行体4のハードウェア構成を示すブ
ロック図である。コントローラ41は、プログラマブルプロセッサ(例えば、中央演算処
理装置(CPU))などの1つ以上のプロセッサを有することができる。
また、コントローラ41は、移動体4全体の動作を制御し、各要素間におけるデータの
送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算
装置である。コントローラ41は、メモリ411を有しており、当該メモリにアクセス可
能である。メモリ411は、1つ以上のステップを行うためにコントローラ41が実行可
能であるロジック、コード、および/またはプログラム命令を記憶している。また、コン
トローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接セ
ンサ(例えば、ライダー)等のセンサ類412を含みうる。
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離
可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得し
たデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で
撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに
限らず、カメラ/センサ類42または内蔵メモリからネットワークNWを介して、少なく
とも管理サーバ1やユーザ端末2、移動体格納装置5のいずれかに1つに記録されてもよ
い。カメラ42は走行体4にジンバルを介して設置されていてもよい。
コントローラ41は、走行体4の状態を制御するように構成された図示しない制御モジ
ュールを含んでいる。例えば、制御モジュールは、走行体の空間的配置、速度、および/
または加速度を調整するために、走行体の走行部(モータ45や車輪46等)を制御する
。バッテリー48から給電されるモータ45により車輪46が回転することで走行体の推
進力を生じさせる。制御モジュールは、カメラ/センサ類42の状態のうちの1つ以上を
制御することができる。そして、後述の移動経路情報記憶部480に格納された移動経路
情報に基づき、自律移動制御を行うように構成することも可能である。なお、図4の例示
においては、モータ45が車輪46ごとに設けられているが、これに代えて前後各2つの
車輪で共通としたり(すなわち、モータ45が前後で2つ)、前後4つの車輪で共通とし
たり(すなわち、モータ45が1つ)してもよく、これらは限定されない。
コントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、
管理サーバ1、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/
または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線
通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネッ
トワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネット
ワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することがで
きる。
送受信部47は、カメラ/センサ類42で取得したデータ、コントローラ41が生成し
た処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのう
ちの1つ以上を送信および/または受け取ることができる。
本実施の形態によるカメラ/センサ類42は、慣性センサ(加速度センサ、ジャイロセ
ンサ)、GPSセンサ、近接センサ(例えば、LiDAR(Light Detecti
on And Ranging)等)、またはビジョン/イメージセンサ(例えば、カメ
ラ)を含み得る。
図5及び図6は、管理サーバ1及び移動体4に実装される機能をそれぞれ例示したブロ
ック図である。本発明の実施の形態においては、例えば、構造物(例えばビルなどの建物
)内の構成物(例えば、壁、柱、階段、設備など)の構成物情報及び構成物の配置情報を
含む三次元モデルデータ(例えば、BIMデータやCADデータなど)を点群化した三次
元点群モデルデータと、構造物内をセンサによりセンシングした結果を示す三次元点群セ
ンシングデータ(例えば、SLAMデータなど)と、を互いに比較した比較結果情報を生
成し、当該比較結果情報に応じた結果データを生成するために各種機能部を有している。
本実施の形態においては、管理サーバ1は、通信部110、三次元点群モデルデータ生
成部120、データ更新部130、情報出力部140、三次元モデルデータ記憶部150
、取得データ記憶部160を備えている。さらに、移動体4は、通信部410、三次元点
群センシングデータ取得部420、比較部430、比較結果データ送信部440、自己位
置推定部450、三次元データ記憶部460、生成データ記憶部470、移動経路情報記
憶部480を備えている。なお、各種機能部は、管理サーバ1のプロセッサ10または移
動体4のコントローラ41の能力等に合わせて、プロセッサ10またはコントローラ41
のうちのいずれの構成において実現されていてもよい。
通信部110は、ユーザ端末2や、移動体4、移動体格納装置5と通信を行う。通信部
110は、ユーザ端末2等からの各種要求やデータ等を受け付ける受付部としても機能す
る。
三次元点群モデルデータ生成部120は、構造物内の構成物に関する構成物情報(寸法
情報も含む)及び構成物の配置に関する配置情報を含む三次元モデルデータから、構造物
内の構成物に関する三次元点群モデルデータを生成する。三次元モデルデータ、三次元点
群モデルデータは、それぞれ設定された任意の点を原点(基準点)とした三次元の直交座
標系により表現されるデータであって、三次元データ記憶部150に記憶されて管理され
る。
三次元モデルデータは、CAD(Computer―Aided Design)設計
ソフトウェアなどで作成されたデータを基にして作成された、構造物内の構成物の配置を
示し、寸法情報を有する三次元モデルデータであればどのようなデータであってもよく、
例えば、BIM(Building Information Modeling)デー
タ、CIM(Construction Information Modeling)
データ、CADデータ、City―GML等のGMLデータ、BIMデータ等から再構築
された三次元モデルデータ(例えば、BIMデータに付与されている材質情報等を除き表
面の位置情報等を抽出して三次元モデル化したデータ等)、複数種類の三次元モデルデー
タ(例えば、BIMデータとCity―GMLデータなど)を組み合わせて再構築された
三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを
有する構成物を生成することで得られた三次元モデルデータであってもよい。
三次元点群モデルデータの生成方法は、三次元モデルデータから構造物内の構成物に関
する三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例え
ば、三次元モデルデータの構造物内を仮想のセンサ(例えば、仮想のLiDAR)を搭載
した仮想の移動体4を移動させることにより構造物内の構成物に関する三次元点群モデル
データを生成してもよい。これにより、理論上、構造物内を移動体4のセンサで実測した
場合の点群センシングデータに近い点群データを生成することができる。また、他の三次
元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化して
もよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点
群化してもよいし、既知の点群化技術(点群データへの変換技術)を用いて点群化しても
よい。
ここで、本実施の形態における処理の流れを鑑み、移動体4の機能部について一旦説明
する。
通信部410は、管理サーバ1や、ユーザ端末2、移動体格納装置5と通信を行う。通
信部410は、ユーザ端末2等からの各種要求やデータ等を受け付ける受付部としても機
能する。
三次元点群センシングデータ取得部420は、三次元モデルデータの対象となっている
構造物内を移動体4に搭載したセンサ(例えば、LiDAR)により実測することで生成
された三次元点群センシングデータを取得する。三次元点群センシングデータは、設定さ
れた任意の点を原点(基準点)とした三次元の直交座標系により表現されるデータであっ
て、三次元データ記憶部460に記憶されて管理される。
比較部430は、例えば三次元点群モデルデータ生成部120により生成された三次元
点群モデルデータと、三次元点群センシングデータを比較し、比較データを生成する。三
次元モデルデータは、例えば事前に管理サーバ1から三次元データ記憶部460に記憶さ
れて管理され、比較データは、例えば生成データ記憶部470に記憶されて管理される。
比較方法は、点群同士を比較して比較データが生成可能であればどのような方法であっ
てもよく、点群間比較の既存技術であってもよいが、本実施の形態においては両三次元点
群データのフィッティング(両三次元点群データの縮尺が異なる場合には縮尺合わせも含
む)を行って、例えば三次元点群モデルデータの点をベースに三次元点群センシングデー
タを比較して所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データ
を生成する方法であってもよく、より具体的な例としては、例えば八分木を用いて所定値
の大きさのボクセルで空間を区切り、三次元点群モデルデータで点がなかったボクセル内
に、三次元スキャン点群データの点が存在する、または、存在しない場合に差分の点とし
て判定するようにしてもよい。すなわち、比較データは、このように両者の差が所定以上
の点群データである差分点群データであってもよい。なお、上述のとおり、両点群データ
の縮尺が異なる場合については縮尺を一致させるようにフィッティングを行うが、若干の
縮尺違い(すなわち、略一致)などの状況においては、ボクセルによる空間分解能に応じ
て、点のズレがあったとしても点の有無の変化がないと判定することが可能であるので、
縮尺一致のためのフィッティングは行わなくとも縮尺違いによる誤差は軽減される。
また、比較部430による点群データの比較は、所定の移動経路を移動後の三次元点群
センシングデータと三次元点群モデルデータとの比較であってもよいが、移動経路を移動
中に取得した部分的な三次元点群センシングデータと三次元点群モデルデータとの比較で
あってもよい。そして、後者の比較の場合においては、比較データとして、三次元点群セ
ンシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータに
おける自己位置推定情報を含んでいてもよい。
結果データ送信部440は、通信部410を介して、比較部430により生成された比
較データに基づく結果データを生成し、外部(特に管理サーバ1やユーザ端末2)へ送信
する。結果データは、例えば比較データをそのまま用いたものであってもよいし、比較デ
ータから不要な情報(例えばズレ幅が所定値よりも小さい情報など)を削除したりなど比
較データを編集したデータであってもよい。
ここで、本実施の形態における処理の流れを鑑み、管理サーバ1の機能部について再度
説明する。
データ更新部130は、移動体4から受信した結果データに基づき、三次元モデルデー
タの更新のための更新データを生成し、当該更新データに応じて三次元モデルデータを更
新する。結果データは、取得データ記憶部160にて記憶され管理されてもよい。データ
更新部130は、より具体的には、例えば、点群の形状から三次元モデルデータにおける
構成物情報を推定するための学習モデルを用いたり、または、三次元モデルデータにおけ
る構成物の形状を点群化した構成物点群形状情報データベースを参照及び比較して推定す
るなどして、結果データの点群データ(特に差分点群データ)に基づき、変化があった構
成物の構成物情報(特に、構成物識別情報や構成物の種別情報など構成物が何かを特定す
る情報)を推定するとともに、三次元モデルデータと比較していずれの構成物がどのよう
に変化しているか(数の増減または場所の移動があるか)を判定する。そして、データ更
新部130は、この判定結果に基づいて、三次元モデルデータの構成物情報を変化に合わ
せて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を
変更したりなどと更新する。これにより、移動体4によるセンシング時の構造物内の構成
物の状態を反映した三次元モデルデータに更新が可能となる。
なお、データ更新部130は、上述のとおり結果データに基づき構成物(構成物情報)
を推定する際に、構成物情報(特に構成物識別情報や構成物の種別情報など構成物がどの
ような種類のものかを特定する情報)が推定できないが何らかの構成物が存在することは
推定される場合には、例えば、推定できなかったことを示す所定形状の不明モデルデータ
(例えば、円柱や四角柱などの図形的な立体形状)を三次元モデルデータ上に配置するよ
うにしてもよいし、結果データの点群データ(特に差分点群データ)に基づき推定される
不明な構成物の形状(近似した形状を含む)の不明モデルデータを三次元モデルデータ上
に配置してもよいし、三次元モデルデータ上に差分点群データ(特に、比較の結果増えた
点群データ)を、例えば推定できなかった点群であることを示す色付けなどして重ね合わ
せて配置してもよい。さらに、上述の不明モデルデータのテクスチャを他の構成物とは異
なるテクスチャ(例えば、単色の目立つ色のテクスチャや、?マークなどの記号や「不明
」というテキストなどが記載されているテクスチャなど)としてもよいし、例えばセンサ
によりセンシングして点群データを取得する際などに取得された不明な構成物の位置の撮
影画像を不明モデルデータのテクスチャとしてもよい。これにより、三次元モデルデータ
を確認する際に、現場で確かめる必要がある場所が明らかになる。
情報出力部140は、三次元データ記憶部150に記憶される三次元モデルデータや三
次元点群モデルデータ、三次元点群センシングデータ、取得データ記憶部160に記憶さ
れる結果データや撮影データ(静止画や動画)、移動関連情報記憶部170に記憶される
移動経路情報や自己位置情報、などに基づいてユーザ端末2や移動体4に送信するための
出力情報を生成する。本実施の形態においては、例えば、ユーザ端末2において三次元モ
デルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に
基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対
応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ(例
えば、三次元モデルデータや三次元点群データ)を閲覧可能にするための出力情報を生成
してもよい。そして、ユーザ端末2において、当該リンクをユーザ端末2上で選択する操
作入力を受け付けることで、対応する取得情報が表示されるようにしてもよい。この時、
三次元データとして、BIMデータに関連する三次元データを用いた場合、BIMデータ
に関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物
単位で紐づけ(例えばリンク生成)が可能となる。
図7を参照して、本実施形態にかかる情報処理方法(特に、三次元モデルデータの更新
方法)について説明する。図7には、本実施形態にかかる情報処理のフローチャートが例
示されている。図8-11には、各三次元データを例示している。
まず、管理サーバ1は、三次元点群モデルデータ生成部により、構造体の構造物に関す
る三次元モデルデータ(図8参照。例えば、BIMデータから生成された三次元モデルデ
ータ)を点群化した三次元点群モデルデータ(図9参照)を生成する(S101)。そし
て、生成した三次元点群モデルデータは、通信部101を介して移動体4へ送信される(
S102)。移動体4により受信された三次元点群モデルデータは、例えば三次元データ
記憶部460に記憶されてもよい。なお、このS102は、移動体4において比較処理が
行われるまでに実行されるのであれば、任意のタイミングで実行されてよい。
次に、移動体4は、構造体内をセンサにより実測するために、移動関連情報記憶部17
0に記憶される移動経路情報及びコントローラ41の制御に基づき、自律的な移動を開始
する(S103)。そして、移動体4は、三次元点群センシングデータ取得部420によ
り、移動中にセンサ(例えば、LiDAR)により生成された三次元点群センシングデー
タ(図10に例示されるように、センサを中心にセンシングして取得される三次元点群セ
ンシングデータ)を取得する(S104)。なお、移動経路情報は、例えばユーザ端末2
によりユーザが生成した移動経路に関する情報であってもよいし、移動体4をプロポ等の
外部コントローラで移動させた移動経路を記憶した情報であってもよい。また、移動体4
の移動は、上述の自律的な移動に限らず、ユーザ端末2や外部コントローラの入力操作に
したがって移動するようにしてもよい。
次に、移動体4は、比較部430により、移動中または移動終了後の少なくとも何れか
において、取得した三次元点群センシングデータと三次元点群モデルデータとを比較して
比較データを生成する(S105)。比較データは、移動中においては、取得する部分的
な三次元点群センシングデータと三次元点群モデルデータとの比較を行い、三次元点群セ
ンシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータに
おける自己位置推定情報を含んでいてもよい。また、比較データの生成は、移動終了後に
おいては、例えば両三次元点群データの比較(図11の例示では両三次元点群データを重
ね合わせている)を行って、例えば両者間で所定のズレ幅がある点や、そもそも点の有無
が異なる点に関する比較データ、すなわち、両者の差が所定以上の点群データ(例えば、
同じボクセル内に存在しない、または、新たに存在する点データの群)である差分点群デ
ータ600(図12参照)を生成してもよい。さらに、比較データは、図12に例示され
るように、三次元点群モデルデータまたは三次元点群センシングデータの少なくともいず
れかに重ね合わせて表示されてもよい。
次に、移動体4は、結果データ送信部440により、通信部410を介して、比較部4
30により生成された比較データに基づく結果データを生成し、外部(特に管理サーバ1
やユーザ端末2)へ送信する(S107)。結果データは、上述のとおり、例えば比較デ
ータをそのまま用いたものであってもよいし、比較データから不要な情報(例えばズレ幅
が所定値よりも小さい情報など)を削除したりなど比較データを編集したデータであって
もよい。結果データは、所定位置からセンシングした三次元点群センシングデータに対応
する単一の比較データに基づくデータに限らず、移動体4が移動しながらセンシングした
複数位置における複数の比較データをまとめたデータ(例えば、複数位置における複数の
三次元点群センシングデータに対応する複数の差分点群データ600を重ね合わせた差分
点群データ)であってもよい。なお、このようなまとめ処理は、移動体4においてステッ
プS107内で行われてもよいし、後述するステップS108内で管理サーバ1において
行われてもよい。
次に、管理サーバ1は、更新部130により、受信した結果データに基づき、三次元モ
デルデータを更新する(S108)。更新は、結果データに基づき変化があった構成物の
構成物情報を推定するとともに、三次元モデルデータの構成物情報を結果データから判定
される変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削
除したり、位置を変更したりなどと変更する。
次に、管理サーバ1は、情報出力部140により、ユーザ端末2において所定の情報を
少なくとも表示するために送信する出力情報(例えば、上述のとおり、三次元モデルデー
タや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現
在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取
得情報を閲覧するためのリンクとなる記号などの印が付された三次元データを閲覧可能に
するための出力情報)を生成する(S109)。そして、生成された出力情報は、ユーザ
端末2や移動体4へ送信されてもよい。
このように、本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと
移動体により取得される三次元点群センシングデータとの比較データに応じた結果データ
を生成可能な情報処理システム等を提供することができる。
なお、上述の実施例では移動体4による構造物内のセンシングを具体例としたが、構造
物内をセンサでセンシングできればどのような構成でもよいため、例えばユーザ等の作業
者がセンサデバイスを持ち歩くことで三次元点群センシングデータを生成してもよく、そ
の他の機能部(通信部410、三次元点群センシングデータ取得部420、比較部430
、比較結果データ送信部440、自己位置推定部450、三次元データ記憶部460、生
成データ記憶部470、移動経路情報記憶部480など)については、センサデバイスが
直接または通信可能に接続される端末(ユーザ端末2を含む)や当該端末を介して接続さ
れる管理サーバ1のプロセッサやメモリにおいて実現される構成であってもよい。その場
合、S103の移動開始ステップは、センサを起動させて作業者が移動するステップであ
り得る。
また、上述の実施例では移動体4による構造物内の情報取得を具体例としたが、例えば
構造物外の点検であってもよく、CIMデータやCity―GML等の構造物の表面を構
成するデータを含む三次元モデルデータを用い、このような三次元モデルデータを点群化
した三次元点群モデルデータと、三次元点群センシングデータとを比較することで、構造
物内同様の結果データを生成し、自己位置推定情報を取得したり、更新部130による構
造物外の構成(例えば、看板やアンテナ、増築した構成など)の更新などを行うことが可
能となる。さらに、構造物内外の両方に対する処理を組み合わせてもよい。
また、移動体4は、構造物の内壁および/または外壁の所定の事象の有無を点検するた
めに利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置(可
視光カメラ、赤外線カメラ、金属探知機、超音波測定器等)や、打鍵装置等、探知装置(
金属探知機)、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置(宇宙線
、放射線、電磁波等を検出するための装置)等の点検対象構造物の状態を知るために必要
な装置は全て採用され得る。
また、実施例は例えば構造物内の警備や監視の際に実行されてもよく、警備や監視のた
めに利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置(可
視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等)や、センサ装置
(モーションセンサ、赤外線センサ等)等、警備・監視対象構造物の異常や侵入者等を撮
像・検知するために必要な装置は全て採用され得る。
本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することが
できる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物
や構造物内の点検、災害対応等の様々な産業にも利用することができる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 管理サーバ
2 ユーザ端末
4 移動体
5 移動体格納装置

Claims (13)

  1. 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
    ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
    グデータと、を互いに比較した比較データを生成する比較部と、
    前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
    ことを特徴とする情報処理システム。
  2. 前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて
    点群データを取得することで点群化して生成される、
    ことを特徴とする請求項1に記載の情報処理システム。
  3. 前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ
    間の差分情報を含む、
    ことを特徴とする請求項1または2のいずれかに記載の情報処理システム。
  4. 前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部
    をさらに備える、
    ことを特徴とする請求項3に記載の情報処理システム。
  5. 前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータ
    における前記構成物を示す構成物情報の変更のための前記更新データを生成する、
    ことを特徴とする請求項4に記載の情報処理システム。
  6. 前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
    構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータ
    を前記三次元モデルデータ上に配置する、
    ことを特徴とする請求項5に記載の情報処理システム。
  7. 前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の
    構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデ
    ルデータを前記三次元モデルデータ上に配置する、
    ことを特徴とする請求項5に記載の情報処理システム。
  8. 前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得され
    た撮影画像である、
    ことを特徴とする請求項6または7のいずれかに記載の情報処理システム。
  9. 前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づ
    き推定される前記三次元点群モデルデータにおける自己位置推定情報である、
    ことを特徴とする請求項1ないし8のいずれかに記載の情報処理システム。
  10. 比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
    三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
    元点群センシングデータと、を互いに比較した比較データを生成するステップと、
    結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
    を含む、
    ことを特徴とするコンピュータによる情報処理方法。
  11. 比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した
    三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次
    元点群センシングデータと、を互いに比較した比較データを生成するステップと、
    結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
    をコンピュータに実行させることを特徴とするプログラム。
  12. 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
    ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
    グデータと、を互いに比較した比較データを生成する比較部と、
    前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
    ことを特徴とする移動体。
  13. 少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデ
    ルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシン
    グデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新デー
    タを生成するデータ更新部、を備える、
    ことを特徴とする管理サーバ。


JP2022073518A 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ Active JP7228298B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022073518A JP7228298B1 (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022525057A JP7118490B1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
PCT/JP2021/045773 WO2023112083A1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2022073392A JP2023087622A (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2022073518A JP7228298B1 (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022073392A Division JP2023087622A (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Publications (2)

Publication Number Publication Date
JP7228298B1 JP7228298B1 (ja) 2023-02-24
JP2023087623A true JP2023087623A (ja) 2023-06-23

Family

ID=87760989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022073518A Active JP7228298B1 (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Country Status (1)

Country Link
JP (1) JP7228298B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体
JP2012255674A (ja) * 2011-06-08 2012-12-27 Mitsutoyo Corp 位置合わせ方法
WO2017110801A1 (ja) * 2015-12-25 2017-06-29 三菱電機株式会社 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム
KR102037331B1 (ko) * 2019-05-02 2019-11-26 (주)디노 플랜트 정밀 시공 지원 시스템 및 공간 정합성 검증 방법
JP2020086751A (ja) * 2018-11-21 2020-06-04 日立Geニュークリア・エナジー株式会社 マップ生成装置、および、マップ生成方法
JP2020095009A (ja) * 2018-07-02 2020-06-18 エスアールアイ インターナショナルSRI International コンピュータによる鉄筋測定検査システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体
JP2012255674A (ja) * 2011-06-08 2012-12-27 Mitsutoyo Corp 位置合わせ方法
WO2017110801A1 (ja) * 2015-12-25 2017-06-29 三菱電機株式会社 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム
JP2020095009A (ja) * 2018-07-02 2020-06-18 エスアールアイ インターナショナルSRI International コンピュータによる鉄筋測定検査システム
JP2020086751A (ja) * 2018-11-21 2020-06-04 日立Geニュークリア・エナジー株式会社 マップ生成装置、および、マップ生成方法
KR102037331B1 (ko) * 2019-05-02 2019-11-26 (주)디노 플랜트 정밀 시공 지원 시스템 및 공간 정합성 검증 방법

Also Published As

Publication number Publication date
JP7228298B1 (ja) 2023-02-24

Similar Documents

Publication Publication Date Title
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
WO2021184218A1 (zh) 一种相对位姿标定方法及相关装置
JP7118490B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
US11450102B2 (en) System and method for spatially mapping smart objects within augmented reality scenes
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
CN110741395B (zh) 现场命令视觉
JP6829513B1 (ja) 位置算出方法及び情報処理システム
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
Gong et al. Extrinsic calibration of a 3D LIDAR and a camera using a trihedron
JP2018096969A (ja) ジオアーク(geoarc)を使用したビークルの二次元位置の特定
JP2018072316A (ja) ジオアーク(geoarc)を使用したビークルの二次元位置の特定
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
Baeck et al. Drone based near real-time human detection with geographic localization
JP2020012774A (ja) 建造物の測定方法
Frietsch et al. Vision based hovering and landing system for a vtol-mav with geo-localization capabilities
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7441579B1 (ja) 情報処理システム及び情報処理方法
JP7217570B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7573826B1 (ja) 情報処理システム、情報処理方法及びプログラム
WO2023228283A1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
JP7170369B1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
WO2021049508A1 (ja) 寸法表示システムおよび寸法表示方法
JP7228310B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7228298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150