JP2023065012A - 記憶装置、および記憶方法 - Google Patents

Abstract

【課題】適切に自己位置推定を行うこと。【解決手段】記憶装置は、所定位置の周囲の画像を撮像するとともに、所定位置から周囲の物体までの距離を計測するセンサ部と、センサ部が撮像した画像における可視領域と不可視領域とからキーポイントを抽出するキーポイント抽出部と、可視領域のキーポイントと、不可視領域のキーポイントとに基づいて、位置推定を行う自己位置推定部と、自己位置推定部の位置推定結果に関する情報を記憶する記憶部と、を備える。【選択図】図２

Description

本開示は、記憶装置、および記憶方法に関する。

トンネルなどの工事現場において、施工中の壁面などのコンクリートのクラックの有無を検査する技術が知られている。例えば、特許文献１には、道路構造物の表面の欠陥を、車両を用いて検査する技術が開示されている。例えば、特許文献２には、構造物の変状箇所の状態と座標とを関連付ける技術が開示されている。

特許第６０６８０９９号公報 特許第６８２９８４６号公報

工事現場などの様々な物が様々な場所に配置されていたり、多数の作業者および工事車両が動き回っていたりする環境下で、構造物のクラックを検出し、適切にクラックと位置情報を関連付けることは困難である可能性がある。

本開示は、適切に自己位置推定を行うことのできる記憶装置、および記憶方法を提供することを目的とする。

本開示に係る記憶装置は、所定位置の周囲の画像を撮像するとともに、前記所定位置から周囲の物体までの距離を計測するセンサ部と、前記センサ部が撮像した画像における可視領域と不可視領域とからキーポイントを抽出するキーポイント抽出部と、前記可視領域のキーポイントと、前記不可視領域のキーポイントとに基づいて、位置推定を行う自己位置推定部と、前記自己位置推定部の位置推定結果に関する情報を記憶する記憶部と、を備える。

本開示に係る記憶方法は、所定位置の周囲の画像を撮像するとともに、前記所定位置から周囲の物体までの距離を計測するステップと、撮像した画像における可視領域と不可視領域とからキーポイントを抽出するステップと、前記可視領域のキーポイントと、前記不可視領域のキーポイントとに基づいて、位置推定を行うステップと、位置推定結果に関する情報を記憶部に記憶するステップと、を含む。

本開示によれば、適切に自己位置推定を行うことができる。

図１は、第１実施形態に係る記憶装置の概要を説明するための図である。 図２は、第１実施形態に係る記憶装置の構成例を示すブロック図である。 図３は、第１実施形態に係る記憶装置の構成例を示す図である。 図４は、第１実施形態に係る自己位置推定の処理内容の概要を示すフローチャートである。 図５は、第１実施形態に係る自己位置推定処理の一例を説明するための図である。 図６は、第１実施形態に係る撮像画像記憶部が記憶している撮像情報の一例を示す図である。 図７は、第２実施形態に係る自己位置推定処理の流れを示すフローチャートである。 図８Ａは、第２実施形態に係るＲＧＢ－Ｄデータの一例を示す図である。 図８Ｂは、第２実施形態に係るＲＧＢ－Ｄデータの一例を示す図である。 図９は、レーダ画角を設定する方法の一例を説明するための図である。 図１０は、第２実施形態に係る３次元レーダ情報を生成する方法を説明するための図である。 図１１は、第２実施形態に係る物体領域の輝度を設定する処理の内容を示すフローチャートである。 図１２は、第２実施形態に係る３次元レーダ情報の一例を示す図である。 図１３は、第２実施形態に係る仮想スクリーン上に投影された３次元レーダ情報の一例を示す図である。 図１４Ａは、第２実施形態に係る透過情報の一例を示す図である。 図１４Ｂは、第２実施形態に係る透過情報の一例を示す図である。 図１５は、第３実施形態に係る自己位置推定処理の流れを示すフローチャートである。 図１６は、第３実施形態に係る透過情報の深度データを示す図である。 図１７は、第３実施形態に係る３次元レーダ情報を生成する方法を説明するための図である。 図１８Ａは、第３実施形態に係る透過情報の一例を示す図である。 図１８Ｂは、第３実施形態に係る透過情報の一例を示す図である。 図１９は、第４実施形態に係るクラック情報の出力処理の流れを示すフローチャートである。

以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［比較例］
本開示の実施形態を説明する前に、比較例に係る技術について説明する。

トンネルなどの工事現場において、施工中の壁面などのコンクリートにクラック（ひび割れれ）が生じた場合、そのクラックを施工期間中に修復する必要がある。そのため、作業者などは、クラックの検査を行い、クラックを発見した場合には、そのクラックの状況と位置とを記録する。作業者は、例えば、スケッチ、および写真などでクラックの状況を記録する。通常、カメラ及びスマートフォンなどの撮像装置は、撮影データに撮影場所の位置情報を付加する機能を含む。カメラなどは、全世界測定システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの衛星信号を受信機器で受信することで位置情報を取得し、撮影データに位置情報を関連付ける。しかしながら、カメラなどは、トンネルなどのように天空が遮断されている工事現場においては、衛星信号を受信することができず、位置情報を取得することができない。このような場合、作業者は、クラックの位置の特定を、メジャーを用いて手作業で行うことになる。

作業者は、例えば、車両を用いて、トンネルにおけるコンクリートのクラックなどを検査する（例えば、特許文献１参照）。車両の荷台には、例えば、照明手段および撮影手段が設置されている。車両は、走行しながら照明手段で壁面を照らしつつ、撮影手段で壁面の状況を撮影する。この場合、撮影手段が撮影した画像データに基づいて、壁面にクラックなどの劣化があるか否かを自動的に検出する。撮影手段は、ひとつのトンネルの壁面を１つの画像として撮影し、クラックなどの位置の特定を容易にする。撮影手段としては、例えば、ラインセンサが用いられる。このため、トンネルの壁面を均一に計測するためには、車両は、撮影手段と壁面との距離を一定にし、壁面に沿って一定速度で走行することが求められる。このため、車両を用いたクラックの検査は、様々な部材が様々な場所に置かれていたり、足場が組まれていたり、多数の作業者が作業を行っていたりする環境には適していない。

近年では、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の発達に伴い、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）技術を利用した、トンネルなどのような構造物の維持管理システムが提案されている（例えば、特許文献２参照）。このような維持管理システムは、カメラ及びデプスセンサを用いて周囲の状況をセンシングする。維持管理システムは、センシング結果に基づき、構造物の図面情報及び維持管理情報から、周囲の状況に即した情報を示す画像を生成する。維持管理システムは、生成した画像を実際の周囲の景色に重ねるように表示出力する。これにより、作業者は、構造物そのものを観察しながら、構造物を破壊することなく、その裏に配置された配管、及び施工前の調査で得られた土壌の情報を重ねて観察することが可能となる。さらに、以前に調査したクラックなどの情報を重ねて表示することにより、作業者は、クラックの劣化の進行具合を観察することが可能となる。

維持管理システムでは、例えば、位置の推定にＶｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いる。Ｖｉｓｕａｌ－ＳＬＡＭでは、カメラで撮像された周囲の画像から、特徴のある画像（キーポイント）を抽出する。Ｖｉｓｕａｌ－ＳＬＡＭでは、抽出したキーポイントのうち、自己位置推定の演算に使用するのに最適と思われるキーポイントをマップポイントして記憶する。Ｖｉｓｕａｌ－ＳＬＡＭは、フレーム間で複数のマップポイントの見え方の変化から、ＨＭＤの位置推定を行う。結果、ＨＭＤのカメラで周囲の画像を取り込むことで位置を推定し、構造物の設計図上の位置を特定し、設計図の情報と維持管理情報から視線上の情報を読み出し、画像化することを可能としている。

維持管理システムは、作業者がＨＭＤを頭部に装着することで、クラックなどの確認作業を行うことが可能となる。このため、車両を走行させるための走行空間を確保する必要もないので、検査対象となる場所において、作業者は、歩いて検査することが可能である。

維持管理システムのＨＭＤのＶｉｓｕａｌ－ＳＬＡＭにおいては、マップポイントは静止物であると仮定して自己位置推定を行う。このため、Ｖｉｓｕａｌ－ＳＬＡＭでは、動く物をマップポイントと認識した場合、自己位置として誤った位置を推定することがある。また、検知できるマップポイントが極端に少なくなると、自己位置の推定が困難になることもある。

施工後の構造物の維持管理のための検査作業時においては、車両規制などをすることにより、見通しがよく、動く物も少ない環境で検査作業を行うことが可能となる。しかしながら、構造物の施工中においては、多数の作業者、工事車両に阻まれて奥にあるマップポイントが検出できなかったり、作業者や工事車両のマップポイントを割り振ったりしてしまうことがあり得る。そのため、構造物の施工中においては、誤った自己位置推定を行ったり、自己位置推定ができなかったりすることがある。

Ｖｉｓｕａｌ－ＳＬＡＭによる自己位置推定が行えない場合には、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を用いる方法が考えられる。ＩＭＵは、測定対象の角速度及び加速度を得る。これにより、ＩＭＵは、測定対象の運動状態及び姿勢を計測する。しかしながら、ＩＭＵの計測値には、内部誤差が含まれる。そのため、ＩＭＵの計測値を用いて、自己位置の推定処理を繰り返すと、誤差が累積され得る。その結果、慣性計測装置を用いた方法では、誤った自己位置を得ることとなる。

他のＳＬＡＭとして、Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）というレーザセンサ（距離センサ）を使用したＬｉｄａｒ－ＳＬＡＭがある。Ｌｉｄａｒ－ＳＬＡＭは、Ｌｉｄａｒで周囲の物体までの距離を測定し、測定した方向と物体までの距離に基づく点群を得る。Ｌｉｄａｒ－ＳＬＡＭは、移動した際に、過去の点群と現在の点群とを比較することにより、過去の位置に対する現在の位置を推定する。Ｌｉｄａｒの代わりに、赤外線センサ、超音波センサ、電波によるレーダセンサなどを用いることもある。Ｌｉｄａｒ－ＳＬＡＭでは、Ｌｉｄａｒによる計測対象が静止物であること、形状に特徴があることが求められる。このため、Ｌｉｄａｒ－ＳＬＡＭでは、計測方向が比較的近い距離で、動く物で囲まれていると自己位置推定の処理に失敗することがある。

Ｖｉｓｕａｌ－ＳＬＡＭと、Ｌｉｄａｒ－ＳＬＡＭとを組み合わせることで、一方の自己位置推定を行うことが困難であっても、他方で補うことが考えられる。例えば、Ｖｉｓｕａｌ－ＳＬＡＭの場合、暗い場所では画像が暗くなり、自己位置推定を行うことが困難となる。他方、Ｌｉｄａｒ－ＳＬＡＭでは、レーザセンサで距離を測定するので、暗い場所でも自己位置推定を行うことができる。しかしながら、工事現場のような環境では周囲は多数の作業者で囲まれることとなる。そのため、工事現場のような環境では、Ｖｉｓｕａｌ－ＳＬＡＭ及びＬｉｄａｒ－ＳＬＡＭであっても自己位置推定を行うことが困難となる。

近年、災害現場での救命などを目的に、壁の向こう側の不可視領域を見通す技術の研究がされている。従来のレーダは、対象物に対して電波を出射して、対象物からの直接の反射波を受信して、遠方の対象物の検知を行っている。これに対して、不可視領域を見通す技術では、対象物に対して複数の電波を出射することで対象物との間にマルチパスを形成する。そして、不可視領域を見通す技術は、マルチパスを利用して、遮蔽物に隠れたような、直接的には認知できないところに存在する物体の位置を推定する。

Ｌｉｄａｒ－ＳＬＡＭの代わりに、マルチパスを利用した遮蔽物などに隠れた部分をセンシングする手法を用いて、自己位置推定を行うことが考えられる。この場合、遮蔽物などにより隠れた部分にある物体の位置情報は、物体の反射特性のレーダ画像として表現される。そのため、レーダ画像に基づいて、Ｌｉｄａｒ－ＳＬＡＭと同様に自己位置推定を行うことが考えられる。Ｌｉｄａｒ－ＳＬＡＭと同様に全方位に対して反射物に関する演算を行う場合、考慮すべきマルチパスの本数と物体表面における反射時の拡散状態に応じて、計算量は直接の反射波によるレーダと比べ大きくなる。また、Ｌｉｄａｒ－ＳＬＡＭと同様に、周囲に動く物が多数存在すると、自己位置推定を行うことが困難となる。

［第１実施形態］
本開示の第１実施形態について説明する。図１は、第１実施形態に係る記憶装置の概要を説明するための図である。図１は、作業者Ｕ１と、シャベルカーのような作業車両１が作業を行っているトンネルなどの工事現場の様子を示す概要図を示す。記憶装置１０は、例えば、工事現場などにおいて記録者Ｕ２の頭部に装着される。記憶装置１０を装着した記録者Ｕ２は、施工したコンクリート壁２の状態を確認する。記録者Ｕ２は、コンクリート壁２にクラック３などのような異常を発見した場合、記憶装置１０を操作して発見したクラック３の画像を記録する。記憶装置１０は、クラック３を撮像した位置において自己位置推定処理を行う。

（記憶装置）
図２は、第１実施形態に係る記憶装置の構成例を示すブロック図である。図２に示すように、記憶装置１０は、センサ部１２と、レーダ部１４と、複数のアンテナ部１６と、操作部１８と、表示部２０と、記憶部２２と、制御部２４と、を含む。

センサ部１２は、記憶装置１０の周囲のＲＧＢ画像データを撮像する。センサ部１２が撮像したＲＧＢ画像データに含まれる領域は、可視領域とも呼ばれ得る。センサ部１２は、ＲＧＢ画像データに対応する方向の深度データを取得する。センサ部１２は、制御部２４の制御に従って動作する。センサ部１２は、例えば、ＲＧＢ－Ｄセンサなどを含み得る。ＲＧＢ－Ｄセンサは、ＲＧＢ－Ｄカメラとも呼ばれる。

レーダ部１４は、複数のアンテナ部１６と接続されている。レーダ部１４は、アンテナ部１６を介して、外部に送信信号を送出する。レーダ部１４は、アンテナ部１６を介して、外部に送出した送信信号が周囲の物体に反射した反射信号を受信する。レーダ部１４は、制御部２４の制御に従って動作する。

操作部１８は、記憶装置１０に対する各種の入力操作を受け付ける。操作部１８は、受け付けた入力操作に応じた操作信号を制御部２４に出力する。操作部１８は、例えば、タッチパネル、ボタン、スイッチ、ダイヤルなどを含み得る。作業者などは、操作部１８に対して、所望の操作を入力することができる。

表示部２０は、文字及び画像を含む各種の映像を表示する。表示部２０は、例えば、センサ部１２が撮像したＲＧＢ画像データを表示する。表示部２０は、例えば、後述のキーポイントと、マップポイントとを表示する。ユーザは、例えば、操作部１８を操作することにより、ＲＧＢ画像データ、キーポイント、およびマップポイントなどを表示部２０に視認可能に表示させることができる。表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などを含むディスプレイであり得る。

記憶部２２は、例えば、制御部２４の演算内容、およびプログラム等の情報を記憶する。記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置などで構成され得る。

記憶部２２は、マップ情報記憶部２２ａと、撮像画像記憶部２２ｂとを含み得る。

マップ情報記憶部２２ａは、後述のキーフレーム及びマップポイントを記憶し得る。撮像画像記憶部２２ｂは、センサ部１２が撮像した記憶装置１０の周囲の画像データを記憶し得る。

制御部２４は、記憶装置１０の各部を制御する。制御部２４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置と、ＲＡＭ又はＲＯＭなどの記憶装置とを有する。制御部２４は、本開示に係る記憶装置１０の動作を制御するプログラムを実行する。制御部２４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部２４は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２４は、センサ制御部３０と、レーダ制御部３２と、キーポイント抽出部３４と、自己位置推定部３６、３次元レーダ情報生成部３８と、遮蔽物判定部４０と、透過情報生成部４２と、出力制御部４４と、を含む。

センサ制御部３０は、センサ部１２を制御する。センサ制御部３０は、センサ部１２を制御して、記憶装置１０の周囲のＲＧＢ画像データを撮像させる。センサ制御部３０は、センサ部１２を制御して、ＲＧＢ画像データに対応する方向の深度を検出させる。センサ制御部３０は、センサ部１２が撮像したＲＧＢ画像データを取得する。センサ制御部３０は、センサ部１２が検出したＲＧＢ画像データの深度に関する深度データを取得する。

レーダ制御部３２は、レーダ部１４を制御する。レーダ制御部３２は、レーダ部１４を制御して、アンテナ部１６を介して、送信信号を送出させる。レーダ制御部３２は、レーダ部１４を制御して、アンテナ部１６を介して、記憶装置１０の周囲の物体が送信信号を反射した反射信号を受信させる。レーダ制御部３２は、レーダ部１４が受信した反射信号を受信信号として取得する。

キーポイント抽出部３４は、センサ制御部３０が取得したＲＧＢ画像データに含まれる撮像対象に対して、キーポイントの抽出処理を行う。キーポイントとは、撮像対象の特徴点となり得るポイントをいう。キーポイント抽出部３４は、キーポイントの抽出処理を行い、ＲＧＢ画像データに含まれる撮像対象のキーポイントを抽出する。キーポイント抽出部３４の詳細は、後述する。

自己位置推定部３６は、キーポイント抽出部３４が抽出したキーポイントに基づいて、記憶装置１０の自己位置推定処理を行う。自己位置推定部３６は、例えば、Ｖｉｓｕａｌ－ＳＬＡＭによる方法を用いて、自己位置推定処理を行う。自己位置推定部３６は、自己位置推定処理を行い、キーフレームとマップポイントとを生成する。キーフレームとは、記憶装置１０の自己位置を推定する上で、キーとなり得るフレームをいう。例えば、キーフレームは、視界が大きく変化した際のフレームであり得る。マップポイントとは、キーポイントのうち、自己位置推定処理を行う際にランドマークするポイントをいう。自己位置推定部３６は、生成したキーフレームと、マップポイントとを記憶部２２のマップ情報記憶部２２ａに記憶させる。

３次元レーダ情報生成部３８は、レーダ制御部３２がレーダ部１４から取得した受信信号に基づいて、記憶装置１０の周囲に位置する反射物の位置を推定する。３次元レーダ情報生成部３８は、記憶装置１０の周囲に位置する反射物の位置を推定結果に基づいて、３次元レーダ情報を生成する。

遮蔽物判定部４０は、記憶装置１０の周囲に位置する物体が遮蔽物であるか否かを判定する。遮蔽物とは、記憶装置１０の記録対象外の物体をいう。遮蔽物判定部４０は、例えば、センサ部１２が計測した物体までの距離に関する距離情報に基づいて、遮蔽物を判定する。遮蔽物判定部４０は、センサ制御部３０が取得したＲＧＢ画像データ及び深度データと、３次元レーダ情報生成部３８が生成した３次元レーダ情報とに基づいて、遮蔽物を特定する。

透過情報生成部４２は、３次元レーダ情報生成部３８が生成した３次元レーダ情報と、遮蔽物判定部４０が特定した遮蔽物とに基づいて、ＲＧＢ画像データから遮蔽物を除いた透過情報を生成する。本実施形態において、ＲＧＢ画像データにおいて、遮蔽物で遮られていた領域は、不可視領域とも呼ばれ得る。

キーポイント抽出部３４は、透過情報生成部１１４が生成した透過情報に対してキーポイントの抽出処理を行う。言い換えれば、キーポイント抽出部３４は、不可視領域に位置する物体のキーポイントの抽出処理を行う。

自己位置推定部３６は、キーポイント抽出部３４がＲＧＢ画像データから抽出したキーポイントと、透過情報生成部１１４が生成した透過情報から抽出したキーポイントとに基づいて、自己位置推定処理を行う。言い換えれば、自己位置推定部３６は、可視領域のキーポイントと、不可視領域のキーポイントとに基づいて、自己位置推定処理を行う。

出力制御部４４は、各種の情報を出力する。出力制御部４４は、記憶部２２に記憶されている各種の情報を出力する。

図３は、第１実施形態に係る記憶装置の構成例を示す図である。図３に示すように、記憶装置１０は、ヘルメット５０と、作業用ベスト６０と、を含み得る。

ヘルメット５０は、作業者の頭部に装着される。ヘルメット５０は、あご紐５２と、ヘッドバンド５４で作業者の頭部に固定される。ヘルメット５０は、前面に、センサ部１２と、アンテナ部１６と、表示部２０とを有する。アンテナ部１６は、ヘルメット５０の左側面から右側面に沿って複数のパッチアンテナを並べて構成され得る。アンテナ部１６は、複数のパッチアンテナが上下弧を描くように一定角度毎に方向を変えて構成され得る。これにより、アンテナ部１６は、水平方向において反射してくる方向の異なる複数の反射信号をそれぞれ異なる位置のパッチアンテナで受信するとともに、上下方向において、異なる角度で反射してくる反射信号を受信することができる。本実施形態では、ヘルメット５０にセンサ部１２と、アンテナ部１６とを配置することで、作業者自身の手などによる遮蔽を抑えることができる。表示部２０は、センサ部１２が撮像した画像を表示する。ヘルメット５０を頭部に装着した作業者は、表示部２０に表示された画像を視認する。ヘルメット５０と、作業用ベスト６０とは、配線５６で接続されている。ヘルメット５０と、作業用ベスト６０とは、無線で接続されていてもよい。

作業用ベスト６０は、下方に、記憶部２２と、制御部２４とを含む記憶装置１０の本体部６２を有する。操作部１８は、本体部６２上に配置され得る。作業者は、表示部２０を介してコンクリート壁を調べる。作業者は、コンクリート壁にクラックを発見した場合、クラックの画像と、クラックの位置との保存を、操作部１８を介して指示する。作業用ベスト６０は、バッテリ及び記憶装置１０に必要な電子回路などを収納可能に構成されている。作業用ベスト６０にバッテリなどを収容することで、ヘルメット５０の重量を抑えることができるので、ヘルメット５０を装着した際の、作業者の首への負担を低減することができる。

（自己位置推定の処理内容）
図４を用いて、第１実施形態に係る自己位置推定の処理内容の概要について説明する。図４は、第１実施形態に係る自己位置推定の処理内容の概要を示すフローチャートである。

図４に示す処理は、ユーザが記憶装置１０を装着して、トンネルなどの工事現場においてクラックの検査を開始した際に、実行される処理であり得る。

センサ制御部３０は、センサ部１２からセンシングデータを取得する（ステップＳ１０）。具体的には、センサ制御部３０は、センサ部１２から記憶装置１０の周囲のＲＧＢ画像データと、深度データとを取得する。そして、ステップＳ１２に進む。

レーダ制御部３２は、レーダ部１４からセンシングデータを取得する（ステップＳ１２）。具体的には、レーダ制御部３２は、レーダ部１４から記憶装置１０の周囲の物体からの反射信号を取得する。そして、ステップＳ１４に進む。

３次元レーダ情報生成部３８は、３次元レーダ情報を生成する（ステップＳ１４）。具体的には、３次元レーダ情報生成部３８は、レーダ部１４が取得した反射信号に基づいて、記憶装置１０の周囲の３次元レーダ情報を生成する。そして、ステップＳ１６に進む。

遮蔽物判定部４０は、遮蔽物を特定する（ステップＳ１６）。具体的には、遮蔽物判定部４０は、センサ制御部３０が取得したＲＧＢ画像データ及び深度データと、３次元レーダ情報生成部３８が生成した３次元レーダ情報とに基づいて、遮蔽物を特定する。遮蔽物判定部４０は、例えば、センサ部１２が計測した物体までの距離に関する距離情報に基づいて、所定距離以下の地点に位置する物体を遮蔽物と判定する。所定距離は、任意に設定してよい。そして、ステップＳ１８に進む。

透過情報生成部４２は、透過情報を生成する（ステップＳ１８）。具体的には、透過情報生成部４２は、３次元レーダ情報生成部３８が生成した３次元レーダ情報と、遮蔽物判定部４０が特定した遮蔽物とに基づいて、ＲＧＢ画像データから遮蔽物を除いた透過情報を生成する。そして、ステップＳ２０に進む。

キーポイント抽出部３４は、キーポイントを抽出する（ステップＳ２０）。具体的には、キーポイント抽出部３４は、ＲＧＢ画像データ及び透過情報からキーポイントを抽出する。そして、ステップＳ２２に進む。

センサ制御部３０はクラックの撮影指示があった否かを判定する（ステップＳ２２）。具体的には、センサ制御部３０は、操作部１８にクラックを撮影する旨の操作の入力があった場合に、クラックの撮影指示があったと判定する。クラックの撮影指示があると判定された場合（ステップＳ２２；Ｙｅｓ）、ステップＳ２４に進む。クラックの撮影指示があると判定されない場合（ステップＳ２２；Ｎｏ）、ステップＳ４２に進む。

ステップＳ２２でＹｅｓと判定された場合、自己位置推定部３６は、現フレームをキーフレームに設定する（ステップＳ２４）。ステップＳ２４でキーフレームに設定されたフレームは、キーフレームＦｋと呼ばれ得る。そして、ステップＳ２６に進む。

自己位置推定部３６は、撮影位置情報として、キーフレームＦｋを登録する（ステップＳ２６）。そして、ステップＳ２８に進む。

キーポイント抽出部３４は、クラックを撮影するためのフォーカスエリア内でキーポイントが抽出できたか否かを判定する（ステップＳ２８）。フォーカスエリア内のキーポイントは、キーポイントＰｆと呼ばれ得る。フォーカスエリア内でキーポイントが抽出されたと判定された場合（ステップＳ２８；Ｙｅｓ）、ステップＳ３０に進む。フォーカスエリアでキーポイントが抽出されないと判定された場合（ステップＳ２８；Ｎｏ）、ステップＳ３４に進む。

ステップＳ２８でＹｅｓと判定された場合、自己位置推定部３６は、キーポイントＰｆをマップポイントに設定する（ステップＳ３０）。ステップＳ３０でマップポイントに設定されたキーポイントＰｆは、マップポイントＭｆと呼ばれ得る。そして、ステップＳ３２に進む。

自己位置推定部３６は、クラック位置情報の主要値として、マップポイントＭｆを登録する（ステップＳ３２）。そして、ステップＳ４４に進む。

ステップＳ２８でＮｏと判定された場合、キーポイント抽出部３４は、フォーカスエリア付近のキーポイントを検出する（ステップＳ３４）。フォーカスエリア付近のキーポイントは、キーポイントＰｎと呼ばれ得る。そして、ステップＳ３６に進む。

自己位置推定部３６は、キーポイントＰｎをマップポイントに設定する（ステップＳ３６）。ステップＳ３６でマップポイントに設定されたキーポイントＰｎは、マップポイントＭｎと呼ばれ得る。そして、ステップＳ３８に進む。

自己位置推定部３６は、クラック位置情報の補助値として、マップポイントＭｎを登録する（ステップＳ３８）。そして、ステップＳ４０に進む。

自己位置推定部３６は、補助値と、フォーカスエリアの中央値との差分値を算出する（ステップＳ４０）。自己位置推定部３６は、補助値とクラック位置情報の差分値を、クラック位置情報の補助地としてマップポイントＭｎと一緒に保存する。そして、ステップＳ４４に進む。

ステップＳ２２でＮｏと判定された場合、自己位置推定部３６は、現フレームがキーフレームであるか否かを判定する（ステップＳ４２）。現フレームがキーフレームであると判定された場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４４に進む。現フレームがキーフレームと判定されない場合（ステップＳ４２；Ｎｏ）、図４の処理を終了する。

ステップＳ３２の後、ステップＳ４０の後、またはステップＳ４２でＹｅｓと判定された場合、自己位置推定部３６は、自己位置推定処理を実行する（ステップＳ４４）。自己位置推定部３６は、自己位置推定処理を実行した後、各種の情報を対応付けて、撮像情報として、撮像画像記憶部２２ｂに記憶させる。撮像情報については、後述する。

図５は、第１実施形態に係る自己位置推定処理の一例を説明するための図である。図５は、表示部２０に表示される画像データ７０を示す。図５において、Ｘ軸方向は水平方向、Ｙ軸方向は垂直方向、Ｚ軸方向が深度方向であるものとする。

画像データ７０は、コンクリート壁２を示す。画像データ７０は、センサ部１２のフォーカスエリア７１を含む。画像データ７０は、キーポイント抽出部３４が抽出した、キーポイント７２と、キーポイント７３と、キーポイント７４と、キーポイント７５と、キーポイント７６と、キーポイント７７と、キーポイント７８とを含む。フォーカスエリア７１の中には、クラック３が表示されている。記憶装置１０のユーザが操作部１８を用いて、クラック３の画像保存を指示した場合、キーポイント抽出部３４は、フォーカスエリア７１内のキーポイントを探索する。フォーカスエリア７１内のキーポイント７３と、キーポイント７８とが検知されると、自己位置推定部３６は、キーポイント７３と、キーポイント７８とをマップポイントに設定する。自己位置推定部３６は、マップポイントに設定されたキーポイント７３と、キーポイント７８とをクラック３の位置情報の主要値として撮像画像記憶部２２ｂに保存する。

キーポイント７３と、キーポイント７８が存在しなかった場合、キーポイント抽出部３４は、フォーカスエリア７１を囲む、近傍のキーポイント７４と、キーポイント７５と、キーポイント７７とを選択する。この場合、自己位置推定部３６は、キーポイント７４と、キーポイント７５と、キーポイント７７とをマップポイントに設定する。自己位置推定部３６は、マップポイントに設定されたキーポイント７４と、キーポイント７５と、キーポイント７７とをクラック３の位置情報の補助値として撮像画像記憶部２２ｂに保存する。自己位置推定部３６は、キーポイント７４と、キーポイント７５と、キーポイント７７とフォーカスエリア７１の中央に位置する被写体（クラック３）の焦点との位置関係を撮像画像記憶部２２ｂに保存する。自己位置推定部３６は、例えば、画像データ７０上における、フォーカスエリア７１の中心点、キーポイント７４と、キーポイント７５と、およびキーポイント７７のＸ軸方向、Ｙ軸方向、およびＺ軸方向の座標を取得する。フォーカスエリア７１の中心点の座標を（Ｘ０，Ｙ０，Ｚ０）とする。キーポイント７４の位置座標を（Ｘ１，Ｙ１，Ｚ１）とする。キーポイント７５の位置座標を（Ｘ２，Ｙ２，Ｚ２）とする。キーポイント７７の位置座標を（Ｘ３，Ｙ３，Ｚ２）とする。自己位置推定部３６は、フォーカスエリア７１の中心点と、キーポイント７４、キーポイント７５、及びキーポイント７７との座標の差分値を算出し、撮像画像記憶部２２ｂに保存する。

図６は、第１実施形態に係る撮像画像記憶部２２ｂが記憶している撮像情報の一例を示す図である。

図６に示すように、撮像情報は、「識別情報」、「日時情報」、「担当者情報」、「撮影位置情報」、「クラック位置情報」、および「画像情報」といった項目を含む。

「識別情報」は、画像を一意に識別するための情報である。「識別情報」は、例えば、画像を一意に識別するための識別番号であり得る。図６では、「識別情報」は「Ａ１」などと概念的に示しているが、実際には、具体的な情報を示す。

「日時情報」は、画像を撮影した日時を示す情報である。「日時情報」は、例えば、年月日時分を含む情報であり得る。図６では、「日時情報」は「Ｂ１」などと概念的に示しているが、実際には、具体的な情報を示す。

「担当者情報」は、クラックの検査を行い、画像を撮影した担当者を一意に識別するための情報である。「担当者情報」は、例えば、氏名または識別番号であり得る。図６では、「担当者情報」は「Ｃ１」などと概念的に示しているが、実際には、具体的な情報を示す。

「撮影位置情報」は、撮影した時点における記憶装置１０の位置を示す情報である。「撮影位置情報」は、例えば。自己位置推定におけるキーフレームであり得る。図６では、「撮影位置情報」は「Ｄ１」などと概念的に示しているが、実際には、具体的な情報を示す。

「クラック位置情報」は、撮影した時点における被写体の位置を示す情報である。「クラック位置情報」は、例えば、自己位置推定におけるマップポイントであり得る。図６では、「クラック位置情報」は「Ｅ１」などと概念的に示しているが、実際には、具体的な情報を示す。

「画像情報」は、センサ部１２が撮影したＲＧＢ画像データを意味する。図６では、「画像情報」は「Ｆ１」などと概念的に示しているが、実際には、具体的な情報を示す。

第１実施形態は、コンクリート壁のクラックを検査して、可視領域と不可視領域との２つの領域のキーポイントに基づいて、クラックの位置を特定するための自己位置推定処理を行う。これにより、第１実施形態は、自己位置推定の精度を向上させることができる。

［第２実施形態］
次に、第２実施形態に係る自己位置推定処理について説明する。

図７は、第２実施形態に係る自己位置推定処理の流れを示すフローチャートである。

センサ制御部３０は、センサ部１２からＲＧＢ－Ｄデータｌａを取得する（ステップＳ５０）。センサ制御部３０は、センサ部１２から画角及びレンズ特性などを含むレンズ情報を取得する。図８Ａと、図８Ｂは、第２実施形態に係るＲＧＢ－Ｄデータの一例を示す図である。図８Ａに示すように、ＲＧＢ画像データは、コンクリート壁８４に囲まれた空間において、作業者８１と、作業者８２と、作業者８３が背中を向けて作業している様子を示す。図８Ｂは、図８Ａにおける深度データを示す。深度データは、輝度が明るいほど遠方であることを示す。図８Ｂにおいて、３人の作業者のうち、記憶装置１０に最も近い位置にいる作業者は、作業者８２である。作業者８２の背中の点８５は、記憶装置１０と、作業者８２との最短距離を示す点であり得る。

レーダ制御部３２は、レーダ部１４を制御して、アンテナ部１６から送信信号を送出する（ステップＳ５２）。レーダ制御部３２は、可視領域と不可視領域との物体を検出できるように、アンテナ部１６から送信信号を送出する。この場合、レーダ部１４は、不可視領域の物体が検出できるように画角の角度が設定されている。

ここで、レーダ部１４のレーダ画角を設定する方法について説明する。図９は、レーダ画角を設定する方法の一例を説明するための図である。

本実施形態において、レーダ部１４の画角１０４は、センサ部１２の画角１０３が遮蔽物１２０（例えば、作業員）に遮蔽された場合でも、ＲＧＢ画像データでは視認することのできない不可視領域の物体をセンシング可能な角度に設定され得る。具体的には、画角１０４を、画角１０４から画角１０３を除いた角度だけで、遮蔽物１２０に遮られた不可視領域をセンシング可能な角度に設定され得る。

図９に示す環境は、例えば、１辺が１０メートルの正方形の空間であり、記憶装置１０を装着した調査者の前方に、作業者などの遮蔽物１２０があり、センサ部１２の画角が８７°である状況を考える。この場合、遮蔽物１２０の先の全領域を最小反射回数でセンシングできるように、レーダ部１４の画角１０４を設定することが好ましい。この場合、レーダ部１４の画角１０４は、１１２°になり得る。これにより、センサ部１２が遮蔽物１２０に遮蔽されている場合であっても、遮蔽物１２０の先の領域の状態を把握することが可能となる。図９において、空間１１０は、壁における電波の反射がない空間である。空間１１１は、壁における電波の反射が１回である空間である。空間１１２は、壁における電波の反射回数が２回である空間である。空間１１３は、壁における電波の反射回数が３回である空間である。このように、画角１０４を１１２°以上に設定することで、遮蔽物１２０があっても遮蔽物１２０よりも先の領域をセンシングすることが可能となる。なお、画角１０４の角度を広く設定すると必要となる演算容量が増大する。このため、画角１０４の角度を必要最低限に設定することで、遮蔽物１２０より先の全域の物体を検出できる角度に設定することが好ましい。

図９に示す例では、ユーザＵが装着した記憶装置１０のレーダ部１４は、複数の送信信号を送出する。記憶装置１０のレーダ部１４が送出した送信信号は、様々な所で、壁を含む様々な反射物により反射する。この場合、記憶装置１０のレーダ部１４は、様々な反射物に反射して帰ってきた反射信号を様々な方向から受信し得る。言い換えれば、記憶装置１０のレーダ部１４は、マルチパスの反射信号を受信する。本実施形態では、記憶装置１０は、送信信号の各反射の条件を考慮することにより、受信した複数の反射信号に基づいて、不可視領域に位置するため直接的に計測できない対象物の位置を計測し得る。これにより、本実施形態では、記憶装置１０は、不可視領域に位置している対象物から自己位置推定に利用するキーポイントを抽出することができるようになる。

図７に戻る。３次元レーダ情報生成部３８は、送信信号が外部で反射した反射信号に基づいて、３次元レーダ情報を生成する（ステップＳ５４）。本実施形態において、３次元レーダ情報は、ボクセル空間上の各ボクセルにおける反射強度を示す。そして、ステップＳ５６に進む。

３次元レーダ情報生成部３８は、反射強度値に対して閾値Ｔで空間を領域群Ｓｔに分割する（ステップＳ５６）。３次元レーダ情報生成部３８は、反射強度に応じて領域ごとに分割する。そして、ステップＳ５８に進む。

遮蔽物判定部４０は、ＲＧＢ－Ｄデータｌａの深度データに基づいて、最短距離Ｌの領域Ａを算出する（ステップＳ５８）。言い換えれば、遮蔽物判定部４０は、記憶装置１０から最短距離Ｌに位置する物体の領域を算出する。そして、ステップＳ６０に進む。

遮蔽物判定部４０は、センサ制御部３０がセンサ部１２から取得したセンサ情報に基づいて、領域Ａの３次元仮想空間上の座標Ｐａを算出する（ステップＳ６０）。そして、ステップＳ６２に進む。

遮蔽物判定部４０は、領域群Ｓｔにおいて、座標Ｐａの近傍の領域Ｓａを算出する（ステップＳ６２）。遮蔽物判定部４０は、領域Ｓａを透過対象として判定する。遮蔽物判定部４０は、領域Ｓａを透過対象と判定する。そして、ステップＳ６４に進む。

透過情報生成部４２は、領域群Ｓｔから領域Ｓａを除く処理を実行する（ステップＳ６４）。具体的には、透過情報生成部４２は、最短距離Ｌに位置している部分は物体の存在しない領域とし、ボクセル空間上からその物体が存在している領域を削除する。

図１０は、第２実施形態に係る３次元レーダ情報を生成する方法を説明するための図である。図１０は、第２実施形態に係る３次元レーダ情報の一例を示す。図１０は、ボクセル空間を上部からみた概略図であり得る。

図１０において、作業者８１と、作業者８２と、作業者８３と、作業者８９と、作業者９０とは、それぞれ、楕円形で示す。石材８６と、石材８７とは、四角形で示す。石材８８は、円形で示す。画角１０４は、反射電波を受信することのできる画角を示す。画角１０３は、センサ部１２の画角を示す。

本実施形態では、画角１０３に対して、画角１０４を広く設定することが好ましい。本実施形態では、例えば、画角１０４を広く設定することでアンテナ部１６から送出された送信電波が、様々な所、様々な反射物により反射した反射電波を受信することができる。これにより、センサ部１２が間近の作業者で遮蔽された場合でも、遮蔽物で遮られた不可視領域をセンシングすることが可能となる。

３次元レーダ情報生成部３８は、受信信号に基づいて、３次元のボクセル空間に書くボクセルの反射強度を算出する。３次元レーダ情報生成部３８は、各ボクセルの反射強度に対して、閾値Ｔを設定する。本実施形態では、閾値Ｔより小さい反射強度を有するボクセルは、物体がない空間とする。本実施形態において、閾値Ｔ以上の反射強度を有するボクセルは、物体がある空間とする。物体のあるボクセルにおいて、隣接するボクセルが物体のあるボクセルである場合、同一物体とし、物体の塊を形成する。

３次元レーダ情報生成部３８は、センサ部１２から取得したセンサ情報に基づいて、ボクセル空間上に仮想の仮想視点１０１と、仮想の仮想スクリーン１０２とを設定する。３次元レーダ情報生成部３８は、仮想視点１０１が仮想スクリーン１０２を通して観える画像を仮想スクリーン１０２上に投影する。仮想視点１０１の画角は、センサ部１２の画角と同じであり得る。透過情報生成部４２は、点８５の近傍に位置する作業者８２を点８５の一部と判定し、ボクセル空間上から、作業者８２を削除する。透過情報生成部４２は、透過情報生成部４２は、作業者８２を削除することで、透過情報を生成する。

図７に戻る。３次元レーダ情報生成部３８は、領域群Ｓｔの要素ｓｉのそれぞれに異なる色または輝度を設定する（ステップＳ６６）。図１０に示す例において、３次元レーダ情報生成部３８は、各物体領域に対して、異なる色または輝度を設定する。３次元レーダ情報生成部３８は、各物体領域を仮想スクリーン１０２上に投影する。各物体領域に異なる色または輝度を設定することで、各物体領域の境界が判別し易くなる。

ここで、第２実施形態に係る物体領域の輝度を設定する処理について説明する。図１１は、第２実施形態に係る物体領域の輝度を設定する処理の内容を示すフローチャートである。第２実施形態では、隣接する物体の重なり具体に応じて、それぞれの物体の輝度を決定する処理を実行する。

３次元レーダ情報生成部３８は、各要素に識別番号を設定する（ステップＳ８０）。図１２は、第２実施形態に係る３次元レーダ情報の一例を示す図である。図１２に示すように、３次元レーダ情報は、要素として、背景１３０と、物体１３１と、物体１３２と、物体１３３と、物体１３４と、を含むとする。３次元レーダ情報生成部３８は、背景１３０と、物体１３１と、物体１３２と、物体１３３と、物体１３４とを、それぞれが分割された異なる物体領域として認識する。３次元レーダ情報生成部３８は、例えば、背景１３０の識別番号をｂ０に設定する。３次元レーダ情報生成部３８は、例えば、物体１３１の識別番号をｂ１に設定する。３次元レーダ情報生成部３８は、例えば、物体１３２の識別番号をｂ２に設定する。３次元レーダ情報生成部３８は、例えば、物体１３３の識別番号をｂ３に設定する。３次元レーダ情報生成部３８は、例えば、物体１３４の識別番号をｂ４に設定する。そして、ステップＳ８２に進む。

３次元レーダ情報生成部３８は、３次元レーダ情報を仮想スクリーン上に投影する（ステップＳ８２）。図１３は、第２実施形態に係る仮想スクリーン上に投影された３次元レーダ情報の一例を示す図である。図１３は、図１２において、仮想視点１０１から見た映像を仮想スクリーン１０２上に投影した様子を示す。図１３に示すように、仮想スクリーン１０２には、背景１３０と、物体１３１と、物体１３２と、物体１３３が投影されている。通常、仮想スクリーン１０２上では、各物体の色は反射強度に応じて白から赤などのグラデーションで表示され得る。そのため、背景１３０と、物体１３１と、物体１３２と、物体１３３の境界を判別することが困難となる。この場合、キーポイント抽出部３４は、物体１３１と、物体１３２と、物体１３３とからキーポイントを抽出することが困難となる。そして、ステップＳ８４に進む。

３次元レーダ情報生成部３８は、仮想スクリーン上に投影されていない要素の識別番号を削除する（ステップＳ８４）。図１３に示す例では、仮想スクリーン１０２には、物体１３４が投影されていない。この場合、３次元レーダ情報生成部３８は、物体１３４の識別番号ｂ４を削除する。そして、ステップＳ８６に進む。

３次元レーダ情報生成部３８は、全識別番号を要素とする１つのグループを集合Ｇに登録する（ステップＳ８６）。全識別番号を要素とする１つのグループは、例えば、｛ｇ０｝＝｛ｂ０，ｂ１，ｂ２，ｂ３｝と表すことにする。この場合、３次元レーダ情報生成部３８は、Ｇ＝｛ｇ０｝と、１つのグループを集合Ｇに登録する。そして、ステップＳ８８に進む。

３次元レーダ情報生成部３８は、要素の輝度レベルを設定する（ステップＳ８８）。具体的には、３次元レーダ情報生成部３８は、｛ｇ０｝に含まれる各識別番号に対応する要素の輝度レベルをそれぞれ基準値に設定する。すなわち、３次元レーダ情報生成部３８は、仮想スクリーン１０２に投影された、背景１３０と、物体１３１と、物体１３２と、物体１３３とを同じ輝度レベルに設定する。そして、ステップＳ９０に進む。

３次元レーダ情報生成部３８は、集合Ｇにグループが登録されているか否かを判定する（ステップＳ９０）。グループが登録されていると判定された場合（ステップＳ９０；Ｙｅｓ）、ステップＳ９２に進む。グループが登録されていると判定されない場合（ステップＳ９０；Ｎｏ）、ステップＳ１０６に進む。

３次元レーダ情報生成部３８は、集合Ｇからグループを取り出す（ステップＳ９２）。具体的には、集合Ｇに登録されている、｛ｇ０｝を取り出す。そして、ステップＳ９４に進む。

３次元レーダ情報生成部３８は、グループの要素の輝度レベルを更新する（ステップＳ９４）。具体的には、３次元レーダ情報生成部３８は、｛ｇ０｝に含まれる各識別番号に対応する要素の輝度レベルを更新する。すなわち、３次元レーダ情報生成部３８は、仮想スクリーン１０２に投影された、背景１３０と、物体１３１と、物体１３２と、物体１３３との輝度レベルを１段階明るくする。そして、ステップＳ９６に進む。

３次元レーダ情報生成部３８は、グループに含まれる要素を１つであるか否かを判定する（ステップＳ９６）。具体的には、３次元レーダ情報生成部３８は、｛ｇ０｝に含まれる要素が１つであるか否かを判定する。グループに含まれる要素の数が１つであると判定された場合（ステップＳ９６；Ｙｅｓ）、ステップＳ９０に進む。グループに含まれる要素の数が１つであると判定されない場合（ステップＳ９６；Ｎｏ）、ステップＳ９８に進む。すなわち、グループに含まれる要素の数が１つである場合には、そのグループについての、輝度の設定処理が終了する。

ステップＳ９６でＮｏと判定された場合、３次元レーダ情報生成部３８は、要素ごとに隣接する要素の識別番号を特定する（ステップＳ９８）。３次元レーダ情報生成部３８は、識別番号ｂ０の要素に隣接する要素の識別番号は、識別番号ｂ１と、識別番号ｂ２と、識別番号ｂ３と特定する。３次元レーダ情報生成部３８は、識別番号ｂ１の要素に隣接する要素の識別番号は、識別番号ｂ０と特定する。３次元レーダ情報生成部３８は、識別番号ｂ２の要素に隣接する要素の識別番号は、識別番号ｂ０と、識別番号ｂ３と特定する。３次元レーダ情報生成部３８は、識別番号ｂ３の要素に隣接する要素の識別番号は、識別番号ｂ０と、識別番号ｂ２と特定する。そして、ステップＳ１００に進む。

３次元レーダ情報生成部３８は、共通識別番号を決定する（ステップＳ１００）。共通識別番号は、各識別番号のうち、他の要素と最も隣接する数の多い要素の識別番号であり得る。３次元レーダ情報生成部３８は、識別番号ｂ０から識別番号ｂ３のうち、識別番号ｂ０を共通識別番号として決定する。そして、ステップＳ１０２に進む。

３次元レーダ情報生成部３８は、共通識別番号に基づいて、グループを生成する（ステップＳ１０２）。具体的には、３次元レーダ情報生成部３８は、共通識別番号を除いて、隣接する要素の識別番号を含むグループを生成する。識別番号ｂ１の要素の場合、隣接する識別番号ｂ０は除かれるので、識別番号ｂ１の要素に隣接する要素はない。この場合、３次元レーダ情報生成部３８は、｛ｇ１｝＝｛ｂ１｝とグループを生成する。識別番号ｂ２の要素の場合、隣接する識別番号０は除かれるので、識別番号ｂ２の要素に隣接する要素は識別番号ｂ３の要素である。この場合、３次元レーダ情報生成部３８は、｛ｇ２｝＝｛ｂ２，ｂ３｝とグループを生成する。識別番号ｂ３の要素の場合、隣接する識別番号０は除かれるので、識別番号ｂ３の要素に隣接する要素は識別番号ｂ２の要素である。この場合、グループ化すると識別番号ｂ２と同様になるので、３次元レーダ情報生成部３８は、グループ化しない。そして、ステップＳ１０４に進む。

３次元レーダ情報生成部３８は、グループを集合Ｇに登録する（ステップＳ１０４）。具体的には、３次元レーダ情報生成部３８は、ステップＳ１０２で生成したグループを集合Ｇに登録する。この場合、３次元レーダ情報生成部３８は、Ｇ＝｛ｇ１，ｇ２｝と、｛ｇ１｝と｛ｇ２｝とを集合Ｇに登録する。そして、ステップＳ９０に進む。この場合、３次元レーダ情報生成部３８は、｛ｇ１｝と｛ｇ２｝とについて、ステップＳ９０からステップＳ１０４の処理を実行する。すなわち、３次元レーダ情報生成部３８は、背景１３０と、物体１３１と、物体１３２と、物体１３３との重なり具体に応じて、各物体の色または輝度を決定する。

図１１に戻る。３次元レーダ情報生成部３８は、各要素の輝度値を設定する（ステップＳ１０６）。具体的には、３次元レーダ情報生成部３８は、図１３に示すような、仮想スクリーン１０２上に投影された、背景１３０と、物体１３１と、物体１３２と、物体１３３との輝度値を設定する。これにより、背景１３０と、物体１３１と、物体１３２と、物体１３３とには、それぞれ異なる輝度値が設定される。具体的には、３次元レーダ情報生成部３８は、隣接する各物体の輝度を比較しつつ、背景１３０と、物体１３１と、物体１３２と、物体１３３とのそれぞれの輝度値を設定する。その結果、背景１３０と、物体１３１と、物体１３２と、物体１３３とは、それぞれの領域が判別しやすくなる。よって、キーポイント抽出部３４は、物体１３１と、物体１３２と、物体１３３とからキーポイントが抽出しやすくなる。そして、図１１の処理を終了する。

図１１で示した処理は、各要素の輝度値を設定する処理として説明したが、本開示はこれに限定されない。本開示では、輝度値に代えて、各要素の色を変える処理を行ってもよい。

図７に戻る。透過情報生成部４２は、領域群Ｓｔに対して、センサ部１２のセンサ情報に基づいて、透過情報Ｉｔを生成する（ステップＳ６８）。図１４Ａと、図１４Ｂとは、第２実施形態に係る透過情報の一例を示す図である。図１４Ａは、第２実施形態に係る透過情報のＲＧＢ－Ｄデータの一例を示す。図１４Ｂは、第２実施形態に係る透過情報の深度データの一例を示す。図１４Ａには、作業者８１と、作業者８３と、コンクリート壁８４と、石材８６と、石材８７とが表示されている。図１４Ａにおいては、透過情報生成部４２は、作業者８２を削除している。そのため、図１４Ａにおいて、不可視領域に位置していた、石材８６と、石材８７とを把握することが可能である。図１４Ｂは、図１４Ａにおける深度データを示す。深度データは、遠方になるほど輝度が高くなる。図１４Ｂに示す例では、作業者８３、作業者８１、石材８６、石材８７の順に遠くなる。通常、ボクセル空間上の反射強度に基づいて、仮想スクリーン１０２に反射物体を投影する場合、反射強度に応じて白から赤へと変わるグラデーションなどで表現する。このため、仮想スクリーン１０２では反射物体は赤で表現されるため、反射物体が重なっていた場合、反射物体同士の境界が判別することが困難となる。その結果、仮想スクリーン１０２上に投影された画像からキーポイントの抽出を行った場合、作業者８１と、作業者８３と、コンクリート壁８４と、石材８６と、石材８７とが重なる部分の判別が困難となり、キーポイントを抽出することが困難となる。そこで、本実施形態では、３次元レーダ情報生成部３８は、作業者８１と、作業者８３と、コンクリート壁８４と、石材８６と、石材８７とに対して各領域の境界が判別しやくなるように異なる色または輝度を設定する。その結果、本実施形態では、キーポイント抽出部３４は、石材８６と、石材８７とが重なりあう部分のキーポイントを抽出し易くなる。

図７に戻る。キーポイント抽出部３４は、センサ制御部３０が取得したＲＧＢ－ＤデータｌａからキーポイントＫａを抽出する（ステップＳ７０）。すなわち、キーポイントＫａは、可視領域のキーポイントであり得る。そして、ステップＳ７２に進む。

キーポイント抽出部３４は、透過情報生成部４２が生成した透過情報ＩｔからキーポイントＫｔを抽出する（ステップＳ７２）。すなわち、キーポイントＫｔは、不可視領域のキーポイントであり得る。そして、ステップＳ７４に進む。

自己位置推定部３６は、キーポイントＫａと、キーポイントＫｔとに基づいて、自己位置推定処理を行う（ステップＳ７４）。そして、図７の処理を終了する。

第２実施形態では、センサ部１２が検出したＲＧＢ－Ｄデータに基づいて、可視領域のキーポイントを抽出する。第２実施形態では、記憶装置１０から所定距離以内に位置する物体を遮蔽物と判定し、遮蔽物を削除して、不可視領域の映像を生成する。第２実施形態は、生成した不可視領域の映像に基づいて、不可視領域のキーポイントを抽出する。そして、第２実施形態は、可視領域のキーポイントと、不可視領域のキーポイントに基づいて、自己位置推定処理を実行する。これにより、第２実施形態は、自己位置推定処理の精度を向上させることができる。

［第３実施形態］
図１５は、第３実施形態に係る自己位置推定処理の流れを示すフローチャートである。

ステップＳ１１０からステップＳ１１６の処理は、それぞれ、図７に示すステップＳ５０からステップＳ６６の処理と同一なので、説明を省略する。

制御部２４は、センサ制御部３０がセンサ部１２から取得したＲＧＢ－Ｄデータｌａをコピーして、ＲＧＢ－Ｄデータｌａ２を生成する（ステップＳ１１８）。そして、ステップＳ１２０に進む。

３次元レーダ情報生成部３８は、ＲＧＢ－Ｄデータｌａ２の深度データに基づいて、最短距離Ｌの領域Ａを算出する（ステップＳ１２０）。そして、ステップＳ１２２に進む。

ステップＳ１２２からステップＳ１２６の処理は、図７に示すステップＳ６０からステップＳ６４の処理と同一なので、説明を省略する。

制御部２４は、最短距離Ｌが閾値である距離Ｌｔｈを超えるか否かを判定する（ステップＳ１２８）。距離Ｌｔｈは、設計に応じて任意に定めてよい。最短距離Ｌが距離Ｌｔｈを超えると判定された場合（ステップＳ１２８；Ｙｅｓ）、ステップＳ１３０に進む。最短距離Ｌが距離Ｌｔｈを超えないと判定された場合（ステップＳ１２８；Ｎｏ）、ステップＳ１４０に進む。

ステップＳ１３０からステップＳ１３８の処理は、図７に示すステップＳ６６からステップＳ７４の処理と同一なので、説明を省略する。

ステップＳ１２８でＮｏと判定された場合、領域Ｓａに対応するＲＧＢ－Ｄデータｌａ２の深度を最大値に設定する（ステップＳ１４０）。そして、ステップＳ１２０に進む。すなわち、最短距離Ｌが距離Ｌｔｈを超えないと判定された場合には、再度、ステップＳ１２０からステップＳ１２６の処理を繰り返す。

第３実施形態に係るＲＧＢ－Ｄデータについて説明する。第３実施形態に係るＲＧＢ－Ｄデータは、図８Ａに示すＲＧＢ－Ｄデータと同一なので説明を省略する。図１６は、第３実施形態に係る透過情報の深度データを示す図である。深度データは、輝度が明るいほど遠方であることを示す。図１６に示す例では、作業者８２、作業者８３、作業者８１の順に奥になる。作業者８１の領域のうち、記憶装置１０から最も距離が短い領域は点９１である。作業者８２の領域のうち、記憶装置１０から最も距離が短い領域は点８５である。作業者８３の領域のうち、記憶装置１０から最も距離が短い領域は点９２である。

図１７は、第３実施形態に係る３次元レーダ情報を生成する方法を説明するための図である。図１７は、ボクセル空間を上部からみた概略図であり得る。

図１７において、点線９３は、仮想スクリーン１０２からの閾値の距離Ｌｔｈの位置を示す。透過情報生成部４２は、点線９３と、仮想スクリーン１０２との間にある物体を、透過対象とする。図１６に示したように、ＲＧＢ－Ｄデータの深度データにおいて、記憶装置１０から最も短い距離は点８５である。この場合、透過情報生成部４２は、点８５の近傍に位置する作業者８２の領域を点８５の一部と判定する。透過情報生成部４２は、ボクセル空間上から、作業者８２の領域を削除する。点８５は、点線９３と比較して、仮想スクリーン１０２に近い位置にあるので、ボクセル空間上の作業者８２の領域に対応するＲＧＢ－Ｄデータｌａ２の深度データ上の領域の深度を最大値に設定する。

次に、作業者８２の領域を削除した状態で、ＲＧＢ－Ｄデータの深度データで記憶装置１０から最も短い距離は点９２である。この場合、透過情報生成部４２は、点９２の近傍に位置する作業者８３の領域を点９２の一部と判定する。透過情報生成部４２は、ボクセル空間上から、作業者８３の領域を削除する。点９２は、点線９３と比較して、仮想スクリーン１０２に近い位置にあるので、ボクセル空間上の作業者８３の領域に対応するＲＧＢ－Ｄデータｌａ２の深度データ上の領域の深度を最大値に設定する。

次に、作業者８２の領域と、作業者８３の領域を削除した状態で、ＲＧＢ－Ｄデータの深度データで記憶装置１０から最も短い距離は点９１である。この場合。透過情報生成部４２は、点９１の近傍に位置する作業者８１の慮域を点９１の一部と判定する。透過情報生成部４２は、ボクセル空間上から、作業者８１の領域を削除する。点９１は、点線９３と比較して仮想スクリーン１０２から遠い位置にあるので、物体領域の削除処理を終了する。

３次元レーダ情報生成部３８は、ボクセル空間上に残っている各物体領域に対して、異なる色または輝度を設定した透過情報を生成する。３次元レーダ情報生成部３８は、生成した透過情報を仮想スクリーン１０２に投影する。

第３実施形態において、閾値として設定した距離Ｌｔｈは、例えば、センサ部１２の画角と、透過対象として設定する作業者の肩幅と、画像データにおける作業者の占有率とに基づいて設定され得る。例えば、カメラの画角が８７°、透過対処とする作業者の肩幅が４６．５ｃｍ、作業者の画像データにおける占有率を２５％とした場合、距離Ｌｔｈは約１ｍであり得る。

図１８Ａと、図１８Ｂは、第３実施形態に係る透過情報の一例を示す図である。図１８Ａは、第３実施形態に係る透過情報のＲＧＢ－Ｄデータの一例を示す。図１８Ｂは、第３実施形態に係る透過情報の深度データの一例を示す。

図１８Ａには、コンクリート壁８４と、石材８６と、石材８７とが表示されている。図１８Ｂは、図１８Ａにおける深度データを示す。深度データは、遠方になるほど輝度が高くなる。図１８Ｂに示す例では、石材８６、石材８７の順に遠くなる。図１８Ａにおいては、透過情報生成部４２は、作業者８１と、作業者８２と、作業者８３とを削除している。そのため、図１８Ａにおいては、不可視領域に位置していた、石材８６と、石材８７を視認することが可能である。図１８Ａ示す例では、作業者８１と、作業者８２と、作業者８３とが削除されているため、コンクリート壁８４と、石材８６と、石材８７との境界がより明確となる。ここで、３次元レーダ情報生成部３８は、コンクリート壁８４と、石材８６と、石材８７とに対して各領域の境界が判別しやくなるように異なる色または輝度を設定する。その結果、本実施形態では、キーポイント抽出部３４は、コンクリート壁８４と、石材８６と、石材８７とが重なりあう部分のキーポイントを抽出し易くなる。

第３実施形態は、記憶装置１０からの距離に基づいて、遮蔽物を設定することができる。これにより、第３実施形態は、複数の遮蔽物を削除した透過情報に基づいて、不可視領域のキーポイントを抽出することができる。その結果、第３実施形態は、自己位置推定処理の精度をより向上させることができる。

［第４実施形態］
本開示に係る記憶装置１０は、記憶したクラックに関するクラック情報を、作業者等の操作に応じて出力することができる。

（出力処理）
図１９は、第４実施形態に係るクラック情報の出力処理の流れを示すフローチャートである。

図１９に示す処理は、作業者などによってクラック情報を出力する旨の操作が操作部１８に入力された場合に、実行される処理である。

出力制御部４４は、撮像画像記憶部２２ｂにクラックに関する撮影情報が記憶されているか否かを判定する（ステップＳ１５０）。撮影情報が記憶されていると判定された場合（ステップＳ１５０；Ｙｅｓ）、ステップＳ１５２に進む。撮影情報が記憶されていると判定されない場合（ステップＳ１５０；Ｎｏ）、ステップＳ１６６に進む。

ステップＳ１５０でＹｅｓと判定された場合、出力制御部４４は、撮影位置情報のキーフレームに対応する空間座標を取得する（ステップＳ１５２）。そして、ステップＳ１５４に進む。

出力制御部４４は、クラックの位置を示すマップポイントＭｆが記憶されているか否かを判定する（ステップＳ１５４）。マップポイントＭｆが記憶されていると判定された場合（ステップＳ１５４；Ｙｅｓ）、ステップＳ１５６に進む。マップポイントＭｆが記憶されていると判定されない場合（ステップＳ１５４；Ｎｏ）、ステップＳ１６０に進む。

ステップＳ１５４でＹｅｓと判定された場合、出力制御部４４は、マップポイントＭｆに対応する空間位置座標Ｌｆを取得する（ステップＳ１５６）。例えば、出力制御部４４は、マップポイントＭｆが複数ある場合には、複数の空間位置座標を含む空間位置座標群Ｌｆを取得する。そして、ステップＳ１５８に進む。

出力制御部４４は、空間位置座標Ｌｆをクラック位置と特定する（ステップＳ１５８）。そして、ステップＳ１６４に進む。

ステップＳ１５４でＮｏと判定された場合、出力制御部４４は、クラック位置情報の補助値を示すマップポイントＭｎに対応する空間位置座標Ｌｎを取得する（ステップＳ１６０）。そして、ステップＳ１６２に進む。

出力制御部４４は、空間位置座標Ｌｎと、相対位置情報Ｄｎとに基づいて、クラック位置を算出する（ステップＳ１６２）。具体的には、出力制御部４４は、式（１）に従って、クラックの中心位置の座標を算出する。式（１）において、Ｌ０はクラックの中心位置の座標、Ｌｎは空間位置座標、Ｄｎは相対位置情報、およびαは任意係数を示すとする。
Ｌ０＝Ｌｎ＋αＤｎ・・・（１）

ステップＳ１５８またはステップＳ１６２の後、出力制御部４４は、クラックの位置情報を示すクラック情報を出力する（ステップＳ１６４）。そして、ステップＳ１６８に進む。

ステップＳ１５０でＮｏと判定された場合、出力制御部４４は、クラックがないことを示す情報を出力する（ステップＳ１６６）。そして、図１９の処理を終了する。

ステップＳ１６４の後、出力制御部４４は、処理を終了するか否かを判定する（ステップＳ１６８）。例えば、出力制御部４４は、撮像画像記憶部２２ｂに記憶されている全て撮像情報に対して出力処理が行われた場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ１６８；Ｙｅｓ）、図１９の処理を終了する。処理を終了しないと判定された場合（ステップＳ１６８；Ｎｏ）、ステップＳ１５２に進む。

第４実施形態では、クラックの位置を示す位置情報を容易に出力することができる。これにより、トンネルなどの施工中においてクラックの位置を容易に把握することができるので、修復等を適切に行うことができる。

以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１０ 記憶装置
１２ センサ部
１４ レーダ部
１６ アンテナ部
１８ 操作部
２０ 表示部
２２ａ マップ情報記憶部
２２ｂ 撮像画像記憶部
２４ 制御部
３０ センサ制御部
３２ レーダ制御部
３４ キーポイント抽出部
３６ 自己位置推定部
３８ ３次元レーダ情報生成部
４０ 遮蔽物判定部
４２ 透過情報生成部
４４ 出力制御部

Claims (6)

1. 所定位置の周囲の画像を撮像するとともに、前記所定位置から周囲の物体までの距離を計測するセンサ部と、
   前記センサ部が撮像した画像における可視領域と不可視領域とからキーポイントを抽出するキーポイント抽出部と、
   前記可視領域のキーポイントと、前記不可視領域のキーポイントとに基づいて、位置推定を行う自己位置推定部と、
   前記自己位置推定部の位置推定結果に関する情報を記憶する記憶部と、
   を備える、記憶装置。
2. 請求項１に記載の記憶装置において、
   電波を送受信可能なアンテナ部を有するレーダ部と、
   前記レーダ部が前記アンテナ部を介して受信した受信信号に基づいて、周囲の３次元レーダ情報を生成する３次元レーダ情報生成部と、
   前記センサ部が計測した前記物体までの距離に関する距離情報に基づいて、前記物体が遮蔽物であるか否かを判定する遮蔽物判定部と、
   前記３次元レーダ情報生成部が生成した前記３次元レーダ情報と、前記遮蔽物判定部の判定結果に基づいて、前記遮蔽物と判定された前記物体が透過する透過情報を生成する透過情報生成部と、
   を備え、
   前記キーポイント抽出部は、前記透過情報生成部が生成した前記透過情報に基づいて、前記不可視領域のキーポイントを抽出する、記憶装置。
3. 請求項２に記載の記憶装置において、
   前記遮蔽物判定部は、前記センサ部が計測した前記物体までの距離に関する距離情報に基づいて、所定距離以下の地点に位置する前記物体を前記遮蔽物と判定する、記憶装置。
4. 請求項２または３に記載の記憶装置において、
   前記３次元レーダ情報生成部は、前記３次元レーダ情報において、複数の前記物体が含まれている場合、複数の前記物体をそれぞれ異なる色または輝度に設定する、記憶装置。
5. 請求項４に記載の記憶装置において、
   前記３次元レーダ情報生成部は、前記３次元レーダ情報において、複数の前記物体のうち、前記物体同士の重なり具合に応じて、前記物体それぞれの色または輝度を決定する、記憶装置。
6. 所定位置の周囲の画像を撮像するとともに、前記所定位置から周囲の物体までの距離を計測するステップと、
   撮像した画像における可視領域と不可視領域とからキーポイントを抽出するステップと、
   前記可視領域のキーポイントと、前記不可視領域のキーポイントとに基づいて、位置推定を行うステップと、
   位置推定結果に関する情報を記憶部に記憶するステップと、
   を含む、記憶方法。

Images