JP2022151478A

JP2022151478A - 情報処理装置

Info

Publication number: JP2022151478A
Application number: JP2021103879A
Authority: JP
Inventors: 友規鈴木; Tomonori Suzuki
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2021-03-23
Filing date: 2021-06-23
Publication date: 2022-10-07
Anticipated expiration: 2041-03-23
Also published as: JP7006824B1

Abstract

【課題】３次元画像を取得した現場と３次元画像を容易に比較できること。【解決手段】撮像装置１および表示装置５００は、対象に投射されて対象から反射してきた光を受光する受光部の一例である距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させる表示制御部１７０、５３０を備え、表示制御部１７０、５３０は、対象から反射してきた光を受光したときの距離情報取得部１３の位置を示す位置情報に基づき、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。【選択図】図２５

Description

本発明は、情報処理装置に関する。

特許文献１には、物体までの距離を安定して精度良く測定することができる測距装置が記載されている。

特許文献２には、指などの写り込みが発生した場合に、写り込みの影響を少なくする画像処理を行う撮像装置が記載されている。

特許文献３には、計測データの密度が所定の閾値よりも低いブロックを抽出し、当該抽出した前記ブロックの範囲にある座標を、三次元計測装置を設置すべき位置である提示計測位置として提示する計測位置提示部と、を有する三次元合成処理システムが記載されている。

特開２０１８‐０７７０７１号公報特許第５４２３２８７号公報特許第６１９２９３８号公報

本発明は、３次元画像を取得した現場と３次元画像を容易に比較できる情報処理装置を提供することを目的とする。

本発明に係る情報処理装置は、対象に投射されて対象から反射してきた光を受光する受光部の出力に基づき決定される３次元画像を表示部に表示させる表示制御部を備え、表示制御部は、対象から反射してきた光を受光したときの受光部の位置を示す位置情報に基づき、対象から反射してきた光を受光したときの受光部の位置を識別する位置識別情報と、３次元画像と、を含む表示画像を表示部に表示させる。

本発明によれば、３次元画像を取得した現場と３次元画像を容易に比較できる情報処理装置を提供することができる。

本発明の実施形態に係る撮像装置の外観の一例を示す図である。同実施形態における撮像装置の構成を説明するための図である。同実施形態における撮像装置の使用状況を説明するための図である。同実施形態における処理回路の処理ブロックの構成の一例を示す図である。同実施形態における撮像装置の処理回路の動作の一例を示すフロー図である。同実施形態における全天球画像データ生成フロー図である。同実施形態における近接物判断フロー図である。同実施形態における表示部の表示内容を説明するための図である。同実施形態の変形例に係る撮像装置の外観を示す図である。変形例における処理回路の処理ブロックの構成を示す図である。本発明の実施形態の第２の変形例に係る撮像装置の外観を示す図である。第２の変形例における処理回路の処理ブロックの構成を示す図である。第２の変形例における近接物判断フロー図である。本発明の実施形態の第３の変形例に係る撮像装置の構成を説明するための図である。本発明の実施形態における高反射物の判断フロー図である。同実施形態における遠方物および低反射物の判断フロー図である。同実施形態における画像のぶれの判断フロー図である。本発明の実施形態の第４の変形例における判断フロー図である。本発明の実施形態の第５の変形例における処理回路の処理ブロックの構成の一例を示す図である。本発明の実施形態の第６の変形例における情報処理システムの構成の一例を示す図である。本発明の実施形態の第７の変形例における情報処理システムの構成の一例を示す図である。第５～第７の変形例における表示部の表示内容を説明するための図である。本発明の実施形態における表示部が表示する三次元画像を説明するための図である。第５～第７の変形例における判断フロー図である。第５～第７の変形例における表示部の表示内容を説明するための他の図である。第５～第７の変形例における処理を説明するフロー図である。第５～第７の変形例における処理を説明する他のフロー図である。

以下に添付図面を参照して、撮像装置および撮像処理方法の実施の形態を詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の外観の一例を示す図である。図２は、撮像装置の構成を説明するための図である。図２には、図１の撮像装置の内部の構成を示している。

撮像装置１は、受光した光に基づいて決定される３次元情報を出力する情報処理装置の一例であり、撮像部（カメラ）１１と、可視光以外の光を投射する投射部（距離センサの発光部に相当する部分）１２と、投射部１２が投射した光に基づいて距離情報を取得する距離情報取得部（距離センサの受光部に相当する部分）１３とを筐体１０に対して一体に設けたものである。各部は、筐体１０内部の処理回路１４と同期信号線Ｌにより電気的に接続されており、それぞれ同期して動作する。

撮影スイッチ１５は、ユーザが処理回路１４に撮影指示信号を入力するためのものである。表示部２０は、処理回路１４の出力信号に応じた内容を表示するものであり、液晶画面等により構成される。表示部２０は、タッチパネル等により構成され、ユーザの操作入力を受け付けるようにしてもよい。撮影指示に基づき処理回路１４は各部を制御してＲＧＢ画像や距離情報のデータを取得し、取得した距離情報のデータをＲＧＢ画像や距離情報のデータに基づいて高密度３次元点群データに再構築する処理を行う。

距離情報のデータは、そのまま使用しても３次元点群データを構築することが可能だが、その場合、３次元点群データの精度が距離情報取得部１３の画素数（解像度）に制限される。本例では、それを高密度の３次元点群データに再構築する場合の処理についても示す。再構築したデータは可搬型の記録媒体や通信などを介して外部のＰＣなどに出力され、３次元復元モデルの表示に利用される。

各部や処理回路１４には、筐体１０内部に収容されるバッテリから電力が供給される。この他にも、筐体１０の外部から接続コードにより電力供給を受ける構成としてもよい。

撮像部１１は、２次元画像情報を撮像し、撮像素子１１ａ、１１Ａや、魚眼レンズ（広角レンズ）１１ｂ、１１Ｂなどを有する。投射部１２は、光源部１２ａ、１２Ａや広角レンズ１２ｂ、１２Ｂなどを有する。距離情報取得部１３は、ＴＯＦ（ＴｉｍｅＯｆＦｒｉｇｈｔ）センサ１３ａ、１３Ａや広角レンズ１３ｂ、１３Ｂなどを有する。なお、各部は、図示を省略しているがプリズムやレンズ群などの光学系を構成してよい。

例えば、撮像部１１に、魚眼レンズ１１ｂ、１１Ｂが集めた光を撮像素子１１ａ、１１Ａに結像するための光学系を構成してよい。また、投射部１２に、光源部１２ａ、１２Ａの光を広角レンズ１２ｂ、１２Ｂに導く光学系を構成してよい。また、距離情報取得部１３に広角レンズ１３ｂ、１３Ｂが集めた光をＴＯＦセンサ１３ａ、１３Ａに結像するための光学系を構成してよい。各光学系については、撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、ＴＯＦセンサ１３ａ、１３Ａなどの構成や配置に応じて適宜決めてよいものとし、ここでは、プリズムやレンズ群などの光学系については省略して説明する。

撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、およびＴＯＦセンサ１３ａ、１３Ａは、筐体１０の内部に一体的に収められている。魚眼レンズ１１ｂと、広角レンズ１２ｂと、広角レンズ１３ｂと、表示部２０とは、それぞれ筐体１０の正面側の第１の面に設けられている。第１の面において、魚眼レンズ１１ｂ、広角レンズ１２ｂ、および広角レンズ１３ｂのぞれぞれの内側の範囲は開口している。

魚眼レンズ１１Ｂと、広角レンズ１２Ｂと、広角レンズ１３Ｂと、撮影スイッチ１５とは、それぞれ筐体１０の背面側の第２の面に設けられている。第２の面において、魚眼レンズ１１Ｂ、広角レンズ１２Ｂ、および広角レンズ１３Ｂのぞれぞれの内側の範囲は開口している。

撮像素子１１ａ、１１Ａは、２次元解像度のイメージセンサ（エリアセンサ）である。撮像素子１１ａ、１１Ａは、２次元方向に各画素の受光素子（フォトダイオード）が多数配列された撮像エリアを有する。撮像エリアには可視光を受光するためにベイヤ配列等のＲ（Ｒｅｄ）とＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）のカラーフィルタが設けられており、カラーフィルタを通過した光がフォトダイオードに蓄電される。ここでは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半天球の範囲など）の２次元画像を高解像度で取得することができるように画素数の多いイメージセンサを使用する。

撮像素子１１ａ、１１Ａは、その撮像エリアに結像した光を各画素の画素回路で電気信号に変換して高解像度のＲＧＢ画像を出力する。魚眼レンズ１１ｂ、１１Ｂは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）から光を集め、その光を撮像素子１１ａ、１１Ａの撮像エリアに結像する。

光源部１２ａ、１２Ａは、半導体レーザであり、距離の計測に用いる可視光領域以外（ここでは一例として赤外とする）の波長帯のレーザ光を出射する。光源部１２ａ、１２Ａには、１つの半導体レーザを用いてもよいし、複数の半導体レーザを組み合わせて使用してもよい。また、半導体レーザとして例えばＶＣＳＥＬ（ＶｅｒｔｉｃａｌＣａｖｉｔｙＳｕｒｆａｃｅＥｍｉｔｔｉｎｇＬＡＳＥＲ）などの面発光型の半導体レーザを使用してもよい。

また、半導体レーザの光を光学レンズにより縦に長くなるように成形し、縦長にした光を、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）ミラーなどの光偏向素子で計測範囲の一次元方向に走査するような構成にしてもよい。本実施の形態では、光源部１２ａ、１２Ａとして、半導体レーザＬＡの光をＭＥＭＳミラーなどの光偏向素子を使用せずに広角レンズ１２ｂ、１２Ｂを介して広角の範囲に広げる形態を示している。

光源部１２ａ、１２Ａの広角レンズ１２ｂ、１２Ｂは、光源部１２ａ、１２Ａが出射した光を広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の範囲に広げる機能を有する。

距離情報取得部１３の広角レンズ１３ｂ、１３Ｂは、投射部１２により投射された光源部１２ａ、１２Ａの光の反射光を、計測範囲である広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の各方向から取り込み、それらの光をＴＯＦセンサ１３ａ、１３Ａの受光エリアに結像する。計測範囲には一つまたは複数の被投射物（例えば建物など）が含まれており、被投射物で反射した光（反射光）が広角レンズ１３ｂ、１３Ｂに入射する。反射光は、例えば広角レンズ１３ｂ、１３Ｂの表面全体に赤外領域の波長以上の光をカットするフィルタを設けるなどして取り込んでよい。なお、これに限らず、受光エリアに赤外領域の光が入射すればよいため、広角レンズ１３ｂ、１３Ｂから受光エリアまでの光路にフィルタなど赤外領域の波長の光を通す手段を設けてもよい。

ＴＯＦセンサ１３ａ、１３Ａは、２次元解像度の光センサである。ＴＯＦセンサ１３ａ、１３Ａは多数の受光素子（フォトダイオード）が２次元方向に配列された受光エリアを有する。この意味で「第２の撮像受光手段」と言えるである。ＴＯＦセンサ１３ａ、１３Ａは、計測範囲の各エリア（各エリアを位置とも言う）の反射光を、各エリアに対応する受光素子で受光し、各受光素子で検出した光に基づき各エリアまでの距離を計測（算出）する。

本実施形態では、位相差検出方式で距離を計測する。位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。この方式では、ある程度の解像度が見込めることが強みである。

ＴＯＦセンサ１３ａ、１３Ａは、投射部１２による光の照射に同期して駆動し、各受光素子（画素に対応）で反射光との位相差から各画素に対応する距離を算出し、画素情報に計測範囲内の各エリアまでの距離を示す情報を対応付けた距離情報画像データ（後において「距離画像」や「ＴＯＦ画像」とも言う）を出力する。ＴＯＦセンサ１３ａ、１３Ａは、画素情報に位相情報を対応付けた位相情報画像データを出力し、後処理にて位相情報画像データに基づき距離情報画像データを取得してもよい。

なお、測定範囲を分割することができるエリア数は、受光エリアの解像度によって決まる。従って、小型化のため解像度が低いものを使用した場合、距離画像データの画素情報の数が減少するため、３次元点群の数も少なくなる。

なお、他の形態として、位相差検出方式に代えて、パルス方式で距離を計測してもよい。その場合、例えば、光源部１２ａ、１２Ａで、立ち上がり時間が数ナノ秒（ｎｓ）で且つ光ピークパワーが強い超短パルスの照射パルスＰ１を出射し、これに同期してＴＯＦセンサ１３ａ、１３Ａにより、光源部１２ａ、１２Ａが出射した照射パルスＰ１の反射光である反射パルスＰ２の受光までにかかる時間（ｔ）を計測する。

この方式を採用する場合、例えばＴＯＦセンサ１３ａ、１３Ａとして、受光素子の出力側に時間の計測を行う回路などを実装したものを使用する。各回路では、受光素子毎に、光源部１２ａ、１２Ａが照射パルスＰ１を出射してから反射パルスＰ２を受光するまでにかかる時間を距離に換算し、各エリアまでの距離を得る。

この方式は、ピーク光を使用し強力な光を出力することができるので、撮像装置１の広角化に適している。また、ＭＥＭＳミラーなどを使用して光を振る（走査する）構成にした場合には、強力な光を、広がりを抑えつつ遠くまで照射することができるため、測定距離の拡大に繋がる。この場合、光源部１２ａ、１２Ａから出射されたレーザ光を、ＭＥＭＳミラーにより広角レンズ１２ｂ、１２Ｂへ向けて走査（偏向）するような配置関係とする。

なお、撮像部１１の有効画角と距離情報取得部１３の有効画角は例えば１８０度以上で一致していることが望ましいが、必ずしも一致していなくてもよい。必要に応じて撮像部１１の有効画角と距離情報取得部１３の有効画角とをそれぞれ減じてもよい。本実施形態では、撮像部１１および距離情報取得部１３は画角に撮像装置１本体や距離情報取得部１３などが含まれないようにないように例えば１００度～１８０度の範囲内などに有効画素を減じている。

また、ＴＯＦセンサ１３ａ、１３Ａの解像度は、撮像装置１の小型化を優先して撮像素子１１ａ、１１Ａの解像度よりも低く設定してよい。ＴＯＦセンサ１３ａ、１３Ａを撮像素子１１ａ、１１Ａよりも低解像度のものとすることにより、受光エリアのサイズ拡大を抑えることができるため、撮像装置１の小型化に繋げることができる。このためＴＯＦセンサ１３ａ、１３Ａは低解像度になり、ＴＯＦセンサ１３ａ、１３Ａで得られる３次元点群は低密度となるが、「取得手段」である処理回路１４を設けているため高密度の３次元点群に変換することができる。処理回路１４において高密度の３次元点群に変換する処理については後述する。

本実施の形態では、一例として、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは筐体１０の長手方向に直線上に並ぶように設けている。同様に、撮像素子１１Ａと、光源部１２Ａと、ＴＯＦセンサ１３Ａとは筐体１０の長手方向に直線上に並ぶように設けている。以下、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａの例で説明する。

撮像素子１１ａの撮像エリア（撮像面）やＴＯＦセンサ１３ａの受光エリア（受光面）は、図２に示すように長手方向に直交する方向に向けて配置してもよいし、光の直進方向（光路）を９０度変換して入射させるプリズムなどを設けることで長手方向に向けて配置してもよい。この他にも、構成に応じて任意の向きに配置してもよい。つまりは、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは、同じ計測範囲が対象となるように配置される。撮像部１１と、投射部１２と、距離情報取得部１３とが筐体１０の一面側から、その測定範囲に向けて配置される。

この際に、撮像素子１１ａとＴＯＦセンサ１３ａとを、平行ステレオ化するように同一基線上に配置できればよい。平行ステレオ化するように配置することにより、撮像素子１１ａが１つであっても、ＴＯＦセンサ１３ａの出力を利用して視差データを得ることが可能になる。光源部１２ａは、ＴＯＦセンサ１３ａの計測範囲に光を照射することができるように構成する。

（処理回路）
続いて、処理回路１４の処理について説明する。ＴＯＦセンサ１３ａ、１３Ａだけで得たＴＯＦ画像は、そのままでは解像度が低い。このため、本例では処理回路１４により高解像度化し、高密度の３次元点群データを再構築する例を示す。なお、処理回路１４における「情報処理手段」としての以下に示す処理の一部または全ては、外部装置で行ってもよい。

前述したように、撮像装置１で再構築された３次元点群データは、可搬型の記録媒体や通信などを介してＰＣなどの外部装置に出力され、３次元復元モデルの表示に利用される。

これにより、撮像装置１自体が３次元復元モデルの表示を行う場合に比べて、高速化、小型化、軽量化により携帯性に優れた撮像装置１を提供することができる。

しかしながら、３次元情報を取得する現場から離れて、外部装置により３次元情報を復元した後に、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことに気づく場合があり、その場合、３次元情報を取得する現場を再訪問する手間がかかる。

これを解決するには、現場にＰＣなどの外部装置を持ち込むことが考えられるが、そうすると、高速化、小型化、軽量化というメリットがなくなってしまう。

また、取得した３次元情報を通信回線により外部装置に送信し、復元された３次元情報を受信することも考えられるが、高速化のメリットが無くなるのと、そもそも３次元情報は情報量が多いので、撮影者自身や三脚等の撮像画像への写り込みを目視で確認するのは困難である。

特に全天球３次元情報の場合は、撮影者自身や三脚等の撮像画像への写り込みを目視で確認するのは極めて困難である。

本実施形態は、以上の課題に鑑み、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことをリアルタイムで容易に確認できる撮像装置１を提供することを目的とする。

図３は、同実施形態における撮像装置の使用状況を説明するための図である。

図３（ａ）に示す状態では、撮影者Ｍおよび撮像装置１を支持する自撮り棒１Ａは、全天球撮像範囲Ｒに含まれておらず、撮影者Ｍおよび自撮り棒１Ａが、全天球の撮像画像に写りこむことはない。

図３（ｂ）に示す状態では、撮影者Ｍが全天球撮像範囲Ｒに含まれており、撮影者Ｍが、全天球の撮像画像に写りこんでしまう。

図３（ｃ）に示す状態では、撮像装置１を支持する三脚１Ｂが全天球撮像範囲Ｒに含まれており、三脚１Ｂが、全天球の撮像画像に写りこんでしまう。

図３（ｄ）に示す状態では、撮影者Ｍおよび撮像装置１を支持する自撮り棒１Ａは、全天球撮像範囲Ｒに含まれておらず、撮影者Ｍおよび自撮り棒１Ａが、全天球の撮像画像に写りこむことはないが、外光（例えば太陽や照明など）が強いため、写りこみを誤判定する可能性がある。

また、図３（ｂ）および図３（ｃ）に示す状態では、写りこむ物体の色や種類、およびその見え方が多様であるため、一律に写りこみの有無を判断するのは困難であった。

以上の状況に対して、ＴＯＦセンサ１３ａ、１３Ａから出力される距離情報画像データに基づき、撮影者自身や三脚等の特定の対象物（近接物）の有無を判断する場合、本当に特定の対象物が存在するのか、外光が強すぎるのか、区別することが困難であった。

すなわち、ＴＯＦセンサ１３ａ、１３Ａの特定の画素の蓄電量が飽和している場合、特定の対象物が存在しているのが原因なのか、外光の強度が強すぎるのか、ＴＯＦセンサ１３ａ、１３Ａの出力からだけでは、区別することが困難であった。

本実施形態は、以上の課題に鑑み、外光の影響と区別して、撮影者自身や三脚等の特定の対象物の撮像画像への写り込みの有無を正確に確認することができる撮像装置１を提供することを他の目的とする。また、本実施形態は、近接物に限られず、高反射物、遠方物、低反射物、画像のぶれ等の対象が画像に含まれることを確認できることも目的とする。

図４は、処理回路１４の処理ブロックの構成の一例を示す図である。図４に示す処理回路１４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、モノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０と、判断部１６０と、出力部の一例である表示制御部１７０と、出力部の一例である送受信部１８０とを有する。なお、図４において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。

制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、およびＴＯＦセンサ１３ａ、１３Ａに同期信号を出力し、処理回路１４全体を制御する。制御部１４１は、先ず光源部１２ａ、１２Ａに超短パルスの出射を指示する信号を出力し、これと同じタイミングでＴＯＦセンサ１３ａ、１３ＡにＴＯＦ画像データの生成を指示する信号を出力する。さらに、制御部１４１は、撮像素子１１ａ、１１Ａに撮像を指示する信号を出力する。なお、撮像素子１１ａ、１１Ａにおける撮像は、光源部１２ａ、１２Ａから出射されている期間でもよいし、その前後の直近の期間でもよい。

ＲＧＢ画像データ取得部１４２は、制御部１４１による撮像指示に基づき、撮像素子１１ａ、１１Ａが撮像したＲＧＢ画像データを取得して、全天球のＲＧＢ画像データを出力する。モノクロ処理部１４３は、ＴＯＦセンサ１３ａ、１３Ａから得られるＴＯＦ画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部１４３は、全天球のＲＧＢ画像データを全天球のモノクロ画像に変換する処理を行う。

ＴＯＦ画像データ取得部１４４は、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａ、１３Ａが生成したＴＯＦ画像データを取得して、全天球のＴＯＦ画像データを出力する。

高解像度化部１４５は、全天球のＴＯＦ画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部１４５は、全天球のＴＯＦ画像データの各画素に対応付けられている距離の値を、全天球のモノクロ画像の値（グレースケール値）に置き換えて使用する。さらに、高解像度化部１４５は、全天球のモノクロ画像の解像度を撮像素子１１ａ、１１Ａから得られた全天球のＲＧＢ画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成された全天球のＴＯＦ画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。

マッチング処理部１４６は、全天球のＴＯＦ画像データを高解像度化した全天球のモノクロ画像と、全天球のＲＧＢ画像データの全天球のモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部１４６は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばＳＩＦＴ等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。

マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、Ｍ×Ｍ（Ｍは正の整数）ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくＭ×Ｍピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。

類似度の計算方法は様々である。例えば、正規化自己相関係数ＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｏｒｒｅｌａｔｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）を示す式を用いても良い。正規化自己相関係数ＣＮＣＣは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に１となる。

また、全天球のＴＯＦ画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えばＣＮＣＣを示す式の計算において、エッジ以外の箇所（テクスチャレス領域）に重みをかける計算を行ってもよい。

また、ＮＣＣを示す式の代わりに、選択的正規化相関（ＳＣＣ：ＳｅｌｅｃｔｉｖｅＣｏｒｒｅｌａｔｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）などを用いてもよい。

再投影処理部１４７は、計測範囲の各位置の距離を示す全天球のＴＯＦ画像データを撮像部１１の２次元座標（スクリーン座標系）に再投影する処理を行う。再投影するとは、ＴＯＦセンサ１３ａ、１３Ａが算出する３次元点が、撮像素子１１ａ、１１Ａの画像ではどの座標に写るかを求めることである。全天球のＴＯＦ画像データは、距離情報取得部１３（主に広角レンズ１３ｂ、１３Ｂ）を中心とする座標系における３次元点の位置を示す。従って、全天球のＴＯＦ画像データが示す３次元点を、撮像部１１（主に魚眼レンズ１１ｂ、１１Ｂ）を中心とする座標系に再投影する。

例えば、再投影処理部１４７は、全天球のＴＯＦ画像データの３次元点の座標を、撮像部１１を中心とする３次元点の座標に平行移動し、平行移動後に、全天球のＴＯＦ画像データの３次元点の座標を全天球のＲＧＢ画像データが示す２次元の座標系（スクリーン座標系）に変換する処理を施す。これにより、全天球のＴＯＦ画像データの３次元点の座標と、撮像部１１により撮像された全天球の２次元画像情報の座標が、互いに対応付けられる。再投影処理部１４７は、全天球のＴＯＦ画像データの３次元点の座標と、撮像部１１により撮像された全天球の２次元画像情報の座標を互いに対応付ける。

視差計算部１４９は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。なお、視差のマッチング処理は、再投影処理部１４７が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。

また、視差のマッチング処理にセマンティックセグメンテーション部１４８のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。

また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、全天球のＴＯＦ画像データも利用し、例えば全天球のＲＧＢ画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。

セマンティックセグメンテーション部１４８は、深層学習を利用して、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、全天球のＴＯＦ画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。

３次元再構成処理部１５０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて全天球の３次元データを再構成し、各３次元点に色情報を付加した全天球の高密度３次元点群を出力する。３次元再構成処理部１５０は、３次元情報を決定する３次元情報決定部の一例である。

判断部１６０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得するとともに、再投影処理部１４７から全天球のＲＧＢ画像データが示す２次元の座標系に変換された全天球のＴＯＦ画像データを取得し、これらのデータに基づき、特定の対象物の撮像画像への写り込みの有無を判断し、判断結果を表示制御部１７０へ出力する。

表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示部２０に表示させる。また、表示制御部１７０は、判断部１６０から取得した判断結果を示す情報と、２次元画像情報と、を含む表示画像を表示部２０に表示させる。

表示制御部１７０は、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する出力部の一例であり、表示部２０は、２次元画像情報を出力する出力先の一例である。

表示制御部１７０は、３次元再構成処理部１５０から全天球の３次元データを取得し、３次元情報を表示部２０に表示させてもよい。具体的には、表示制御部１７０は、２次元画像情報を表示部２０に表示させる場合と、３次元情報を表示部２０に表示させる場合を所定の条件に従って選択してもよい。これにより、表示制御部１７０は、３次元情報とは別に２次元画像情報を出力することができる。

送受信部１８０は、有線または無線技術により外部装置と通信を行うものであり、３次元再構成処理部１５０から出力される全天球の３次元データおよびＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報をネットワーク４００経由で３次元復元処理を行う外部装置３００へ送信（出力）する。

本実施形態においては、撮像部１１により撮像された２次元画像情報は、「表示用の２次元画像データ」を作成するための「元の２次元画像情報」である場合、または、「表示用の２次元画像データ」を意味する。例えば、撮像装置１の内部で「表示用の２次元画像データ」を「元の２次元画像情報」から作成する場合、または、撮像装置１から外部装置に「元の２次元画像情報」を送信して、外部装置で「元の２次元画像情報」から「表示用の２次元画像データ」を作成する場合がある。

送受信部１８０は、３次元情報を出力する出力部の一例であり、外部装置３００は、３次元情報を出力する出力先の一例である。

送受信部１８０は、全天球の２次元画像情報は送信せず、全天球の３次元データのみ送信してもよい。また、送受信部１８０は、ＳＤカード等の可搬型の記憶媒体やパーソナルコンピュータなどとのインターフェース回路により構成されてもよい。

（処理回路の動作）
図５は、撮像装置１の処理回路１４の動作の一例を示すフロー図である。処理回路１４の制御部１４１は、ユーザにより撮影スイッチ１５がＯＮされ、撮影指示信号が入力されると、次のような方法で高密度３次元点群を生成する動作を行う（撮像処理方法および情報処理方法の一例）。

先ず、制御部１４１は、光源部１２ａ、１２Ａと、ＴＯＦセンサ１３ａ、１３Ａと、撮像素子１１ａ、１１Ａとを駆動して計測範囲を撮影する（ステップＳ１）。制御部１４１による駆動により、光源部１２ａ、１２Ａが赤外光を照射し（投射ステップの一例）、その反射光をＴＯＦセンサ１３ａ、１３Ａが受光する（受光ステップの一例）。また、撮像素子１１ａ、１１Ａが、光源部１２ａ、１２Ａの駆動開始のタイミングあるいはその直近の期間に計測範囲を撮像する（撮像ステップの一例）。

次に、ＲＧＢ画像データ取得部１４２が、撮像素子１１ａ、１１Ａから計測範囲のＲＧＢ画像データを取得する（ステップＳ２）。そして、表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示部２０に表示させる（表示ステップの一例）（ステップＳ３）。

表示制御部１７０は、取得した全天球のＲＧＢ画像データのうちの一部の領域の２次元画像情報を表示部２０に表示させ、ユーザの各種入力により、表示部２０に表示される２次元画像情報の領域を変更する。ユーザの各種入力は、撮影スイッチ１５以外の操作スイッチを設けることや、表示部２０をタッチパネル等の入力部として構成することにより、実現できる。

この段階で、撮影者は、表示部２０に表示された２次元画像情報により、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの２次元画像情報が取得されていないことを確認することができる。

次に、ＴＯＦ画像データ取得部１４４が、ＴＯＦセンサ１３ａ、１３Ａから２次元領域の各位置の距離を示すＴＯＦ画像データを取得する（ステップＳ４）。

次に、モノクロ処理部１４３が、ＲＧＢ画像データをモノクロ画像へ変換する（ステップＳ５）。ＴＯＦ画像データとＲＧＢ画像データとでは、それぞれが距離データとＲＧＢデータとでデータ種が異なり、そのままではマッチングを行うことができない。従って、先ず一旦、それぞれのデータをモノクロ画像に変換する。ＴＯＦ画像データについては、高解像度化部１４５が高解像度化の前に各画素の距離を示す値を、そのままモノクロ画像の値に置き換えることで変換する。

次に、高解像度化部１４５がＴＯＦ画像データの解像度を高解像度化する（ステップＳ６）。次に、マッチング処理部１４６が、各モノクロ画像についてテクスチャのある部分の特徴量を抽出し、抽出した特徴量でマッチング処理を行う（ステップＳ７）。

次に、視差計算部１４９が、対応画素の距離のズレから各位置の視差を計算して距離を計算する（ステップＳ８）。

次に、判断部１６０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得するとともに、再投影処理部１４７からＲＧＢ画像データが示す２次元の座標系に変換された全天球のＴＯＦ画像データを取得し、これらのデータに基づき、特定の対象としての近接物の撮像画像への写り込みの有無を判断し、判断結果を表示制御部１７０へ出力する（判断ステップの一例）。

表示制御部１７０は、判断部１６０から取得した判断結果を示す情報を２次元画像情報に重畳させたり、含ませたりして表示部２０に表示させる（表示ステップの一例）（ステップＳ９）。ステップＳ９において、判断部１６０は、特定の対象として近接物だけでなく、高反射物、遠方物、低反射物および画像のぶれ等の有無を判断し、判断結果を表示制御部１７０へ出力する。

そして、３次元再構成処理部１５０が、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する（ステップＳ１０）。

次に、送受信部１８０は、３次元再構成処理部１５０から出力される３次元データおよびＲＧＢ画像データ取得部１４２から出力される２次元画像情報をネットワーク４００経由で３次元復元処理を行う外部装置３００へ送信する（３次元情報出力ステップの一例）（ステップＳ１１）。

送受信部１８０は、ＲＧＢ画像データ取得部１４２から出力される２次元画像情報は送信することなく、３次元再構成処理部１５０から出力される３次元データを送信してもよい。

以上説明したように、撮像装置１は、撮像部１１と、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する表示制御部１７０備える。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認することなく、２次元画像情報から容易に確認することが可能になる。

したがって、３次元情報を取得する現場に居ながら、３次元情報再取得することが可能になり、３次元情報を取得する現場から離れた後で、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことに気づく場合に比べて、再度、３次元情報を取得する現場を訪問する手間が低減される。

３次元情報は、全天球３次元情報を含む。この場合、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、確認することが困難な全天球３次元情報においても、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、撮像部１１により撮像された２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、ステップＳ１１で送受信部１８０が３次元情報を送信（出力）する前に、ステップＳ３で２次元画像情報Ｇを出力する。表示制御部１７０は、ステップＳ１０で３次元再構成処理部１５０が３次元情報を決定する前に、ステップＳ３で２次元画像情報Ｇを出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認する前に、２次元画像情報から確認することが可能になる。

表示制御部１７０は、表示部２０に２次元画像情報を表示させる。撮像装置１は、表示部２０を備える。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、表示部２０に表示される２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、送受信部１８０が３次元情報を出力する外部装置３００とは異なる表示部２０へ、２次元画像情報を出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示部２０に出力される２次元画像情報から確認することが可能になる。

撮像装置１は、距離情報取得部１３の出力に基づき３次元情報を決定する３次元再構成処理部１５０を備える。３次元再構成処理部１５０は、距離情報取得部１３の出力と、２次元画像情報に基づき、３次元情報を決定する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元再構成処理部１５０で決定される３次元情報を確認することなく、撮像部１１により撮像された２次元画像情報から確認することが可能になる。

図６は、同実施形態における全天球画像データ生成フロー図である。

図６（ａ）は、図５で説明したステップＳ２に対応する全天球のＲＧＢ画像データの生成処理を示すフローチャートである。

ＲＧＢ画像データ取得部１４２は、魚眼画像形式の２つのＲＧＢ画像データを入力する（ステップＳ２０１）。

ＲＧＢ画像データ取得部１４２は、各ＲＧＢ画像データを正距円筒画像形式に変換する（ステップＳ２０２）。ＲＧＢ画像データ取得部１４２は、２つのＲＧＢ画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップでの画像結合を容易にする。なお、ＲＧＢ画像データは、必要に応じて正距円筒画像フォーマット以外の１つまたは複数の画像フォーマット形式を使用して画像データに変換できる。例えば、任意の面に透視投影した画像や、任意の多面体の各面に透視投影した画像の座標に変換することもできる。

ここで、正距円筒画像形式について説明する。正距円筒画像形式は、全天球画像を表現可能な方式であり、正距円筒図法を用いて作成される画像（正距円筒画像）の形式である。正距円筒図法とは、地球儀の緯度経度のような、２変数で３次元の方向を表し、緯度経度が直交するように平面表示した図法である。従って、正距円筒画像は、正距円筒図法を用いて生成された画像であり、球面座標系の２つの角度変数を２軸とする座標で表現されている。

ＲＧＢ画像データ取得部１４２は、ステップＳ２０２で生成された２つのＲＧＢ画像データを結合し、１枚の全天球ＲＧＢ画像データを生成する（ステップＳ２０３）。入力された２つのＲＧＢ画像データは、全画角１８０度超の領域をカバーしている。このため、この２つのＲＧＢ画像データを適切に繋ぐことで生成された全天球ＲＧＢ画像データは、全天球領域をカバーすることができる。

なお、ステップＳ２０３における結合処理は、複数画像を繋ぐための既存の技術を用いることができ、特に方法を限定しない。

図６（ｂ）は、図５で説明したステップＳ４に対応する全天球のＴＯＦ画像データの生成処理を示すフローチャートである。

ＴＯＦ画像データ取得部１４４は、魚眼画像形式の２つの距離画像データを取得する（ステップＳ４０１）。

ＴＯＦ画像データ取得部１４４は、魚眼画像形式の２つのＴＯＦ画像データをそれぞれ正距円筒画像形式に変換する（ステップＳ４０２）。正距円筒画像形式は、上述の通り、全天球画像を表現可能な方式である。本ステップＳ４０２において、２つのＴＯＦ画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップＳ４０３での画像結合を容易にする。

ＴＯＦ画像データ取得部１４４は、ステップＳ４０２で生成された２つのＴＯＦ画像データを結合し、１枚の全天球ＴＯＦ画像データを生成する（ステップＳ４０３）。入力された２つのＴＯＦ画像データは、全画角１８０度超の領域をカバーしている。このため、この２つのＴＯＦ画像データを適切に繋ぐことで生成された全天球ＴＯＦ画像データは、全天球領域をカバーすることができる。

なお、ステップＳ４０３における結合処理は、複数画像を繋ぐための既存の技術を用いることができ、特に方法を限定しない。

図７は、同実施形態における近接物判断フロー図である。

図７は、図５で説明したステップＳ９に対応する近接物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が所定値以上である画素の一例として蓄電量が飽和している画素があるか判断する（ステップＳ８０１）。

判断部１６０は、ステップＳ８０１で蓄電量が飽和している画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ８０１で蓄電量が飽和していた画素と同一座標の画素について、蓄電量が所定値以上である一例として蓄電量が飽和しているか判断する（ステップＳ８０２）。

判断部１６０は、ステップＳ８０２で蓄電量が飽和している場合、ステップＳ８０１で蓄電量が飽和している画素は、外光（例えば太陽や照明など）によるものであると判断し、エラー情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報と、２次元画像情報と、を含む表示画像を表示部２０に表示させる（ステップＳ８０３）。

判断部１６０は、ステップＳ８０２で蓄電量が飽和していない場合、ステップＳ８０１で蓄電量が飽和している画素は、近接物の存在によるものであると判断し、ステップＳ８０１で蓄電量が飽和していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０に表示させる（ステップＳ８０４）。

判断部１６０は、ステップＳ８０１で蓄電量が飽和している画素がなかった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、０．５ｍ以下の距離情報を示す画素があるか判断する（ステップＳ８０５）。

判断部１６０は、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素がない場合、処理を終了する。

判断部１６０は、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素がある場合、前述したステップＳ８０４へ移行し、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素は、近接物の存在によるものであると判断し、ステップＳ８０５で０．５ｍ以下の距離情報を示していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０に表示させる。

以上説明したように、表示制御部１７０は、近接物が存在すると判断した場合には識別情報を２次元画像情報に重畳または含ませ、近接物が存在すると判断しない場合には識別情報を２次元画像情報に重畳または含ませない。

すなわち、表示制御部１７０は、近接物の存在の有無に応じて、表示部２０に異なる表示をさせる。

また、表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０に表示させる。

すなわち、表示制御部１７０は、近接物の位置に応じた表示部２０の位置に異なる表示をさせる。

図８は、同実施形態における表示部の表示内容を説明するための図である。

図８は、図５に示したステップＳ２、図７に示したステップＳ８０３およびステップＳ８０４に対応する説明図である。

表示部２０には、表示制御部１７０により、２次元画像情報Ｇが表示されている。また、表示部２０には、表示制御部１７０により、近接物等の対象を識別する識別情報Ｇ１、Ｇ２（例えば、指、三脚）およびエラー情報Ｇ３と、２次元画像情報Ｇと、を含む表示画像が表示されている。エラー情報Ｇ３は、図８に示すように、「太陽、照明」などのマークを使用して示すことができる。

以上説明したように、撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３と、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される近接物等の対象の有無に応じて、表示部２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、外光の影響と区別して、撮影者自身や三脚等の近接物の撮像画像への写り込みの有無を正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は、近接物の撮像画像への写り込みの有無を確実に確認することができる。

表示制御部１７０は、近接物の位置に応じた表示部２０の位置に異なる表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０に表示させるとともに、近接物を識別する識別情報Ｇ１、Ｇ２と、画像情報と、を含む表示画像を表示部２０に表示させる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確実に確認することができる。

撮像装置１は、距離情報取得部１３が受光した光による蓄電量が所定値以上である画素の一例として蓄電量が飽和しており、かつ撮像部１１の画素の蓄電量が所定値以下である一例として蓄電量が飽和していない場合、近接物があると判断する判断部１６０を備える。

これにより、撮影者は、外光の影響と区別して、近接物の撮像画像への写り込みの有無を正確に確認することができる。

図９は、同実施形態の変形例に係る撮像装置の外観を示す図である。図１０は、変形例における処理回路の処理ブロックの構成を示す図である。

本変形例において、表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示装置５００の表示部５２０に表示させる。表示部５２０は、２次元画像情報を出力する出力先の一例である。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、表示部５２０に表示される２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、送受信部１８０が３次元情報を出力する外部装置３００とは異なる表示部５２０へ、２次元画像情報を出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示部５２０に出力される２次元画像情報から確認することが可能になる。

表示制御部１７０は、３次元再構成処理部１５０から全天球の３次元データを取得し、３次元情報を表示部５２０に表示させてもよい。具体的には、表示制御部１７０は、２次元画像情報を表示部５２０に表示させる場合と、３次元情報を表示部５２０に表示させる場合を所定の条件に従って選択してもよい。これにより、表示制御部１７０は、３次元情報とは別に２次元画像情報を出力することができる。

表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報と、２次元画像情報と、を含む表示画像を表示部５２０に表示させる

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部５２０に表示させる

すなわち、表示制御部１７０は、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される近接物の有無に応じて、表示部５２０に異なる表示をさせる。

表示制御部１７０は、近接物の位置に応じた表示部５２０の位置に異なる表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報を表示部５２０に表示させるとともに、近接物を識別する識別情報と、画像情報と、を含む表示画像を表示部５２０に表示させる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確実に確認することができる。

図１１は、本発明の実施形態の第２の変形例に係る撮像装置の外観を示す図である。図１２は、第２の変形例における処理回路の処理ブロックの構成を示す図である。

図１１に示す第２の変形例において、撮像装置１は、図１に示した表示部２０に代えて、複数の表示部２０Ａ、２０ａを備える。表示部２０Ａ、２０ａは、ＬＥＤ等により構成され、処理回路１４の出力信号に応じ点滅または点灯する。

表示部２０ａは、筐体１０の正面側の第１の面に設けられ、表示部２０Ａは、筐体１０の背面側の第２の面に設けられている。

図１２に示す第２の変形例において、表示制御部１７０は、判断部１６０から取得した判断結果を示す情報を表示部２０Ａ、２０ａに表示させる。例えば、表示部２０ａおよび２０ｂは、撮像装置１のそれぞれの側に近接する物体がある場合、赤く点滅し得る。

また、送受信部１８０は、ＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報をネットワーク４００経由で表示装置５００へ送信（出力）する。表示装置５００は、２次元画像情報を出力する出力先の一例である。

すなわち、第２の変形例では、図５に示したステップＳ３において、送受信部１８０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示装置５００へ送信（出力）する。

表示装置５００の送受信部５１０は、撮像装置１の送受信部１８０から送信された２次元画像情報を受信する。

表示装置５００の表示制御部５３０は、送受信部５１０が受信した２次元画像情報を表示部５２０へ表示させる。表示制御部５３０を備える表示装置５００は、情報処理装置の一例である。

以上説明したように、撮像装置１は、撮像部１１と、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する送受信部１８０を備える。

送受信部１８０は、ステップＳ１１で３次元情報を送信（出力）する前に、ステップＳ３で２次元画像情報Ｇを送信（出力）する。送受信部１８０は、ステップＳ１０で３次元再構成処理部１５０が３次元情報を決定する前に、ステップＳ３で２次元画像情報Ｇを送信（出力）する。

送受信部１８０は、表示装置５００に２次元画像情報を送信し、表示装置５００は表示部５２０に２次元画像情報を表示させる。

送受信部１８０は、３次元情報を出力する外部装置３００とは異なる表示装置５００へ、２次元画像情報を送信する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示装置５００の表示部５２０に出力される２次元画像情報から確認することが可能になる。

送受信部１８０は、３次元情報を表示装置５００へ送信してもよい。具体的には、送受信部１８０は、２次元画像情報を表示装置５００へ送信する場合と、３次元情報を表示装置５００へ送信する場合を所定の条件に従って選択してもよい。これにより、送受信部１８０は、表示装置５００に対して３次元情報とは別に２次元画像情報を送信することができる。

図１３は、第２の変形例における近接物判断フロー図である。

図１３は、第２の変形例における図５で説明したステップＳ９に対応する近接物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が所定値以上である画素の一例として蓄電量が飽和している画素があるか判断する（ステップＳ８１１）。

判断部１６０は、ステップＳ８１１で蓄電量が飽和している画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ８１１で蓄電量が飽和していた画素と同一座標の画素について、蓄電量が所定値以上である一例として蓄電量が飽和しているか判断する（ステップＳ８１２）。

判断部１６０は、ステップＳ８１２で蓄電量が飽和している場合、ステップＳ８１１で蓄電量が飽和している画素は、外光によるものであると判断し、エラー情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報を表示部２０Ａ、２０ａに表示させる（ステップＳ８１３）。

判断部１６０は、ステップＳ８１２で蓄電量が飽和していない場合、ステップＳ８１１で蓄電量が飽和している画素は、近接物の存在によるものであると判断し、ステップＳ８１１で蓄電量が飽和していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、座標位置情報が筐体１０の正面側であるか判断する（ステップＳ８１４）。

判断部１６０は、ステップＳ８１１で蓄電量が飽和している画素がなかった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、０．５ｍ以下の距離情報を示す画素があるか判断する（ステップＳ８１５）。

判断部１６０は、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素がない場合、処理を終了する。

判断部１６０は、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素がある場合、前述したステップＳ８１４へ移行し、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素は、近接物の存在によるものであると判断し、ステップＳ８１５で０．５ｍ以下の距離情報を示していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、座標位置情報が筐体１０の正面側であるか判断する。

表示制御部１７０は、ステップＳ８１４で正面側であると判断した場合には、筐体１０の正面側に配置された表示部２０ａを点滅させる（ステップＳ８１６）。

表示制御部１７０は、ステップＳ８１４で正面側であると判断しなかった場合には、筐体１０の背面側に配置された表示部２０Ａを点滅させる（ステップＳ８１７）。

以上説明したように、表示制御部１７０は、近接物が存在すると判断した場合には表示部２０ａまたは表示部２０Ａを点滅させ、近接物が存在すると判断しない場合には表示部２０ａおよび表示部２０Ａを点滅させない。

すなわち、表示制御部１７０は、近接物の存在の有無に応じて、表示部２０ａおよび表示部２０Ａに異なる表示をさせる。

また、表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、表示部２０ａまたは表示部２０Ａを点滅させる。

すなわち、表示制御部１７０は、近接物の位置に応じた表示部の位置、すなわち表示部２０ａおよび表示部２０Ａの何れかに異なる表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

そして、表示制御部１７０は、表示部２０Ａ、２０ａのうち、近接物に近い側の表示部に、近接物の有無に応じて異なる表示をさせる。これにより、撮影者は、特定の対象物の撮像画像への写り込みの位置を確実に確認することができる。

図１４は、本発明の実施形態の第３の変形例に係る撮像装置の構成を説明するための図である。

図１４に示す第３の変形例において、撮像装置１は、図２に示した構成に加えて、他の撮像素子１１１ａ、１１１Ａや、他の魚眼レンズ（広角レンズ）１１１ｂ、１１１Ｂなどを有する他の撮像部１１１を備える。

第３の変形例では、ＲＧＢの撮像部１１と他の撮像部１１１を同一基線上に設けている。この場合、処理回路１４において多眼での処理が可能になる。つまり、一面において所定距離離して設けた撮像部１１と他の撮像部１１１を同時に駆動することにより２つの視点のＲＧＢ画像が得られる。このため、２つのＲＧＢ画像に基づいて計算した視差の使用が可能になり、さらに測定範囲全体の距離精度を向上させることができる。

具体的には、ＲＧＢの撮像部１１と他の撮像部１１１設けた場合、従来の視差計算のように、ＳＳＤを使ったマルチベースラインステレオ（ＭＳＢ）やＥＰＩ処理などが利用可能になる。このため、これを利用することで視差の信頼度があがり、高い空間解像度と精度を実現することが可能になる。

以上のように、撮像装置１は、他の撮像部１１１を備え、３次元再構成処理部１５０は、距離情報取得部１３の出力と、２次元画像情報と、他の撮像部１１１により撮像された他の２次元画像情報と、に基づき３次元情報を決定する。

撮像装置１は、距離情報取得部１３の出力によらずに、他の撮像部１１１と、２次元画像情報と他の撮像部１１１により撮像された他の２次元画像情報とに基づき３次元情報を決定する３次元情報決定部と、を備えてもよい。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、２次元画像情報に基づき３次元再構成処理部１５０で決定される３次元情報を確認することなく、撮像部１１により撮像された２次元画像情報から確認することが可能になる。

図１５は、本発明の実施形態における高反射物の判断フロー図であり、図５で説明したステップＳ９に対応する高反射物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が所定値以上である画素の一例として蓄電量が飽和している画素があるか判断する（ステップＳ２１）。

判断部１６０は、ステップＳ２１で蓄電量が飽和している画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ２１で蓄電量が飽和していた画素と同一座標の画素を含むＲＧＢ画像データについて、高反射物を示す基準情報と一致するか判定する（ステップＳ２２）。高反射物を示す基準情報として、モデル画像を用いて、画像認識によりＲＧＢ画像データとモデル画像の一致度を判定しても良い。また、高反射物を示す基準情報およびＲＧＢ画像データとして、スペクトル、色味等のパラメータを用いて、所定の閾値により一致度を判定しても良い。さらに、基準情報は、テーブルに記憶されたものでもよく、学習モデルを用いてもよい。

処理回路１４は、モデル画像情報として、金属や鏡等の高反射物の画像を記憶しており、判断部１６０は、ステップＳ２２において、ＡＩ等の判定器を用いて、取得した画像が記憶された高反射物の画像と一致するかを判定する。

判断部１６０は、ステップＳ２２で取得した画像が記憶された高反射物の画像と一致すると判断した場合、ステップＳ２２で判断した画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ２３）。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、高反射物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させ（ステップＳ２４）、処理を終了する。

ステップＳ２２およびステップＳ２３は、判断ステップの一例であり、ステップＳ２４は、表示ステップの一例である。

判断部１６０は、ステップＳ２２で取得した画像が記憶された高反射物の画像と一致しないと判断した場合、近接物の判断に移行し（ステップＳ２３）、図７に示した近接物判断フローを実行する（ステップＳ２５）。

以上説明したように、撮像装置１は、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき高反射物があるかを判断する判断部１６０と、高反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、近接物や外光の影響と区別して、鏡等の高反射物が撮像画像に含まれることを正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は、高反射物が撮像画像に含まれることを確実に確認することができる。

表示制御部１７０は、高反射物の位置に応じた表示部２０、５２０の位置に異なる表示をさせる。これにより、撮影者は、高反射物の位置を確認することができる。

図１３に示した近接物と同様に、表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、高反射物に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、高反射物の位置を確実に確認することができる。

図３に示した近接物と同様に、表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、高反射物を識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、高反射物の位置を確実に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が所定値以上である画素の一例として蓄電量が飽和しており、かつ撮像部が撮像した画像情報が、高反射物を示す基準情報の一例であるモデル画像情報と一致する場合、高反射物があると判断する。

これにより、撮影者は、近接物や外光の影響と区別して、高反射物が撮像画像に含まれることを正確に確認することができる。

撮像装置１は、距離情報取得部１３が受光した光に基づき対象までの距離情報を取得する。この場合、撮影者は、所望の距離情報が取得されない要因が、近接物や外光ではなく、高反射物であることを確認することができる。

撮像装置１は、距離情報取得部１３から取得した距離情報に基づいて決定された３次元情報を出力する送受信部１８０を備える。この場合、撮影者は、所望の３次元情報が取得されない要因が、近接物や外光ではなく、高反射物であることを確認することができる。

図１６は、本実施形態における遠方物および低反射物の判断フロー図であり、図５で説明したステップＳ９に対応する遠方物および低反射物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が距離情報取得可能な閾値以下の画素があるか判断する（ステップＳ４１）。

判断部１６０は、ステップＳ４１で蓄電量が閾値以下の画素がなかった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、１０ｍ以上の距離情報を示す画素があるか判断し、１０ｍ以上の距離情報を示す画素がある場合、遠方物であると判断し、画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ４２）。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、遠方物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させて（ステップＳ４３）、処理を終了する。

判断部１６０は、ステップＳ４２で１０ｍ以上の距離情報を示す画素がない場合、処理を終了する。

判断部１６０は、ステップＳ４１で蓄電量が閾値以下の画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ４１で蓄電量が閾値以下の画素と同一座標の画素について、蓄電量が物体認識可能な閾値以下か判断する（ステップＳ４４）。

判断部１６０は、ステップＳ４４で蓄電量が物体認識可能な閾値以下であると判断した場合、低反射物であると判断し、画素の座標位置情報を表示制御部１７０へ出力する。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、低反射物を識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示し（ステップＳ４５）、処理を終了する。

判断部１６０は、ステップＳ４４で蓄電量が物体認識可能な閾値以下ではないと判断した場合、ステップＳ４４で判断した画素を含むＲＧＢ画像データについて、画像と距離を対応付けた基準情報の一例であるモデル情報に基づき、距離を判定する（ステップＳ４６）。基準情報としてモデル画像を用いた場合、画像認識によりＲＧＢ画像データとモデル画像の一致度を判定しても良い。また、基準情報およびＲＧＢ画像データとして、パラメータを用いて、所定の閾値により一致度を判定しても良い。さらに、基準情報は、テーブルに記憶されたものでもよく、学習モデルを用いてもよい。

処理回路１４は、モデル情報として、距離と対応付けられた画像を複数の距離のそれぞれの距離毎に記憶しており、判断部１６０は、ステップＳ４６において、ＡＩ等の判定器を用いて、取得した画像が記憶された距離毎の画像と一致するかを判定する。

判断部１６０は、ステップＳ４６で取得した画像と一致した画像に対応付けられた距離が１０ｍ以上であるか判断し、１０ｍ以上の場合、遠方物であると判断し、画素の座標位置情報を表示制御部１７０へ出力して（ステップＳ４７）、ステップＳ４３に移行する。

判断部１６０は、ステップＳ４６で取得した画像と一致した画像に対応付けられた距離が１０ｍ以上でない場合、低反射物であると判断し、画素の座標位置情報を表示制御部１７０へ出力して（ステップＳ４７）、ステップＳ４５に移行する。

ステップＳ４１、Ｓ４２、Ｓ４４、およびＳ４７は、判断ステップの一例であり、ステップＳ４３およびＳ４５は、表示ステップの一例である。

以上説明したように、撮像装置１は、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき遠方物または低反射物があるかを判断する判断部１６０と、遠方物または低反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、遠方物または黒色等の低反射物が撮像画像に含まれることを正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は遠方物または低反射物が撮像画像に含まれることを確実に確認することができる。

表示制御部１７０は、遠方物または低反射物の位置に応じた表示部２０、５２０の位置に異なる表示をさせる。これにより、撮影者は、遠方物または低反射物の位置を確認することができる。

図１３に示した近接物と同様に、表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、遠方物または低反射物に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、遠方物または低反射物の位置を確実に確認することができる。

図３に示した近接物と同様に、表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、遠方物または低反射物を識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、遠方物または低反射物の位置を確実に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が閾値以下である場合、撮像部１１の出力に基づき、低反射物か、遠方物かを判断する。これにより、撮影者は、低反射物、遠方物の何れが撮像画像に含まれることを正確に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が閾値以下で、かつ撮像部１１の画素の蓄電量が閾値以下である場合、低反射物があると判断する。
これにより、撮影者は、低反射物が撮像画像に含まれることを正確に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が閾値以下で、撮像部１１の画素の蓄電量が閾値以上であり、かつ画素に基づき判断される距離が閾値以上の場合、遠方物あると判断する。

これにより、撮影者は、遠方物が撮像画像に含まれることを正確に確認することができる。

撮像装置１は、距離情報取得部１３が受光した光に基づき対象までの距離情報を取得する。この場合、撮影者は、所望の距離情報が取得されない要因が、遠方物または低反射物であることを確認することができる。

撮像装置１は、距離情報取得部１３から取得した距離情報に基づいて決定された３次元情報を出力する出力部の一例である送受信部１８０を備える。この場合、撮影者は、所望の３次元情報が取得されない要因が、遠方物または低反射物であることを確認することができる。

図１７は、本実施形態における画像のぶれの判断フロー図であり、図５で説明したステップＳ９に対応する撮像画像における画像のぶれの有無の判断処理を示すフローチャートである。

判断部１６０は、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像の中にエッジ周辺領域を含む画像の画素があるか判断する（ステップＳ５１）。

ここで、判断部１６０は、画素における輝度値の変化や、その一次、二次微分値等を閾値と比較することにより、画像に含まれるエッジを検出し、エッジ周辺領域を含む画像の画素を特定するが、他の方法によりエッジを検出してもよい。

次に、ステップＳ５１でエッジ周辺領域を含む画像の画素があった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、ステップＳ５１でエッジ周辺領域を含むと判断された画像の画素と同一座標の画素を含むＴＯＦ画像データについて、ＴＯＦ位相画像のエッジがずれているか判断し、エッジがずれていると判断した場合には、ステップＳ５１で判断した画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ５２）。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、画像のぶれを識別する識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させ（ステップＳ５３）、処理を終了する。

ステップＳ５１およびＳ５２は、判断ステップの一例であり、ステップＳ５３は、表示ステップの一例である。

判断部１６０は、ステップＳ５１でエッジ周辺領域を含む画像の画素が無い場合、およびステップＳ５２で、ＴＯＦ位相画像のエッジがずれていない場合、処理を終了する。

本実施形態では、位相差検出方式で距離を計測しており、撮像装置１は、０°、９０°、１８０°および２７０°の位相毎に、同じ位相のＴＯＦ位相画像をＮ枚取得して加算する。

このように、同じ位相の位相画像をＮ枚加算することで、その位相の位相画像のダイナミックレンジが拡大される。また、各位相の加算するＮ枚の位相画像の撮像に要する時間は短縮されており、ぶれ等の影響の少ない位置精度の優れた位相画像を得るようになっている。このため、ダイナミックレンジが拡大された位相画像により、以下に示す画像のずれ量の検出処理も精度良く実行できる。

判断部１６０は、位相毎の画素のずれ量を、一般的なオプティカルフローを求める処理、又は、以下の参考論文で開示されている機械学習の手法で算出し、位相毎の画素のずれ量を全ての位相で加算した値を閾値と比較して、画像のぶれの有無を最終判断するが、他の方法により画像のぶれの有無を判断してもよい。

論文名
Ｔａｃｋｌｉｎｇ３ＤＴｏＦＡｒｔｉｆａｃｔｓＴｈｒｏｕｇｈＬｅａｒｎｉｎｇａｎｄｔｈｅＦＬＡＴＤａｔａｓｅｔ
著者
ＱｉＧｕｏ（ＳＥＡＳ，ＨａｒｖａｒｄＵｎｉｖｅｒｓｉｔｙ）、
ＩｕｒｉＦｒｏｓｉｏ
ＯｒａｚｉｏＧａｌｌｏ
ＴｏｄｄＺｉｃｋｌｅｒ（ＳＥＡＳ，ＨａｒｖａｒｄＵｎｉｖｅｒｓｉｔｙ）
ＪａｎＫａｕｔｚ
公開日
Ｍｏｎｄａｙ，Ｓｅｐｔｅｍｂｅｒ１０，２０１８
公開元
ＥＣＣＶ（ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）２０１８
ＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）
ｈｔｔｐｓ：／／ｒｅｓｅａｒｃｈ．ｎｖｉｄｉａ．ｃｏｍ／ｐｕｂｌｉｃａｔｉｏｎ／２０１８－０９＿Ｔａｃｋｌｉｎｇ－３Ｄ－ＴｏＦ

以上説明したように、撮像装置１は、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき画像のぶれがあるかを判断する判断部１６０と、画像のぶれの有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、画像のぶれが撮像画像に含まれることを正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は、画像のぶれが撮像画像に含まれることを確実に確認することができる。

表示制御部１７０は、画像のぶれの位置に応じた表示部２０、５２０の位置に異なる表示をさせる。これにより、撮影者は、画像のぶれの位置を確認することができる。

図１３に示した近接物と同様に、表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、画像のぶれの位置に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、画像のぶれの位置を確実に確認することができる。

図３に示した近接物と同様に、表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、画像のぶれを識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、画像のぶれの位置を確実に確認することができる。

判断部１６０は、撮像部１１が撮像した画像情報に基づき画像のエッジを検出し、かつ距離情報取得部１３が受光した光による画素にずれが生じている場合、画像のぶれがあると判断する

撮像装置１は、距離情報取得部１３が受光した光に基づき対象までの距離情報を取得する。この場合、撮影者は、所望の距離情報が取得されない要因が、画像のぶれであることを確認することができる。

撮像装置１は、距離情報取得部１３から取得した距離情報に基づいて決定された３次元情報を出力する出力部の一例である送受信部１８０を備える。この場合、撮影者は、所望の３次元情報が取得されない要因が、画像のぶれであることを確認することができる。

図１８は、本発明の実施形態の第４の変形例における判断フロー図である。

図５で説明したステップＳ９では、判断部１６０が、近接物等の特定の対象の有無を判断し、表示制御部１７０が、特定の対象物の有無に応じて、表示部２０、５２０に異なる表示をさせていたが、第４の変形例では、判断部１６０が、特定の対象の有無を判断せず、表示制御部１７０は、特定の対象物の有無に応じて、表示部２０、５２０に異なる表示をさせないが、ユーザが特定に対象物を認識できるようにしている。

図１８（ａ）に示すフローにおいて、判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が所定値以上である画素の一例として蓄電量が飽和しており、距離情報を取得可能な閾値以上である画素があるか判断し、蓄電量が閾値以上である画素があった場合、画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ３１）。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、図３に示した近接物と同様に、当該位置を識別する位置識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させ（ステップＳ３２）、処理を終了する。

判断部１６０は、ステップＳ３１で蓄電量が閾値以上でない場合、処理を終了する。

図１８（ｂ）に示すフローにおいて、判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が距離情報を取得可能な閾値以下である画素があるか判断し、蓄電量が閾値以下である画素があった場合、画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ３３）。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、図３に示した近接物と同様に、当該位置を識別する位置識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させ（ステップＳ３４）、処理を終了する。

判断部１６０は、ステップＳ３３で蓄電量が閾値以下でない場合、処理を終了する。

図１８（ｃ）に示すフローにおいて、判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中にＴＯＦ位相画像がずれており距離情報を取得できない画素があるか判断し、ＴＯＦ位相画像がずれている画素があった場合、画素の座標位置情報を表示制御部１７０へ出力する（ステップＳ３５）。

ここで、判断部１６０は、図１７のステップＳ５２で説明した方法と同様の方法で、ＴＯＦ位相画像のずれを判断する。

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、図３に示した近接物と同様に、当該位置を識別する位置識別情報と、２次元画像情報と、を含む表示画像を表示部２０、５２０に表示させ（ステップＳ３６）、処理を終了する。

判断部１６０は、ＴＯＦ位相画像がずれている画素が無い場合、処理を終了する。

以上説明したように、撮像装置１は、距離情報取得部１３の出力が閾値以上または閾値以下であるかを判断部１６０により判断された位置を示す位置情報に基づき、位置を識別する位置識別情報と、対象を撮像する撮像部１１が撮像した２次元画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる表示制御部１７０を備える。

これにより、距離情報取得部１３の出力が閾値以上または閾値以下である位置、すなわち距離情報取得部１３の出力が強すぎたり弱すぎたりして所望の出力が得られない位置を２次元画像Ｇで確認することにより、所望の出力が得られない要因を確認することができる。

また、撮像装置１は、距離情報取得部１３の出力に基づき対象までの距離情報を取得できないと判断部１６０により判断された位置を示す位置情報に基づき、位置を識別する位置識別情報と、対象を撮像する撮像部１１が撮像した２次元画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる表示制御部１７０を備える。

これにより、対象までの距離情報を取得できない位置を２次元画像Ｇで確認することにより、対象までの距離情報を取得できない要因を確認することができる。

対象までの距離情報を取得できないと判断部１６０、５６０、６６０が判断するのは、距離情報取得部１３の出力が閾値以上または閾値以下である場合以外に、距離情報取得部１３の出力により画像のぶれを検出した場合も含む。

図１９は、本発明の実施形態の第５の変形例における処理回路の処理ブロックの構成の一例を示す図である。

図１９に示す第５の変形例における処理回路の処理ブロックは、図４に示した本実施形態の処理回路１４の処理ブロックに対して、判断部１６０が、判断結果を送受信部１８０へ出力する点と、判断部１６０が、３次元再構成処理部１５０から全天球の３次元データを取得する点と、判断結果を送受信部１８０へ出力する点と、表示制御部１７０が、３次元再構成処理部１５０から全天球の３次元データを取得する点が加わっている。

送受信部１８０は、３次元再構成処理部１５０から出力される全天球の３次元データおよびＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報に加えて、判断部１６０の判断結果をネットワーク４００経由で３次元復元処理を行う外部装置３００へ送信（出力）する。

表示制御部１７０は、３次元再構成処理部１５０から取得した全天球の３次元データに基づき、３次元画像を表示部２０に表示させるとともに、撮像部１１の出力と、距離情報取得部１３の出力との両方に基づき特定の対象があるかを判断した判断部１６０による判断結果に基づき、特定の対象を識別する識別情報と、３次元画像と、を含む表示画像を表示部２０に表示をさせる。特定の対象は、近接物、高反射物、遠方物、低反射物および画像のぶれ領域も含む。

これにより、所望の３次元画像３Ｇが表示されない要因が、近接物、高反射物、遠方物、低反射物および画像のぶれの何れであるかを、３次元画像３Ｇを観て確認することができる。

図２０は、本発明の実施形態の第６の変形例における情報処理システムの構成の一例を示す図である。

図２０に示す第６の変形例にかかる情報処理システムは、撮像装置１と、表示装置５００を備える。

図２０に示す撮像装置１は、撮像素子１１ａ、１１Ａ、ＴＯＦセンサ１３ａ、１３Ａ、光源部１２ａ、１２Ａ、および撮影スイッチ１５を備え、これらは図４に示したものと同様に構成される。

図２０に示す撮像装置１における処理回路４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、ＴＯＦ画像データ取得部１４４と、送受信部１８０とを有する。制御部１４１は、図４に示したものと同様に構成される。

ＲＧＢ画像データ取得部１４２は、図４と同様に、制御部１４１による撮像指示に基づき、撮像素子１１ａ、１１Ａが撮像したＲＧＢ画像データを取得して、全天球のＲＧＢ画像データを出力するが、出力先が送受信部１８０である点が図４と異なる。

ＴＯＦ画像データ取得部１４４は、図４と同様に、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａ、１３Ａが生成したＴＯＦ画像データを取得して、全天球のＴＯＦ画像データを出力するが、出力先が送受信部１８０である点が図４と異なる。

送受信部１８０は、図４と異なり、ＲＧＢ画像データ取得部１４２から出力される全天球のＲＧＢ画像データおよびＴＯＦ画像データ取得部１４４から出力される全天球のＴＯＦ画像データを表示装置５００へ送信（出力）する。

図２０に示す表示装置５００は、図１２に示した第２の変形例と同様に、送受信部５１０と、表示部５２０と、表示制御部５３０と、を備えるとともに、
ＲＧＢ画像データ取得部５４２と、モノクロ処理部５４３と、ＴＯＦ画像データ取得部５４４と、高解像度化部５４５と、マッチング処理部５４６と、再投影処理部５４７と、セマンティックセグメンテーション部５４８と、視差計算部５４９と、３次元再構成処理部５５０と、判断部５６０と、をさらに備える。

送受信部１８０は、撮像装置１から送信された全天球のＲＧＢ画像データおよび全天球のＴＯＦ画像データを受信する。

ＲＧＢ画像データ取得部５４２は、送受信部１８０から全天球のＲＧＢ画像データを取得し、ＴＯＦ画像データ取得部５４４は、送受信部１８０から全天球のＲＧＢ画像データを取得するが、それ以外は、それぞれ、図４に示したＲＧＢ画像データ取得部１４２およびＴＯＦ画像データ取得部１４４と同様に構成される。

モノクロ処理部５４３と、ＴＯＦ画像データ取得部５４４と、高解像度化部５４５と、マッチング処理部５４６と、再投影処理部５４７と、セマンティックセグメンテーション部５４８と、視差計算部５４９と、３次元再構成処理部５５０と、および判断部５６０は、図４に示したモノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０と、および判断部１６０と同様に構成される。

表示制御部５３０は、ＲＧＢ画像データ取得部５４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像を表示部５２０に表示させてもよく、３次元再構成処理部５４５から全天球の３次元データを取得し、３次元画像報を表示部５２０に表示させてもよい。

表示制御部５３０は、判断部１６０から取得した判断結果を示す情報と、２次元画像または３次元画像と、を含む表示画像を表示部５２０に表示させる。

以上説明したように、表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力を受信する受信部の一例である送受信部５１０と、送受信部５１０が受信した距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき特定の対象物があるかを判断する判断部５６０と、判断部５６０の判断結果に基づき、特定の対象の有無に応じて、表示部に異なる表示をさせる表示制御部５３０と、を備える。

特定の対象は、近接物、高反射物、遠方物、低反射物および画像のぶれ領域を含む。

また、表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき特定の対象があるかを判断した判断部５６０による判断結果に基づき、特定の対象を識別する識別情報と、３次元再構成処理部５５０により決定される３次元画像３Ｇと、を含む表示画像を表示部５２０に表示をさせる表示制御部５３０を備える。

図２１は、本発明の実施形態の第７の変形例における情報処理システムの構成の一例を示す図である。

図２１に示す第７の変形例にかかる情報処理システムは、撮像装置１と、表示装置５００と、サーバ６００と、を備える。

図２１に示す撮像装置１は、図２０に示した撮像装置１と同様に構成され、図２１に示す表示装置５００は、図１２に示した表示装置５００と同様に構成される。

図２１に示すサーバ６００は、受信部６１０と、ＲＧＢ画像データ取得部６４２と、モノクロ処理部６４３と、ＴＯＦ画像データ取得部６４４と、高解像度化部６４５と、マッチング処理部６４６と、再投影処理部６４７と、セマンティックセグメンテーション部６４８と、視差計算部６４９と、３次元再構成処理部６５０と、判断部６６０と、送信部６８０と、を備える。

受信部６１０は、ネットワーク４００経由で撮像装置１から送信された全天球のＲＧＢ画像データおよび全天球のＴＯＦ画像データを受信する。

ＲＧＢ画像データ取得部６４２は、受信部６１０から全天球のＲＧＢ画像データを取得し、ＴＯＦ画像データ取得部６４４は、受信部６１０から全天球のＲＧＢ画像データを取得するが、それ以外は、それぞれ、図４に示したＲＧＢ画像データ取得部１４２およびＴＯＦ画像データ取得部１４４と同様に構成される。

モノクロ処理部６４３と、ＴＯＦ画像データ取得部６４４と、高解像度化部６４５と、マッチング処理部６４６と、再投影処理部６４７と、セマンティックセグメンテーション部６４８と、視差計算部６４９と、３次元再構成処理部６５０と、および判断部６６０は、図４に示したモノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０と、および判断部１６０と同様に構成される。

送信部６８０は、３次元再構成処理部１５０から出力される全天球の３次元データと、ＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報と、判断部１６０の判断結果と、をネットワーク４００経由で表示装置５００へ送信（出力）する。

表示装置５１０の送受信部５１０は、サーバ６００から送信された全天球の３次元データと、２次元画像情報と、判断部１６０の判断結果と、を受信する。

表示装置５１０の表示制御部５３０は、送受信部５１０から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像を表示部５２０に表示させてもよく、送受信部５１０から全天球の３次元データを取得し、３次元画像報を表示部２０に表示させてもよい。

表示制御部５３０は、送受信部５１０から取得した判断結果を示す情報と、２次元画像または３次元画像と、を含む表示画像を表示部５２０に表示させる。

以上説明したように、表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づく特定の対象があるかのサーバ６００の判断部６６０による判断結果を受信する送受信部５１０と、送受信部５１０が受信した判断結果に基づき、特定の対象の有無に応じて、表示部５２０に異なる表示をさせる表示制御部５３０と、を備える。特定の対象は、近接物、高反射物、遠方物、低反射物および画像のぶれ領域を含む。

また、表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき特定の対象があるかを判断した判断部６６０による判断結果に基づき、特定の対象を識別する識別情報と、３次元再構成処理部６５０により決定される３次元画像３Ｇと、を含む表示画像を表示部５２０に表示をさせる表示制御部５３０を備える。

図２２は、第５～第７の変形例における表示部の表示内容を説明するための図である。

図２２に示すように、表示部５２０には、表示制御部５３０により、特定の対象を識別する識別情報３Ｇａ，３Ｇｂおよび３Ｇｃを含む３次元画像３Ｇが表示されている。３Ｇａ，３Ｇｂおよび３Ｇｃは、特定の対象の位置を識別する位置識別情報であってもよい。

図２２では、表示部５２０を示したが、表示部２０にも、同様に表示制御部１７０により、特定の対象を識別する識別情報３Ｇａ，３Ｇｂおよび３Ｇｃを含む３次元画像３Ｇが表示される。

ここで、識別情報３Ｇａは死角を示しピンク色等で識別表示され、識別情報３Ｇｂは低反射物を示しオレンジ色等で識別表示され、識別情報３Ｇｃは遠方物を示しモザイク等で識別表示されている。

これらの識別情報３Ｇａ，３Ｇｂおよび３Ｇｃは同時に全て表示されていてもよく、何れか１つまたは２つが表示されていてもよい。

図２３は、本発明の実施形態における表示部が表示する三次元画像を説明するための図である。

図２３（ａ）は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。

図２３（ｂ）は、図２３（ａ）の立体斜視図、図２３（ｃ）は、ディスプレイに表示された場合の所定領域画像を表す図である。

図２３（ｂ）は、図２３（ａ）に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図２３（ａ）に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。

全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる。

すなわち、表示制御部１７０、５３０は、３次元画像３Ｇを見る視点の位置にある仮想カメラＩＣの位置および向きを変更することにより、表示部２０、５２０に表示させる３次元画像３Ｇの表示領域を変更する。

上記では表示部が表示する三次元画像について全天球画像を用いる例で説明したが、３次元点群データを用いる場合も同様である。仮想空間中に三次元点群を配置し、その仮想空間中に仮想カメラを配置する。仮想カメラの視点位置、撮影方向と画角を示す所定領域情報に基づいて、仮想空間中の所定の投影面に３次元点群を投射投影することで三次元画像を得る。また、仮想カメラの視点位置および向きを変更することにより、３次元画像の表示領域を変更する。

図２４は、第５～第７の変形例における判断フロー図である。判断部１６０、５６０、６６０は、３次元再構成処理部１５０、５５０、６５０から取得した全天球の３次元データに基づき、全天球の３次元データの中に点群データの密度が閾値未満の領域（座標）があるか判断する（ステップＳ６１）。

判断部１６０、５６０、６６０は、ステップＳ６１で点群データの密度が閾値未満の領域（座標）があると判断した場合、点群データの密度が閾値未満の領域と同一座標の複数の画素について、図１６に示したフローで撮像部１１の出力に基づき、遠方物と判断された画素が含まれるか判断し、遠方物と判断された画素が含まれる場合、画素の座標位置情報を表示制御部１７０、５３０へ出力する（ステップＳ６２）。

表示制御部１７０、５３０は、判断部１６０、５６０、６６０から取得した画素の座標位置情報に基づき、図２２に示したように、遠方物の位置を識別する位置識別情報３Ｇｃと、３次元画像Ｇと、を含む表示画像を表示部２０、５２０に表示し（ステップＳ６３）、処理を終了する。

判断部１６０、５６０、６６０は、ステップＳ６２で、点群データの密度が閾値未満の領域と同一座標の複数の画素について、遠方物と判断された画素が含まれない場合、図１６に示したフローで撮像部１１の出力に基づき、低反射物と判断された画素が含まれるか判断し、低反射物と判断された画素が含まれる場合、画素の座標位置情報を表示制御部１７０、５３０へ出力する（ステップＳ６４）。

表示制御部１７０、５３０は、判断部１６０、５６０、６６０から取得した画素の座標位置情報に基づき、図２２に示したように、低反射物の位置を識別する位置識別情報３Ｇｂと、３次元画像Ｇと、を含む表示画像を表示部２０、５２０に表示し（ステップＳ６５）、処理を終了する。

判断部１６０、５６０、６６０は、ステップＳ６４で、点群データの密度が閾値未満の領域と同一座標の複数の画素について、低反射物と判断された画素が含まれない場合、死角であると判断し、画素の座標位置情報を表示制御部１７０、５３０へ出力する。

表示制御部１７０、５３０は、判断部１６０、５６０、６６０から取得した画素の座標位置情報に基づき、図２２に示したように、死角の位置を識別する位置識別情報３Ｇａと、３次元画像Ｇと、を含む表示画像を表示部２０、５２０に表示し（ステップＳ６６）、処理を終了する。ステップＳ６１、Ｓ６２およびＳ６４は判断ステップの一例であり、ステップＳ６３、Ｓ６５およびＳ６６は表示ステップの一例である。

以上説明したように、撮像装置１および表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき特定の対象があるかを判断した判断部１６０、５６０、６６０による判断結果に基づき、特定の対象を識別する識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、距離情報取得部１３の出力に基づき３次元情報決定部の一例である３次元再構成処理部１５０、５５０、６５０により決定される３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に異なる表示をさせる表示制御部１７０、５３０を備える。

特定の対象は、遠方物、低反射物および死角だけでなく、近接物、高反射物、および画像のぶれ領域も含む。

これにより、所望の３次元画像３Ｇが表示されない要因が、遠方物、低反射物、死角、近接物、高反射物、および画像のぶれの何れであるかを、３次元画像３Ｇを観て確認することができる。

また、撮像装置１および表示装置５００は、対象に投射されて対象から反射してきた光を受光する距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させる表示制御部１７０、５３０を備え、表示制御部１７０、５３０は、３次元画像３Ｇ中で、対象から反射してきた光を受光したときの距離情報取得部１３からの距離が遠い遠方物、投射された光に対する反射率が低い低反射物、および対象から反射してきた光を受光したときの距離情報取得部１３に対する死角の少なくとも１つであると判断された位置を示す位置情報に基づき、遠方物、低反射物および死角の少なくとも１つの位置を識別する位置識別情報３Ｇａ、３Ｇｂまたは３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、所望の３次元画像３Ｇが表示されない要因が、遠方物、低反射物、および死角の何れであるかを、３次元画像３Ｇを観て確認することができるため、要因に応じて再撮像等の対応をとることが可能になる。

３次元画像３Ｇは、３次元情報決定部の一例である３次元再構成処理部１５０、５５０、６５０により決定される。

表示制御部１７０、５３０は、遠方物、低反射物、および死角の何れか１つの位置情報に基づき、位置識別情報３Ｇａ、３Ｇｂおよび３Ｇｃの何れか１つと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させてもよく、遠方物、低反射物、および死角の何れか２つまたは全ての位置情報に基づき、位置識別情報３Ｇａ、３Ｇｂおよび３Ｇｃの何れか２つまたは全てと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させてもよい。

情報処理装置が撮像装置１である場合、撮像装置１は、図１９に示したように、距離情報取得部１３および３次元再構成処理部１５０を備える。

情報処理装置が表示装置５００である場合、図２０および図２１に示したように、表示装置５００は、距離情報取得部１３を備えておらず、撮像装置１が、距離情報取得部１３を備えて、距離情報取得部１３の出力を表示装置５００またはサーバ６００へ送信する。

表示装置５００は、図２０に示したように３次元再構成処理部５５０を備えてもよく、備えなくてもよい。

表示装置５００が３次元再構成処理部５５０を備えない場合、撮像装置１が３次元再構成処理部１５０を備えて表示装置５００へ３次元画像を送信してもよく、図２１に示したように、サーバ６００が３次元再構成処理部６５０を備えて表示装置５００へ３次元画像を送信してもよい。

表示制御部１７０、５３０は、３次元画像３Ｇに含まれる点群データの密度が閾値よりも低く、かつ、遠方物、低反射物、または死角の少なくとも１つであると判断される位置を示す位置情報に基づき、位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、点群データの密度が閾値よりも低い要因が、遠方物、低反射物、および死角の何れであるかを、３次元画像３Ｇを観て確認することができる。

表示制御部１７０、５３０は、対象を撮像する撮像部１１の出力に基づき、３次元画像３Ｇ中で、遠方物、低反射物、または死角の少なくとも１つであると判断される位置を示す位置情報に基づき、位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、所望の３次元画像３Ｇが表示されない要因を、遠方物、低反射物、および死角の何れであるか、撮像部１１の出力に基づき正確に判断することができる。

情報処理装置が撮像装置１である場合、撮像装置１は、図１９に示したように、撮像部１１を備える。情報処理装置が表示装置５００である場合、表示装置５００は、図２０および図２１に示したように、撮像部１１を備えておらず、撮像装置１が、撮像部１１を備えて、撮像部１１の出力を表示装置５００またはサーバ６００へ送信する。

撮像装置１および表示装置５００は、３次元画像３Ｇ中で、遠方物、低反射物、または死角の少なくとも１つである位置を判断する判断部１６０、５６０、６６０を備え、表示制御部１７０、５３０は、判断部１６０、５６０、６６０の判断結果に基づき、位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

情報処理装置が撮像装置１である場合、撮像装置１は、図１９に示したように、判断部１６０を備える。

情報処理装置が表示装置５００である場合、表示装置５００は、図２０に示したように判断部５６０を備えてもよく、判断部５６０を備えなくてもよい。

表示装置５００が判断部５６０を備えない場合、撮像装置１が判断部１６０を備えて表示装置５００へ判断結果を送信してもよく、図２１に示したようにサーバ６００が判断部６６０を備えて表示装置５００へ判断結果を送信してもよい。

図２５は、第５～第７の変形例における表示部の表示内容を説明するための他の図である。

図２５に示すように、表示部５２０には、表示制御部５３０により、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２を含む３次元画像３Ｇが表示されている。

３次元画像３Ｇは、第１の位置に位置する距離情報取得部１３の出力および第１の位置とは異なる第２の位置に位置する距離情報取得部１３の出力に基づき決定されており、位置識別情報３Ｇ１は、第１の位置を識別する第１の位置識別情報の一例であり、位置識別情報３Ｇ２は、第２の位置を識別する第１の位置識別情報の一例である。

図２５では、表示部５２０を示したが、表示部２０にも、同様に表示制御部１７０により、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２を含む３次元画像３Ｇが表示される。

表示制御部１７０、５３０は、３次元画像３Ｇと、図２２に示したように、低密度識別情報の一例である識別情報３Ｇａ，３Ｇｂおよび３Ｇｃと、を含む表示画像を表示部２０、５２０に表示させるとともに、図２５に示すように、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２を表示画像に含ませてもよい。

図２６は、第５～第７の変形例における処理を説明するフロー図である。

３次元再構成処理部１５０、５５０、６５０は、全天球の高密度３次元点群データを読み込み（ステップＳ７１）、３次元点群データの原点を対象から反射してきた光を受光したときの距離情報取得部１３の撮像位置を示す位置情報として取得する（ステップＳ７２）。

３次元再構成処理部１５０、５５０、６５０は、事前に読み込まれた３次元点群データがあるか確認し、事前に読み込まれた３次元点群データが無ければ、ステップＳ７１で読み込まれた３次元点群データと、ステップＳ７２で取得した位置情報を表示制御部１７０、５３０へ出力する（ステップＳ７３）。

表示制御部１７０、５３０は、３次元再構成処理部１５０、５５０、６５０から取得した３次元点群データと位置情報に基づき、図２５に示したように、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示し（ステップＳ７４）、処理を終了する。

３次元再構成処理部１５０、５５０、６５０は、ステップＳ７３で、事前に読み込まれた３次元点群データがあれば、ステップＳ７１で読み込まれた３次元点群データと事前に読み込まれた３次元点群データを統合する（ステップＳ７５）。

３次元再構成処理部１５０、５５０、６５０は、ステップＳ７１で読み込まれた３次元点群データの原点および事前に読み込まれた３次元点群データの原点のそれぞれについて、ステップＳ７５で統合した３次元点群データ中の座標を撮像位置の位置情報として算出し、ステップＳ７５で統合した３次元点群データおよび算出した複数の位置情報を表示制御部１７０、５３０へ出力する（ステップＳ７６）。

ステップＳ７４において、表示制御部１７０、５３０は、３次元再構成処理部１５０、５５０、６５０から取得した３次元点群データと複数の位置情報に基づき、図２５に示したように、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する複数の位置識別情報３Ｇ１、３Ｇ２と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示する。

図２７は、第５～第７の変形例における処理を説明する他のフロー図である。

３次元再構成処理部１５０、５５０、６５０は、全天球の高密度３次元点群データを読み込み（ステップＳ８１）、判断部１６０、５６０、６６０は、３次元再構成処理部１５０、５５０、６５０から取得した全天球の３次元データに基づき、図２４に示したフローのステップＳ６１、Ｓ６２およびＳ６４を実行して点群データの密度が閾値よりも低い低密度部を抽出する（ステップＳ８２）。

表示制御部１７０、５３０は、図２３に示す仮想カメラＩＣが、図２５に示した位置識別情報３Ｇ１または３Ｇ２の位置にある場合、図２４に示したフローのステップＳ６３、Ｓ６５およびＳ６６を実行して、図２２に示した低密度識別情報の一例である識別情報３Ｇａ，３Ｇｂおよび３Ｇｃの少なくとも１つが表示画像に含まれるように、仮想カメラＩＣの向きを変更する（ステップＳ８３）。

以上説明したように、撮像装置１および表示装置５００は、距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させる表示制御部１７０、５３０を備え、表示制御部１７０、５３０は、対象から反射してきた光を受光したときの距離情報取得部１３の位置を示す位置情報に基づき、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、対象から反射してきた光を受光したときの距離情報取得部１３の位置を示す撮像位置と、特定の対象との位置関係を、３次元画像３Ｇ中で把握できる。

３次元画像３Ｇおよび位置情報は、３次元再構成処理部１５０、５５０、６５０により決定される。

表示装置５００が３次元再構成処理部５５０を備えない場合、撮像装置１が３次元再構成処理部１５０を備えて表示装置５００へ３次元画像および位置情報を送信してもよく、図２１に示したように、サーバ６００が３次元再構成処理部６５０を備えて表示装置５００へ３次元画像および位置情報を送信してもよい。

表示制御部１７０、５３０は、３次元画像３Ｇにおける点群データの密度が閾値よりも低い領域を示す領域情報に基づき、領域を識別する低密度識別情報の一例である識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

この場合、撮像位置と、点群データの密度が閾値よりも低い領域との位置関係を把握できるため、点群データの密度が閾値よりも低い要因を特定することが可能になる。例えば、当該領域が撮像位置より遠方であれば遠方物が要因であり、当該領域が撮像位置の死角にあれば死角が要因であり、遠方物および死角の何れでもなければ低反射物が要因であることが特定できる。

表示制御部１７０、５３０は、３次元画像３Ｇを見る視点の位置にある仮想カメラＩＣの位置および向きを変更することにより、表示部２０、５２０に表示させる３次元画像３Ｇの表示領域を変更する。

表示制御部１７０、５３０は、仮想カメラＩＣの位置が位置識別情報により識別される位置３Ｇ１、３Ｇ２にある場合、仮想カメラＩＣの向きを予め定められた向きに変更する。予め定められた向きとしては、低密度点群領域等の再撮像の原因となる箇所や、現場調査の確認箇所等の事前に設定した条件に合う箇所や、撮影者もしくは他の確認者が着目した任意の箇所等が、表示領域に含まれるような領域である。現場調査の確認箇所としては、建設現場の例を挙げると、現場で継続して変化が起こる場所（資材置き場）や、本設（建築物そのもの）の各物体の位置、物体間の空隙距離、新たな設置物のスペース、仮設（物資置き場、足場など、建設プロセスでつけ外しがあるもの）、重機（フォーク、クレーン）の置き場、ワークスペース（旋回可能範囲、搬入経路）、居住者の動線（工事中の迂回路）等が該当する。

これにより、撮像位置に位置するユーザの視線を、現場で見てほしい特定の対象物へ向けさせることが可能になる。

表示制御部１７０、５３０は、３次元画像３Ｇにおける予め定められた座標や点群データの密度が閾値よりも低い低密度部が表示領域に含まれるように、仮想カメラＩＣの向きを変更する。予め定められた座標は、画像を特定するものではなく、例えば、図２６のステップＳ７５で３次元点群データを統合する前後で予め定められた座標における画像が変化した場合でも、維持される。

これにより、撮像位置に位置するユーザの視線を、３次元画像３Ｇ中では低密度部となっている特定の対象物へ向けさせることが可能になる。

表示制御部１７０、５３０は、第１の位置に位置する距離情報取得部１３の出力および第１の位置とは異なる第２の位置に位置する距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させ、第１の位置を識別する第１の位置識別情報３Ｇ１および第２の位置を識別する第２の位置識別情報３Ｇ２と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、第１の撮像位置および第２の撮像位置と、特定の対象との位置関係を、３次元画像３Ｇ中で把握できる。

●まとめ●
以上説明したように、本発明の一実施形態に係る撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３（受光部の一例）と、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき高反射物があるかを判断する判断部１６０と、高反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、高反射物に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、高反射物の位置を確実に確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、高反射物を識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、高反射物の位置を確実に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が所定値以上である画素の一例として蓄電量が飽和しており、かつ撮像部が撮像した画像情報が、高反射物を示す基準情報の一例としてモデル画像情報と一致する場合、高反射物があると判断する。

撮像装置１は、距離情報取得部１３から取得した距離情報に基づいて決定された３次元情報を出力する出力部の一例である送受信部１８０を備える。この場合、撮影者は、所望の３次元情報が取得されない要因が、近接物や外光ではなく、高反射物であることを確認することができる。

本発明の一実施形態に係る撮像処理方法は、対象を撮像部１１により撮像する撮像ステップと、対象に投射部１２により光を投射する投射ステップと、対象から反射してきた光を距離情報取得部１３により受光する受光ステップと、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき高反射物があるかを判断部１６０、５６０、６６０により判断する判断ステップと、高反射物の有無に応じて、表示制御部１７０、５３０により表示部２０、５２０に異なる表示をさせる表示ステップと、を備える。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき高反射物があるかを判断した判断部１６０、５６０、６６０による判断結果に基づき、高反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０、５３０を備える。

本発明の一実施形態に係る情報処理装置の一例である表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づく特定の対象があるかの撮像装置１の判断部１６０またはサーバ６００の判断部６６０による判断結果を受信する受信部の一例である送受信部５１０と、送受信部５１０が受信した判断結果に基づき、特定の対象の有無に応じて、表示部５２０に異なる表示をさせる表示制御部５３０と、を備える。特定の対象は、近接物、高反射物、遠方物、低反射物、死角および画像のぶれ領域を含む。

本発明の一実施形態に係る情報処理装置の一例である表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力を受信する受信部の一例である送受信部５１０と、送受信部５１０が受信した距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき特定の対象物があるかを判断する判断部５６０と、判断部５６０の判断結果に基づき、特定の対象の有無に応じて、表示部に異なる表示をさせる表示制御部５３０と、を備える。特定の対象は、近接物、高反射物、遠方物、低反射物、死角および画像のぶれ領域を含む。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき特定の対象があるかを判断した判断部１６０、５６０による判断結果に基づき、特定の対象を識別する識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示をさせる表示制御部１７０、５３０を備える。特定の対象は、遠方物、低反射物および死角だけでなく、近接物、高反射物、および画像のぶれ領域も含む。

３次元画像３Ｇは、３次元情報決定部の一例である３次元再構成処理部１５０、５５０、６５０により、距離情報取得部１３の出力に基づき決定される

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力が閾値以上または閾値以下であるかを判断部１６０、５６０により判断された位置を示す位置情報に基づき、位置を識別する位置識別情報と、対象を撮像する撮像部１１が撮像した２次元画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる表示制御部１７０、５３０を備える。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力に基づき対象までの距離情報を取得できないと判断部１６０、５６０により判断された位置を示す位置情報に基づき、位置を識別する位置識別情報と、対象を撮像する撮像部１１が撮像した２次元画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる表示制御部１７０、５３０を備える。

以上において、情報処理装置が撮像装置１である場合、撮像装置１は、図１９に示したように、撮像部１１、距離情報取得部１３、３次元再構成処理部１５０および判断部１６０を備える。

情報処理装置が表示装置５００である場合、図２０および図２１に示したように、表示装置５００は、撮像部１１および距離情報取得部１３を備えておらず、撮像装置１が、撮像部１１、距離情報取得部１３を備えて、これらの出力を表示装置５００またはサーバ６００へ送信する。

表示装置５００は、図２０に示したように判断部５６０を備えてもよく、備えなくてもよい。

同様に、表示装置５００は、図２０に示したように３次元再構成処理部５５０を備えてもよく、備えなくてもよい。

以上説明したように、本発明の一実施形態に係る撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３（受光部の一例）と、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき遠方物または低反射物があるかを判断する判断部１６０と、遠方物または低反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、遠方物または低反射物に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、遠方物または低反射物の位置を確実に確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、遠方物または低反射物を識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、遠方物または低反射物の位置を確実に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が閾値以下で、撮像部１１の画素の蓄電量が閾値以下である場合、低反射物があると判断する。これにより、撮影者は、低反射物が撮像画像に含まれることを正確に確認することができる。

判断部１６０は、距離情報取得部１３が受光した光による画素の蓄電量が閾値以下で、撮像部１１の画素の蓄電量が閾値以上であり、かつ画素に基づき判断される距離が閾値以上である場合、遠方物があると判断する。

本発明の一実施形態に係る撮像処理方法は、対象を撮像部１１により撮像する撮像ステップと、対象に投射部１２により光を投射する投射ステップと、対象から反射してきた光を距離情報取得部１３により受光する受光ステップと、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき遠方物または低反射物があるかを判断部１６０、５６０、６６０により判断する判断ステップと、遠方物または低反射物の有無に応じて、表示制御部１７０、５３０により表示部２０、５２０に異なる表示をさせる表示ステップと、を備える。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき遠方物または低反射物があるかを判断した判断部１６０、５６０、６６０による判断結果に基づき、遠方物または低反射物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０、５３０を備える。

以上説明したように、本発明の一実施形態に係る撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３（受光部の一例）と、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき画像のぶれがあるかを判断する判断部１６０と、画像のぶれの有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、画像のぶれの位置に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、画像のぶれの位置を確実に確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、画像のぶれを識別する識別情報と、画像情報Ｇと、を含む表示画像を表示部２０、５２０に表示させる。これにより、撮影者は、画像のぶれの位置を確実に確認することができる。

本発明の一実施形態に係る撮像処理方法は、対象を撮像部１１により撮像する撮像ステップと、対象に投射部１２により光を投射する投射ステップと、対象から反射してきた光を距離情報取得部１３により受光する受光ステップと、距離情報取得部１３の出力と、撮像部１１の出力との両方に基づき画像のぶれがあるかを判断部１６０、５６０、６６０により判断する判断ステップと、画像のぶれの有無に応じて、表示制御部１７０、５３０により表示部２０、５２０に異なる表示をさせる表示ステップと、を備える。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象を撮像する撮像部１１の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部１３の出力との両方に基づき画像のぶれがあるかを判断した判断部１６０、５６０、６６０による判断結果に基づき、画像のぶれの有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０、５３０を備える。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象に投射されて対象から反射してきた光を受光する受光部の一例である距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させる表示制御部１７０、５３０を備え、表示制御部１７０、５３０は、３次元画像３Ｇ中で、対象から反射してきた光を受光したときの距離情報取得部１３からの距離が遠い遠方物、投射された光に対する反射率が低い低反射物、および対象から反射してきた光を受光したときの距離情報取得部１３に対する死角の少なくとも１つであると判断された位置を示す位置情報に基づき、遠方物、低反射物および死角の少なくとも１つの位置を識別する位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

情報処理装置が表示装置５００である場合、図２０および図２１に示したように、表示装置５００は、距離情報取得部１３を備えておらず、撮像装置１が、距離情報取得部１３を備えて距離情報取得部１３の出力を表示装置５００またはサーバ６００へ送信する。

表示装置５００は、３次元再構成処理部５５０を備えても備えなくてもよく、表示装置５００が３次元再構成処理部５５０を備えない場合、撮像装置１が３次元再構成処理部１５０を備えて表示装置５００へ３次元画像を送信してもよく、図２１に示したように、サーバ６００が３次元再構成処理部６５０を備えて表示装置５００へ３次元画像を送信してもよい。

表示制御部１７０、５３０は、３次元画像３Ｇに含まれる点群データの密度が閾値よりも低く、かつ、遠方物、低反射物、または死角の少なくとも１つであると判断される位置を示す位置情報に基づき、位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる

撮像装置１および表示装置５００は、３次元画像３Ｇ中で、遠方物、低反射物、または死角の少なくとも１つである位置を判断する判断部１６０、５６０を備え、表示制御部１７０、５３０は、判断部１６０、５６０の判断結果に基づき、位置識別情報３Ｇａ、３Ｇｂ、３Ｇｃと、３次元画像３Ｇにと、を含む表示画像を表示部２０、５２０に表示させる。

本発明の一実施形態に係る情報処理装置の一例である撮像装置１および表示装置５００は、対象に投射されて対象から反射してきた光を受光する受光部の一例である距離情報取得部１３の出力に基づき決定される３次元画像３Ｇを表示部２０、５２０に表示させる表示制御部１７０、５３０を備え、表示制御部１７０、５３０は、対象から反射してきた光を受光したときの距離情報取得部１３の位置を示す位置情報に基づき、対象から反射してきた光を受光したときの距離情報取得部１３の位置を識別する位置識別情報３Ｇ１、３Ｇ２と、３次元画像３Ｇと、を含む表示画像を表示部２０、５２０に表示させる。

これにより、対象から反射してきた光を受光したときの距離情報取得部１３の位置を示す撮像位置と、特定の対象との位置関係を、３次元画像３Ｇ中で把握できる。すなわち、３次元画像を取得した現場における撮像位置と特定の対象との位置関係と、３次元画像における撮像位置と特定の対象との位置関係と、を容易に比較することができる。

３次元画像３Ｇおよび位置情報は、３次元情報決定部の一例である３次元再構成処理部１５０、５５０、６５０により決定される。

情報処理装置が撮像装置１である場合、撮像装置１は、距離情報取得部１３および３次元再構成処理部１５０を備える。

情報処理装置が表示装置５００である場合、表示装置５００は、距離情報取得部１３を備えておらず、撮像装置１が、距離情報取得部１３を備えて距離情報取得部１３の出力を表示装置５００またはサーバ６００へ送信する。

表示装置５００は、３次元再構成処理部５５０を備えても備えなくてもよく、表示装置５００が３次元再構成処理部５５０を備えない場合、撮像装置１が３次元再構成処理部１５０を備えて表示装置５００へ３次元画像および位置情報を送信してもよく、サーバ６００が３次元再構成処理部６５０を備えて表示装置５００へ３次元画像および位置情報を送信してもよい。

表示制御部１７０、５３０は、仮想カメラＩＣの位置が位置識別情報により識別される位置３Ｇ１、３Ｇ２にある場合、仮想カメラＩＣの向きを予め定められた向きに変更する。

表示制御部１７０、５３０は、予め定められた座標や、３次元画像３Ｇにおける点群データの密度が閾値よりも低い低密度部が表示領域に含まれるように、仮想カメラＩＣの向きを変更する。

これにより、撮像位置に位置するユーザの視線を、予め定められた座標や、３次元画像３Ｇ中では低密度部となっている特定の対象物へ向けさせることが可能になる。

１撮像装置（情報処理装置の一例）
３Ｇ３次元画像
３Ｇａ、３Ｇｂ、３Ｇｃ識別情報
３Ｇ１、３Ｇ２位置識別情報
１０筐体
１１撮像部
１１ａ、１１Ａ撮像素子
１１ｂ、１１Ｂ魚眼レンズ
１２投射部
１２ａ、１２Ａ光源部
１２ｂ、１２Ｂ広角レンズ
１３距離情報取得部（受光部の一例）
１３ａ、１３ＡＴＯＦセンサ
１３ｂ、１３Ｂ広角レンズ
１４処理回路
１５撮影スイッチ
２０表示部
２０Ａ、２０ａ表示部
１１１他の撮像部
１５０、５５０、６５０３次元再構成処理部（３次元情報決定部の一例）
１６０、５６０、６６０判断部
１７０表示制御部（出力部の一例）
１８０送受信部（出力部の一例）
３００外部装置（出力先の一例）
５００表示装置（出力先、情報処理装置の一例）
５２０表示部（出力先の一例）
５３０表示制御部（出力部の一例）
６００サーバ
Ｌ同期信号線

本発明に係る情報処理装置は、対象に投射されて対象から反射してきた光を受光する受光部の出力に基づき決定される３次元画像を表示部に表示させる表示制御部を備え、表示制御部は、対象から反射してきた光を受光したときの受光部の位置を示す位置情報に基づき、対象から反射してきた光を受光したときの受光部の位置を識別する位置識別情報と、３次元画像と、を含む表示画像を表示部に表示させ、３次元画像を見る視点の位置にある仮想カメラの位置が位置識別情報により識別される位置にある場合、仮想カメラの向きを予め定められた向きに変更する。

Claims

対象に投射されて前記対象から反射してきた光を受光する受光部の出力に基づき決定される３次元画像を表示部に表示させる表示制御部を備え、
前記表示制御部は、前記対象から反射してきた光を受光したときの前記受光部の位置を示す位置情報に基づき、前記対象から反射してきた光を受光したときの前記受光部の位置を識別する位置識別情報と、前記３次元画像と、を含む表示画像を前記表示部に表示させる情報処理装置。
前記表示制御部は、前記３次元画像における点群データの密度が閾値よりも低い領域を示す領域情報に基づき、前記領域を識別する低密度識別情報を前記表示画像に含ませて前記表示部に表示させる請求項１記載の情報処理装置。
前記表示制御部は、前記３次元画像を見る視点の位置にある仮想カメラの位置および向きを変更することにより、前記表示部に表示させる前記３次元画像の表示領域を変更する請求項１または２記載の情報処理装置。
前記表示制御部は、前記仮想カメラの位置が前記位置識別情報により識別される位置にある場合、前記仮想カメラの向きを予め定められた向きに変更する請求項３記載の情報処理装置。
前記表示制御部は、前記３次元画像における予め定められた座標が前記表示画像に含まれるように、前記仮想カメラの向きを変更する請求項４記載の情報処理装置。
前記表示制御部は、前記３次元画像における点群データの密度が閾値よりも低い低密度部が前記表示画像に含まれるように、前記仮想カメラの向きを変更する請求項４または５記載の情報処理装置。
前記表示制御部は、第１の位置に位置する前記受光部の出力および前記第１の位置とは異なる第２の位置に位置する前記受光部の出力に基づき決定される３次元画像を表示部に表示させ、前記第１の位置を識別する第１の位置識別情報および前記第２の位置を識別する第２の位置識別情報を前記表示画像に含ませて前記表示部に表示させる請求項１～６の何れか記載の情報処理装置。