JP2022138639A - 処理装置 - Google Patents

Abstract

【課題】遮蔽物などが存在する場合に視認できない領域が出来てしまうおそれがある。【解決手段】処理装置は、画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、を有する。【選択図】図１１

Description

本発明は、処理装置、処理方法、プログラム、処理システムに関する。

視覚を拡張することなどを目的として、撮像した画像データの表示を行うことがある。

例えば、特許文献１には、人間の視覚を拡張する視覚拡張装置が記載されている。特許文献１によると、視覚拡張装置は、撮像手段と画像処理手段と表示手段とを有する。例えば、撮像手段は、使用者の視野の範囲と略同一の視野の範囲を撮像する。また、画像処理手段は、撮像手段により撮像した画像に対して所定の処理を行なう。そして、表示手段は、処理された画像を、使用者の視野内に、視認可能に表示する。

特開２００３－２８７７０８号公報

特許文献１に記載の技術では、使用者の視野の範囲と略同一の視野の範囲を撮像するため、例えば視野内に遮蔽物が存在する場合などにおいて、遮蔽物の陰に隠れている人や物を認識することは出来なかった。このように、遮蔽物などが存在する場合に視認できない領域が出来てしまうおそれがある、という課題が生じていた。

そこで、本発明の目的は、遮蔽物などが存在する場合に視認できない領域が出来てしまうおそれがある、という課題を解決する処理装置、処理方法、プログラムを提供することにある。

かかる目的を達成するため本開示の一形態である処理装置は、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、
前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、
を有する
という構成をとる。

また、本開示の他の形態である処理方法は、
情報処理装置が、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
という構成をとる。

また、本開示の他の形態であるプログラムは、
情報処理装置に、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
を実現するためのプログラムである。

また、本開示の他の形態である処理システムは、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、を有する処理装置と、
前記検出部による検出結果を前記画像データに統合して表示する表示装置と、
を有する
という構成をとる。

上述したような各構成によると、遮蔽物などが存在する場合に視認できない領域が出来てしまうおそれがあるという課題を解決可能な処理装置、処理方法、プログラムを提供することが出来る。

本開示の第１の実施形態における処理システムを説明するための図である。 処理システム全体の構成例を示す図である。 処理装置の構成例を示すブロック図である。 遮蔽領域推定部の処理例を説明するための図である。 拡張領域確認部の処理例を説明するための図である。 不可視物体検出部の処理例を説明するための図である。 統合部の処理例を説明するための図である。 統合部の他の処理例を説明するための図である。 処理装置の動作例を示すフローチャートである。 本開示の第２の実施形態における処理装置のハードウェア構成例を示す図である。 処理装置の構成例を示すブロック図である。

［第１の実施形態］
本開示の第１の実施形態について、図１から図９を参照して説明する。図１は、処理システム１００を説明するための図である。図２は、処理システム１００全体の構成例を示す図である。図３は、処理装置４００の構成例を示すブロック図である。図４は、遮蔽領域推定部４３３の処理例を説明するための図である。図５は、拡張領域確認部４３４の処理例を説明するための図である。図６は、不可視物体検出部４３５の処理例を説明するための図である。図７は、統合部４３６の処理例を説明するための図である。図８は、統合部４３６の他の処理例を説明するための図である。図９は、処理装置４００の動作例を示すフローチャートである。

本開示の第１の実施形態においては、ある撮像装置が取得した画像データ中に存在する遮蔽領域内の物体を他の撮像装置が取得した画像データである第２画像データを用いて検出することで、遮蔽領域に隠れている物体を表示可能な処理システム１００について説明する。図１で示すように、例えば、処理システム１００は、人物Ａが有する撮像装置を用いて取得した画像データ中に遮蔽領域が存在する場合、当該遮蔽領域内を撮像する他の撮像装置がないか確認する。例えば、図１の場合、人物Ａとは異なる位置に存在する人物Ｄが有するまたは異なる位置に設置された装置Ｄが上記遮蔽領域内を撮像している。そこで、処理システム１００は、撮像装置である装置Ｄが取得した画像データに基づいて、人物などの物体を検出するとともに、検出した物体の位置を推定する。また、処理システム１００は、推定した位置に基づいて、人物Ａが有する撮像装置を用いて取得した画像データ中に存在する遮蔽領域内に人物などの物体が存在するか否か確認する。そして、人物Ａが有する撮像装置を用いて取得した画像データ中に存在する遮蔽領域内に人物などの物体が存在すると判断される場合、処理システム１００は、検出した結果を人物Ａが有する撮像装置を用いて取得した画像データに統合するとともに、統合した結果を人物Ａが有する装置に対して出力する。例えば、図１の場合、人物Ａが有する撮像装置を用いて取得した画像データ中の遮蔽領域内に人物Ｃが存在している。そのため、処理システム１００は、当該遮蔽領域内に人物Ｃが存在している旨に応じた情報を人物Ａが有する撮像装置を用いて取得した画像データに統合するとともに、統合した結果を人物Ａが有する装置に対して出力する。

なお、遮蔽領域とは、壁、車両、大型の荷物などの遮蔽物の存在により、画像データでは確認できない物体が隠れている可能性のある領域のことをいう。図１で示すように、ある方向から取得した画像データにおいては遮蔽領域内に隠れてしまい視認できない不可視物体であっても、他の位置、他の方向から取得した画像データにおいては確認可能な場合がある。

図２は、処理システム１００の全体的な構成例を示している。図２を参照すると、処理システム１００は、例えば、移動装置２００と設置装置３００と処理装置４００とを含むことが出来る。例えば、処理システム１００は、移動装置２００や設置装置３００を複数含むことが出来る。処理システム１００は、移動装置２００と設置装置３００のうちのいずれか一方を含まなくてもよい。

図２で示すように、移動装置２００と処理装置４００とは、有線または無線を介して互いに通信可能なよう接続されている。また、設置装置３００と処理装置４００とは、有線または無線を介して互いに通信可能なよう接続されている。なお、移動装置２００と処理装置４００とは、図示しない中継装置などを介して互いに通信を行ってもよい。同様に、設置装置３００と処理装置４００とは、図示しない中継装置などを介して互いに通信を行ってもよい。

移動装置２００は、画像データを取得するとともに画像データを表示可能な装置（表示装置）である。移動装置２００は、利用者などの移動物体が有しており、移動物体の移動に応じて移動する。例えば、移動装置２００は、カメラなどの撮像装置とタッチパネル付きディスプレイなどの画面表示装置とを有するスマートフォンやタブレットなどの携帯情報端末である。移動装置２００は、カメラや３６０度カメラなどの撮像装置とＡＲ／ＭＲ（Augmented Reality / Mixed Reality）グラスなどの画面表示装置など複数の装置から構成されてもよい。

移動装置２００は、例えば、処理システム１００の利用者が有しており、利用者の位置から１２０度や３６０度など所定の視野角で画像データを取得する。また、移動装置２００は、取得した画像データを処理装置４００へと送信する。移動装置２００は、画像データを取得した時刻を示す時刻情報などを画像データと対応付けて、対応付けたデータを処理装置４００へと送信してもよい。

また、移動装置２００は、利用者の位置（移動装置２００の位置）を示す位置データを処理装置４００へと送信することが出来る。例えば、移動装置２００は、ＧＰＳ（Global Positioning System）機能などを有しており、ＧＰＳ機能を利用して取得した位置データを処理装置４００へと所定の間隔で送信する。移動装置２００は、位置データを取得した時刻を示す時刻情報などを位置データと対応付けて、対応付けたデータを処理装置４００へと送信してもよい。なお、利用者の位置（移動装置２００の位置）は、ビーコンなどによる位置測位を行うことで処理装置４００が把握可能なよう構成してもよい。

また、移動装置２００は画面表示装置を有しており、画面表示装置に画像データを表示する。例えば、移動装置２００は、自身が有する撮像装置を用いて取得した画像データや処理装置４００から受信した画像データなどを画面表示することが出来る。

なお、移動装置２００は、画像データを取得する機能のみを有する装置であってもよい。換言すると、処理システム１００に含まれる移動装置２００のうちの一部は、画面表示装置を有していなくてもよい。また、移動装置２００は、人物以外の移動物体が有していてもよい。

設置装置３００は、画像データを取得する装置である。例えば、設置装置３００は、予め定められた位置に設置された監視カメラなどの撮像装置である。例えば、設置装置３００は、予め定められた方向に向かって所定の視野角で画像データを取得する。そして、設置装置３００は、取得した画像データを処理装置４００へと送信する。設置装置３００は、画像データを取得した時刻を示す時刻情報などを画像データと対応付けて、対応付けたデータを処理装置４００へと送信してもよい。

なお、設置装置３００の撮像方向は可変であってもよい。設置装置３００の撮像方向を可変にする場合、設置装置３００の撮像方向を示す情報を処理装置４００に対して送信することなどにより、処理装置４００において設置装置３００の撮像方向を把握可能なものとする。また、設置装置３００は、画像データを表示する機能を有していてもよい。

処理装置４００は、移動装置２００などから取得した画像データ中に存在する遮蔽領域を推定するとともに、推定した遮蔽領域内に存在する物体を他の撮像装置が取得した画像データに基づいて検出する情報処理装置である。例えば、処理装置４００は、サーバ装置などの情報処理装置である。処理装置４００は、1台の情報処理装置により構成されてもよいし、例えば、クラウド上などに実現されてもよい。

図３は、処理装置４００の構成例を示している。図３を参照すると、処理装置４００は、主な構成要素として、例えば、通信Ｉ／Ｆ部４１０と、記憶部４２０と、演算処理部４３０と、を有している。

通信Ｉ／Ｆ部４１０は、データ通信回路からなる。通信Ｉ／Ｆ部４１０は、通信回線を介して接続された外部装置との間でデータ通信を行う。

記憶部４２０は、ハードディスクやメモリなどの記憶装置である。記憶部４２０は、演算処理部４３０における各種処理に必要な処理情報やプログラム４２７を記憶する。プログラム４２７は、演算処理部４３０に読み込まれて実行されることにより各種処理部を実現する。プログラム４２７は、通信Ｉ／Ｆ部４１０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部４２０に保存されている。記憶部４２０で記憶される主な情報としては、例えば、視野角情報４２１、設置位置・向き情報４２２、画像情報４２３、位置情報４２４、行動ベクトル情報４２５、統合済み画像情報４２６などがある。なお、記憶部４２０には、地図情報など例示した以外の情報が含まれてよい。

視野角情報４２１は、移動装置２００が有する撮像装置や設置装置３００などの視野角を示している。例えば、視野角情報４２１では、移動装置２００や設置装置３００などを識別するための識別情報と、視野角を示す情報と、が対応付けられている。視野角情報４２１は、移動装置２００や設置装置３００などから予め取得され記憶部４２０に格納される。

設置位置・向き情報４２２は、設置装置３００の設置位置や設置装置３００が設置されている方向などを示している。例えば、設置位置・向き情報４２２では、設置装置３００を識別するための識別情報と、設置装置３００の設置位置や設置方向などを示す情報と、が対応付けられている。設置位置・向き情報４２２は、設置装置３００などから予め取得され記憶部４２０に格納される。

画像情報４２３は、移動装置２００が有する撮像部や設置装置３００などが取得した画像データを示している。例えば、画像情報４２３では、移動装置２００や設置装置３００などを識別するための識別情報ごとに、時系列の画像データが格納されている。画像情報４２３は、移動装置２００や設置装置３００などから画像データを取得することで生成・更新される。

位置情報４２４は、移動装置２００の位置（利用者の位置）を示している。例えば、位置情報４２４では、移動装置２００を識別するための識別情報ごとに、時系列の位置データが格納されている。位置情報４２４は、移動装置２００などから位置データを取得することで生成・更新される。位置情報４２４は、ビーコンなどによる位置測位を行うことで取得され生成・更新されてもよい。

行動ベクトル情報４２５は、利用者が移動する方向である移動速度や利用者が移動する速度である移動速度などを示している。例えば、行動ベクトル情報４２５は、移動装置２００を識別するための識別情報ごとに、時系列の移動方向や移動速度などを示している。行動ベクトル情報４２５は、例えば、後述する行動ベクトル算出部４３２が位置情報４２４に基づいて移動速度や移動方向などを算出することで取得され生成・更新される。

統合済み画像情報４２６は、遮蔽領域内に存在する物体を示す情報を統合した画像データを示している。例えば、統合済み画像情報４２６では、移動装置２００や設置装置３００などを識別するための識別情報ごとに、時系列の統合済み画像データが格納されている。統合済み画像情報４２６は、後述する統合部４３６が統合処理を行うことで取得され生成・更新される。

演算処理部４３０は、ＣＰＵなどの演算装置とその周辺回路を有する。演算処理部４３０は、記憶部４２０からプログラム４２７を読み込んで実行することにより、上記ハードウェアとプログラム４２７とを協働させて各種処理部を実現する。演算処理部４３０で実現される主な処理部としては、例えば、受信部４３１、行動ベクトル算出部４３２、遮蔽領域推定部４３３、拡張領域確認部４３４、不可視物体検出部４３５、統合部４３６、出力部４３７などがある。

受信部４３１は、移動装置２００や設置装置３００から各種データを受信する。すると、受信部４３１は、受信したデータを記憶部４２０に格納する。

例えば、受信部４３１は、移動装置２００や設置装置３００から画像データを受信する。すると、受信部４３１は、受信した画像データを画像情報４２３として記憶部４２０に格納する。受信部４３１は、画像データと時刻情報とを対応付けて記憶部４２０に格納してもよい。時刻情報は、画像データに対応付けられている時刻であってよいし、受信部４３１が画像データを受信した時刻などであってもよい。

また、受信部４３１は、移動装置２００から位置データを受信する。すると、受信部４３１は、受信した位置データを位置情報４２４として記憶部４２０に格納する。受信部４３１は、位置データと時刻情報とを対応付けて記憶部４２０に格納してもよい。時刻情報は、位置データに対応付けられている時刻であってもよいし、受信部４３１が位置データを受信した時刻などであってもよい。なお、受信部４３１は、移動装置２００からの送信に基づいて中継装置などが位置測位を行うことで取得した位置データを中継装置から受信するよう構成してもよい。この場合も、受信部４３１は、受信した位置データを位置情報４２４として記憶部４２０に格納する。

行動ベクトル算出部４３２は、位置情報４２４に基づいて、利用者の移動方向や移動速度を示す情報を算出する。そして、行動ベクトル算出部４３２は、算出した移動方向や移動速度を示す情報を行動ベクトル情報４２５として記憶部４２０に格納する。

上述したように、位置情報４２４には、利用者ごとに時系列の位置データが格納されている。そこで、行動ベクトル算出部４３２は、位置情報４２４に含まれる時系列の位置データのうち複数の位置データを取得して、取得した位置データを用いて利用者の移動方向と移動速度を算出する。なお、行動ベクトル算出部４３２は、一般的な方法を用いて移動方向と移動速度を算出してよい。行動ベクトル算出部４３２が移動方向や移動速度を算出する際に用いる位置データの数も任意でよい。

なお、行動ベクトル算出部４３２は、任意のタイミングで移動方向や移動速度を算出してよい。例えば、行動ベクトル算出部４３２は、予め定められた間隔で定期的に利用者の移動方向や移動速度を示す情報を算出することが出来る。

遮蔽領域推定部４３３は、画像情報４２３に含まれる画像データに基づいて、画像データ中に存在する遮蔽領域を推定する。遮蔽領域推定部４３３が画像データ中に遮蔽領域が存在する旨を推定した場合、拡張領域確認部４３４による確認が行われる。一方、画像データ中に遮蔽領域が存在する旨が推定されなかった場合、例えば後述する出力部４３７により、遮蔽領域の存在しない画像データの表示を行うよう移動装置２００などに対して指示することが出来る。例えば、遮蔽領域推定部４３３は、移動装置２００から受信した画像データについて、遮蔽領域の推定を行う。遮蔽領域推定部４３３は、設置装置３００から受信した画像データについても、所定の条件を満たす場合などにおいて遮蔽領域の推定を行うよう構成してもよい。

例えば、遮蔽領域推定部４３３は、画像データに基づいて奥行きの推定を行う。例えば、遮蔽領域推定部４３３は、深度推定用のニューラルネットワークを用いるなど既知の技術を用いて奥行きの推定を行うことが出来る。そして、遮蔽領域推定部４３３は、推定した結果に基づいて遮蔽領域を推定する。例えば、遮蔽領域推定部４３３は、奥行きの変化が所定値（任意でよい）以下となる領域など推定した奥行きが予め定められた条件を満たす領域を遮蔽領域と推定する。例えば、図４で示す場合、遮蔽領域推定部４３３は、画像データ中の右側所定範囲について、奥行きの変化が所定値以下となるため遮蔽領域と推定する。

なお、遮蔽領域推定部４３３は、上記例示した以外の方法を用いて遮蔽領域の推定を行ってもよい。例えば、遮蔽領域推定部４３３は、予め学習したモデルを用いたりパターンマッチングなどを行ったりすることで所定基準以上の大きさを有する物体を検出して、検出した物体が存在する箇所を遮蔽領域と推定してもよい。また、遮蔽領域推定部４３３は、予め取得した地図情報に基づいて遮蔽領域を推定してもよい。例えば、遮蔽領域推定部４３３は、位置情報４２４に基づいて利用者の位置を把握することが出来るとともに、行動ベクトル情報４２５に基づいて移動方向に利用者が向いていると推定することが出来る。また、利用者が向いている方向に応じた画像データが取得されていると推定できる。そこで、遮蔽領域推定部４３３は、地図情報と、利用者の位置や向いている方向と、視野角情報４２１が示す視野角と、に基づいて、画像データに反映されているであろう地図の領域を推定することで、画像データ中の壁などの遮蔽物が存在する領域を特定して遮蔽領域を推定することが出来る。遮蔽領域推定部４３３は、画像データとともに移動装置２００や設置装置３００などから取得した深度情報を用いて遮蔽領域を推定するなど、上記例示した以外の方法を用いて遮蔽領域の推定を行ってもよい。

なお、遮蔽領域推定部４３３は、任意のタイミングで遮蔽領域の推定を行ってよい。例えば、遮蔽領域推定部４３３は、画像情報４２３として画像データが格納されるごとに格納した画像データ中に遮蔽領域が存在するか否か確認することが出来る。遮蔽領域推定部４３３は、予め定められた間隔で定期的に遮蔽領域の推定を行ってもよい。遮蔽領域推定部４３３は、例えば、地図情報と位置情報４２４とに基づいて壁などの遮蔽物付近など利用者が所定の条件を満たす箇所に存在すると推定される場合に遮蔽領域の推定を行うよう構成してもよい。遮蔽領域推定部４３３は、位置情報４２４を用いて他の利用者が有する画像データに基づいて推定された遮蔽領域付近に利用者が存在すると推定される場合に遮蔽領域の推定を行うなど、他の利用者に対する遮蔽領域の推定結果を用いて遮蔽領域の推定を行うか否か判断してもよい。

拡張領域確認部４３４（特定部）は、遮蔽領域推定部４３３が画像データ中に遮蔽領域が存在すると推定した場合に、当該遮蔽領域が存在する画像データを取得した撮像装置とは別の撮像装置が取得した画像データである第２画像データに基づいて遮蔽領域内を補完可能であるか否か確認する。拡張領域確認部４３４が補完可能であると判断する場合、不可視物体検出部４３５による検出が行われる。一方、補完可能ではないと判断される場合、例えば後述する出力部４３７により、画像データの表示を行うよう対応する移動装置２００などに対して指示することが出来る。

例えば、拡張領域確認部４３４は、図５で示すように、推定した遮蔽領域内を撮像している他の移動装置２００や設置装置３００が存在しているか否か確認することで、補完が可能であるか否か確認する。

具体的には、例えば、拡張領域確認部４３４は、視野角情報４２１、設置位置・向き情報４２２、位置情報４２４、行動ベクトル情報４２５などや、遮蔽領域推定部４３３による推定の結果などを参照する。これにより、拡張領域確認部４３４は、遮蔽領域の存在を推定した画像データを取得した移動装置２００などが撮像している領域である撮像領域の位置や遮蔽領域となる位置などを特定する。つまり、拡張領域確認部４３４は、画像データを取得した移動装置２００などの位置、向いている方向、視野角などを特定することで、遮蔽領域の位置などを特定する。

また、拡張領域確認部４３４は、視野角情報４２１と設置位置・向き情報４２２を参照することで、処理システム１００に含まれる他の設置装置３００の撮像領域となる位置を確認する。つまり、拡張領域確認部４３４は、処理システム１００内に存在する設置装置３００の設置位置、向いている方向、視野角を特定することで、各設置装置３００の撮像領域となる位置を確認する。そして、拡張領域確認部４３４は、上記確認の結果に基づいて、遮蔽領域内を撮像している設置装置３００を特定する。例えば、拡張領域確認部４３４は、特定した遮蔽領域の位置と、設置装置３００の撮像領域となる位置と、が少なくとも一部重なっている場合に、設置装置３００が遮蔽領域を撮像していると判断して、遮蔽領域内を撮像している設置装置３００として当該設置装置３００を特定する。遮蔽領域内を撮像している設置装置３００を特定できた場合、拡張領域確認部４３４は、遮蔽領域が存在する画像データを取得した撮像装置とは別の撮像装置が取得した第２画像データに基づいて遮蔽領域内を補完可能であると判断する。例えば、図５の場合、設置装置３００αの撮像領域と、人物Ａが有する移動装置２００を用いて取得した画像データ内に存在する遮蔽領域と、が重なっている。そのため、拡張領域確認部４３４は、遮蔽領域内を撮像している設置装置３００として設置装置３００αを特定して、設置装置３００αが第２画像データに基づいて遮蔽領域内を補完可能であると判断する。

また、例えば、拡張領域確認部４３４は、視野角情報４２１と位置情報４２４と行動ベクトル情報４２５に基づいて判断される利用者の向きとを参照することで、処理システム１００に含まれる移動装置２００の撮像領域を確認する。つまり、拡張領域確認部４３４は、移動装置２００の位置、向いている方向、視野角を特定することで、各移動装置２００の撮像領域となる位置を確認する。そして、拡張領域確認部４３４は、上記確認の結果に基づいて、遮蔽領域内を撮像している移動装置２００を特定する。特定の方法は、設置装置３００の場合と同様でよい。遮蔽領域内を撮像している移動装置２００を特定できた場合、拡張領域確認部４３４は、特定した移動装置２００が有する撮像装置が取得した第２画像データに基づいて遮蔽領域内を補完可能であると判断する。

例えば、以上のように、拡張領域確認部４３４は、移動装置２００や設置装置３００の位置や向きを示す情報に基づいて遮蔽領域内を撮像している移動装置２００や設置装置３００が存在するか否か確認することで、遮蔽領域内を補完可能であるか否か確認する。そして、例えば、拡張領域確認部４３４が１つでも遮蔽領域内を撮像している移動装置２００や設置装置３００を特定できた場合、不可視物体検出部４３５による処理に進む。

不可視物体検出部４３５は、拡張領域確認部４３４が補完可能であると判断した場合に、遮蔽領域内を撮像している移動装置２００や設置装置３００から取得した第２画像データに基づいて、遮蔽領域に対応する領域に存在する物体を検出する。つまり、不可視物体検出部４３５は、遮蔽領域が存在する画像データにおいて遮蔽領域の陰に隠れている物体である不可視物体を、他の撮像装置が取得した第２画像データを用いて検出する。例えば、不可視物体検出部４３５は、画像情報４２３に含まれる時系列の第２画像データのうち最新となる第２画像データを用いて物体の検出を行う。不可視物体検出部４３５が遮蔽領域に対応する領域に存在する物体を検出した場合、統合部４３６による統合処理に進む。一方、物体が検出されなかった場合、例えば後述する出力部４３７により、画像データの表示を行うよう対応する移動装置２００などに対して指示することが出来る。

例えば、不可視物体検出部４３５は、第２画像データに対して予め学習したモデルを用いたりパターンマッチングなどを行ったりすることで、第２画像データ内に存在する人物などの物体を検出する。また、不可視物体検出部４３５は、移動装置２００や設置装置３００の位置を示す情報を用いて、検出した物体の実際の位置を推定する。例えば、不可視物体検出部４３５は、深度推定用のニューラルネットワークを用いるなど既知の技術を用いて推定した奥行きの情報などを用いて、検出した物体の位置を推定する。そして、不可視物体検出部４３５は、推定した物体の位置に基づいて、検出した物体が遮蔽領域に相当する領域内に存在するか否か確認する。物体が遮蔽領域に相当する領域内に存在すると推定される場合、不可視物体検出部４３５は、遮蔽領域に対応する領域に物体が存在する旨を検出する。つまり、不可視物体検出部４３５は不可視物体を検出する。例えば、図６で示す場合、推定した物体の位置から物体である人物Ｃが遮蔽領域に対応する領域内に存在していると推定される。そこで、不可視物体検出部４３５は、遮蔽領域内に不可視物体である人物Ｃが存在している旨を検出する。なお、不可視物体検出部４３５は、自己カメラキャリブレーションなどにより推定したカメラパラメータと画像中における物体の位置から世界座標における物体の３次元位置を推定する、移動装置２００や設置装置３００などから取得した深度情報を用いるなど、上記例示した以外の方法を用いて検出した物体の位置を推定してもよい。

なお、不可視物体検出部４３５は、遮蔽領域に対応する領域に存在する物体を検出した場合において、時系列の第２画像データを複数用いることで、検出した物体の移動速度や移動方向を示す情報を算出してもよい。

統合部４３６は、不可視物体検出部４３５が遮蔽領域に対応する領域に物体が存在する旨を検出した場合に、検出した結果を遮蔽領域が存在する画像データに統合する。そして、統合部４３６は、統合した結果の画像データである統合済み画像データを統合済み画像情報４２６として記憶部４２０に格納する。

図７は、統合部４３６による処理例を示している。例えば、図７で示すように、統合部４３６は、遮蔽領域内に物体を検出した旨を示す抽象化表示を画像データに統合する。例えば、抽象化表示は、人など検出した物体の種類を示す情報が表示された楕円形などの表示である。抽象化表示は上記例示した以外の検出した物体に応じた抽象的表現であってよい。また、図８を参照すると、統合部４３６は、検出した物体を示す吹き出しなどを単に追加してもよい。統合部４３６は、検出した物体の画像データなどを、遮蔽領域が存在する画像データに透過統合してもよい。

なお、統合部４３６は、上記例示した以外の統合を行ってもよい。例えば、統合部４３６は、拡張領域確認部４３４により補完可能ではないと判断された場合、遮蔽領域内の物体が存在するか否か不明である旨を示す情報を画像データに統合することが出来る。一方、統合部４３６は、不可視物体検出部４３５により遮蔽領域内に物体が検出されなかった場合、遮蔽領域内に物体が存在しない旨を示す情報を画像データに統合することが出来る。また、統合部４３６は、不可視物体検出部４３５が物体の移動速度や移動方向を示す情報を算出した場合、算出した移動速度や移動方向を示す情報なども画像データに統合してもよい。このように、統合部４３６は、上述した各処理部の処理結果に応じた情報を統合してもよい。

出力部４３７は、各処理部による処理の結果に応じた出力を行う。例えば、統合部４３６による統合処理が行われた場合、出力部４３７は、統合済み画像データを遮蔽領域が存在する画像データの送信元である移動装置２００などに対して送信する。一方、遮蔽領域推定部４３３により遮蔽領域が推定されなかった場合、拡張領域確認部４３４により補完可能ではないと判断された場合、不可視物体検出部４３５が遮蔽領域内に物体を検出しなかった場合、などにおいて、出力部４３７は、画像データの表示を行うよう対応する移動装置２００などに対して指示する。

なお、統合部４３６が各処理部の処理結果に応じた情報を統合していた場合、出力部４３７は、各統合処理の結果に応じた統合済み画像データを出力してよい。

以上が、処理装置４００の構成例である。続いて、図９を参照して、処理装置４００の動作例について説明する。

図９は、処理装置４００の動作例を示している。図９を参照すると、遮蔽領域推定部４３３は、画像情報４２３に含まれる画像データに基づいて、画像データ中に存在する遮蔽領域を推定する（ステップＳ１０１）。遮蔽領域推定部４３３は、任意の方法を用いて遮蔽領域の推定を行ってよい。

画像データ中に遮蔽領域が存在すると推定した場合（ステップＳ１０１、Ｙｅｓ）、拡張領域確認部４３４は、当該遮蔽領域が存在する画像データを取得した撮像装置とは別の撮像装置が取得した画像データである第２画像データに基づいて遮蔽領域内を補完可能であるか否か確認する（ステップＳ１０２）。例えば、拡張領域確認部４３４は、遮蔽領域内を撮像している他の移動装置２００や設置装置３００が存在しているか否か確認することで、補完が可能であるか否か確認する。

補完が可能であると推定される場合（ステップＳ１０２、Ｙｅｓ）、不可視物体検出部４３５は、第２画像データに基づいて、遮蔽領域に対応する領域に存在する物体を検出する。例えば、不可視物体検出部４３５は、第２画像データ中に存在する物体を検出するとともに、検出した物体の位置を推定する（ステップＳ１０３）ことで、遮蔽領域に対応する領域に存在する物体を検出する。

遮蔽領域に対応する領域に存在する物体が検出された場合、つまり、不可視物体が存在する場合（ステップＳ１０４、Ｙｅｓ）、統合部４３６は、検出した結果を遮蔽領域が存在する画像データに統合する（ステップＳ１０５）。これに応じて、出力部４３７は、統合した結果である統合済み画像データを対応する移動装置２００などに対して送信する。

一方、画像データ中に遮蔽領域が存在すると推定されなかった場合（ステップＳ１０１、Ｎｏ）、補完が可能であると推定されなかった場合（ステップＳ１０２、Ｎｏ）、不可視物体が存在しなかった場合（ステップＳ１０４、Ｎｏ）、出力部４３７は、画像データの表示を行うよう移動装置２００などに対して送信する。

このように、処理装置４００は、遮蔽領域推定部４３３と拡張領域確認部４３４と不可視物体検出部４３５とを有している。このような構成により、不可視物体検出部４３５は、遮蔽領域推定部４３３により遮蔽領域の存在が推定される場合に、拡張領域確認部４３４が特定した移動装置２００や設置装置３００から取得した画像データである第２画像データを用いて、遮蔽領域の存在が推定される画像データにおいて遮蔽領域の陰に隠れている物体である不可視物体を検出することが出来る。その結果、不可視物体の存在を示す情報を遮蔽領域が存在する画像データに統合することが可能となる。これにより、遮蔽物などが存在する場合においても視認できない領域を例えば疑似的に視認可能とすることが可能となる。

なお、処理装置４００は、移動装置２００や設置装置３００から画像データを取得したタイミングで画像データ中の物体検出などを行うよう構成してもよい。この場合、不可視物体検出部４３５は、事前に検出した結果を用いて不可視物体の検出を行ってもよい。

［第２実施形態］
次に、図１０、図１１を参照して、本開示の第２の実施形態について説明する。本開示の第２の実施形態では、情報処理装置である処理装置５００の構成の概要について説明する。

図１０は、処理装置５００のハードウェア構成例を示している。図１０を参照すると、処理装置５００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３（記憶装置）
・ＲＡＭ５０３にロードされるプログラム群５０４
・プログラム群５０４を格納する記憶装置５０５
・情報処理装置外部の記録媒体５１０の読み書きを行うドライブ装置５０６
・情報処理装置外部の通信ネットワーク５１１と接続する通信インタフェース５０７
・データの入出力を行う入出力インタフェース５０８
・各構成要素を接続するバス５０９

また、処理装置５００は、プログラム群５０４をＣＰＵ５０１が取得して当該ＣＰＵ５０１が実行することで、図１１に示す推定部５２１と検出部５２２としての機能を実現することが出来る。なお、プログラム群５０４は、例えば、予め記憶装置５０５やＲＯＭ５０２に格納されており、必要に応じてＣＰＵ５０１がＲＡＭ５０３などにロードして実行する。また、プログラム群５０４は、通信ネットワーク５１１を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５１０に格納されており、ドライブ装置５０６が該プログラムを読み出してＣＰＵ５０１に供給してもよい。

なお、図１０は、処理装置５００のハードウェア構成例を示している。処理装置５００のハードウェア構成は上述した場合に限定されない。例えば、処理装置５００は、ドライブ装置５０６を有さないなど、上述した構成の一部から構成されてもよい。

推定部５２１は、画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する。

検出部５２２は、推定部５２１が遮蔽領域の存在を推定した場合に、画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、画像データにおける遮蔽領域内に存在する物体を検出する。

このように、処理装置５００は、推定部５２１と検出部５２２とを有している。このような構成によると、検出部５２２は、推定部５２１が遮蔽領域の存在を推定した場合に、画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、画像データにおける遮蔽領域内に存在する物体を検出することが出来る。その結果、遮蔽物などが存在する場合においても視認できない領域を例えば疑似的に視認可能とすることが可能となる。

なお、上述した処理装置５００などの情報処理装置は、当該情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、遮蔽領域の存在を推定した場合に、画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、画像データにおける遮蔽領域内に存在する物体を検出する、処理を実現するためのプログラムである。

また、上述した情報処理装置により実行される処理方法は、情報処理装置が、画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、遮蔽領域の存在を推定した場合に、画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、画像データにおける遮蔽領域内に存在する物体を検出する、というものである。

上述した構成を有する、プログラム（又は記録媒体）、又は、処理方法、または、上述した構成を有する処理装置と表示装置を含む処理システム、などの発明であっても、上述した場合と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、
前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、
を有する
処理装置。
（付記２）
前記検出部は、前記第２画像データを用いて物体を検出するとともに検出した物体の位置を推定することで、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
付記１に記載の処理装置。
（付記３）
撮像装置の位置を示す情報と撮像方向を示す情報に基づいて、前記第２画像データを取得する撮像装置を特定する特定部を有し、
前記検出部は、前記特定部が特定した撮像装置を用いて取得した前記第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
付記１または付記２に記載の処理装置。
（付記４）
前記特定部は、前記画像データを取得した撮像装置の位置に応じて特定される前記遮蔽領域の位置に重なる撮像領域を有する撮像装置を、前記第２画像データを取得する撮像装置として特定する
付記３に記載の処理装置。
（付記５）
前記検出部による検出の結果を前記画像データに統合する統合部を有する
付記１から付記４までのうちのいずれか１項に記載の処理装置。
（付記６）
前記統合部は、前記遮蔽領域内に物体を検出した旨を示す抽象化表示を画像データに統合する
付記５に記載の処理装置。
（付記７）
前記統合部が統合した結果を、前記画像データを取得した撮像装置に対して出力する出力部を有する
付記５または付記６に記載の処理装置。
（付記８）
情報処理装置が、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
処理方法。
（付記９）
情報処理装置に、
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
処理を実現するためのプログラム。
（付記１０）
画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、を有する処理装置と、
前記検出部による検出結果を前記画像データに統合して表示する表示装置と、
を有する
処理システム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

１００ 処理システム
２００ 移動装置
３００ 設置装置
４００ 処理装置
４１０ 通信Ｉ／Ｆ部
４２０ 記憶部
４２１ 視野角情報
４２２ 設置位置・向き情報
４２３ 画像情報
４２４ 位置情報
４２５ 行動ベクトル情報
４２６ 統合済み画像情報
４２７ プログラム
４３０ 演算処理部
４３１ 受信部
４３２ 行動ベクトル算出部
４３３ 遮蔽領域推定部
４３４ 拡張領域確認部
４３５ 不可視物体検出部
４３６ 統合部
４３７ 出力部
５００ 処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム群
５０５ 記憶装置
５０６ ドライブ装置
５０７ 通信インタフェース
５０８ 入出力インタフェース
５０９ バス
５１０ 記録媒体
５１１ 通信ネットワーク
５２１ 推定部
５２２ 検出部

Claims (10)

1. 画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、
   前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、
   を有する
   処理装置。
2. 前記検出部は、前記第２画像データを用いて物体を検出するとともに検出した物体の位置を推定することで、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
   請求項１に記載の処理装置。
3. 撮像装置の位置を示す情報と撮像方向を示す情報に基づいて、前記第２画像データを取得する撮像装置を特定する特定部を有し、
   前記検出部は、前記特定部が特定した撮像装置を用いて取得した前記第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
   請求項１または請求項２に記載の処理装置。
4. 前記特定部は、前記画像データを取得した撮像装置の位置に応じて特定される前記遮蔽領域の位置に重なる撮像領域を有する撮像装置を、前記第２画像データを取得する撮像装置として特定する
   請求項３に記載の処理装置。
5. 前記検出部による検出の結果を前記画像データに統合する統合部を有する
   請求項１から請求項４までのうちのいずれか１項に記載の処理装置。
6. 前記統合部は、前記遮蔽領域内に物体を検出した旨を示す抽象化表示を画像データに統合する
   請求項５に記載の処理装置。
7. 前記統合部が統合した結果を、前記画像データを取得した撮像装置に対して出力する出力部を有する
   請求項５または請求項６に記載の処理装置。
8. 情報処理装置が、
   画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
   前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
   処理方法。
9. 情報処理装置に、
   画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定し、
   前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する
   処理を実現するためのプログラム。
10. 画像データに基づいて、当該画像データでは確認できない物体が隠れている可能性のある領域である遮蔽領域を推定する推定部と、前記推定部が前記遮蔽領域の存在を推定した場合に、前記画像データを取得した撮像装置とは異なる位置に存在する撮像装置を用いて取得した第２画像データを用いて、前記画像データにおける前記遮蔽領域内に存在する物体を検出する検出部と、を有する処理装置と、
    前記検出部による検出結果を前記画像データに統合して表示する表示装置と、
    を有する
    処理システム。
    
    

Images