JP2022099156A

JP2022099156A - 制御装置及び制御プログラム

Info

Publication number: JP2022099156A
Application number: JP2020212945A
Authority: JP
Inventors: 正宏恩田; Masahiro Onda
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2022-07-04

Abstract

【課題】相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出す制御装置及び制御プログラムを提供する。【解決手段】制御装置２０は、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する検出部２１と、複数の移動対象が検出された場合、複数の移動対象同士の距離を算出する算出部２２と、距離が閾値未満の場合、距離が閾値以上となるように、移動方向の変更を指示する移動対象である指示対象と、指示対象の変更後の移動方向とを設定する処理部２３とを備える。【選択図】図１

Description

本発明は、制御装置及び制御プログラムに関する。

近年、オフィス、スポーツジム、商業施設等の不特定多数が利用する施設では、ソーシャルディスタンスを確保することが求められている。特許文献１には、合流車両の位置及び車速に基づいて車間距離の予測値を算出し、算出結果に基づいて本線道路上に指標を投影する装置が開示されている。

特開２０１９－１７５００４号公報

特許文献１は、本線を走行する車両に対して指示を提示するために指標を投影する技術であり、不特定多数に対してソーシャルディスタンスを確保するための指示を出すものではない。ソーシャルディスタンスの確保に限られず、相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出すことが可能な技術が求められる。

本発明は、上記に鑑みてなされたものであり、相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出すことが可能な制御装置及び制御プログラムを提供することを目的とする。

本発明に係る制御装置は、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する検出部と、複数の前記移動対象が検出された場合、複数の前記移動対象同士の距離を算出する算出部と、前記距離が閾値未満の場合、前記距離が前記閾値以上となるように、移動方向の変更を指示する前記移動対象である指示対象と、前記指示対象の変更後の前記移動方向とを設定する処理部とを備える。

本実施形態に係る制御プログラムは、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する処理と、複数の前記移動対象が検出された場合、複数の前記移動対象同士の距離を算出する処理と、前記距離が閾値未満の場合、前記距離が前記閾値以上となるように、移動方向の変更を指示する前記移動対象である指示対象と、前記指示対象の変更後の前記移動方向とを設定する処理とをコンピュータに実行させる。

本発明によれば、相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出すことができる。

図１は、本実施形態に係る指示システムの一例を模式的に示す図である。図２は、対象領域を複数の人物が移動する状態を模式的に示す図である。図３は、撮像装置で撮像された対象領域の映像の一例を示す図である。図４は、撮像装置で撮像された対象領域の映像の一例を示す図である。図５は、一の移動対象に副対象が存在する場合の例を示す図である。図６は、撮像装置で撮像された対象領域の映像の一例を示す図である。図７は、主対象が車いすに座る人物を押して移動する態様である。図８は、主対象が荷物（キャリーバッグ）を引いて移動する態様である。図９は、主対象が子供を抱きかかえて移動する態様を示す図である。図１０は、一の移動対象に副対象が存在する場合の例を示す図である。図１１は、撮像装置で撮像された対象領域の映像の一例を示す図である。図１２は、対象領域を人物及び移動体が移動する状態を模式的に示す図である。図１３は、撮像装置で撮像された対象領域の映像の一例を示す図である。図１４は、対象領域を複数の移動体が移動する状態を模式的に示す図である。図１５は、撮像装置で撮像された対象領域の映像の一例を示す図である。図１６は、本実施形態に係る指示システムの動作の流れの一例を示すフローチャートである。

以下、本発明に係る制御装置及び制御プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

図１は、本実施形態に係る指示システム１００の一例を模式的に示す図である。本実施形態において、指示システム１００は、例えば不特定多数に対してソーシャルディスタンスを確保する場合に用いることができる。図１に示すように、指示システム１００は、撮像装置１０と、制御装置２０と、投影装置３０とを備えている。

撮像装置１０は、対象領域の映像を取得する。撮像装置１０は、例えば可視光カメラ、赤外線カメラのうち少なくとも一方のカメラ等が用いられる。対象領域は、例えばオフィス、スポーツジム、商業施設等の不特定多数が利用する施設の内部や、屋外の施設の場合には屋内の空間等が挙げられる。対象領域は、複数の移動対象が相対的に移動可能な広さを有する。本実施形態において、移動対象は、人物及び物体を含む。

制御装置２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の処理装置や、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の記憶装置を有している。制御装置２０は、検出部２１と、算出部２２と、処理部２３と、記憶部２４とを有している。

検出部２１は、撮像装置１０によって取得された映像に基づいて、相対的に移動する複数の移動対象を検出する。検出部２１は、例えば特徴量抽出等の画像処理を行い、所定の認識アルゴリズム等を用いて、映像に含まれる複数の移動対象を検出することが可能である。

検出部２１は、例えば人物を移動対象として検出可能である。検出部２１は、検出した人物に対して所定距離以内に存在し、当該人物に対して一体的又は追従して移動する人物又は物体を副対象として検出可能である。この場合、検出部２１は、副対象が属する人物を主対象として検出する。副対象として、例えば人物では乳児、幼児等の子供、車椅子に座った人物等が挙げられ、物体では荷物等が挙げられる。荷物としては、バッグ等の直接身に着けて運搬する荷物、台車、カート、キャスター付きトランク等の押す又は引くことにより運搬する荷物等が挙げられる。なお、当該人物に対して一体的又は追従して移動する人物又は物体を副対象として検出可能としたが、一体的又は追従して移動しているか否かは主対象と判断された人物に対して、副対象が所定時間接しているか否かによって判定すればよい。さらに、検出した人物と、当該人物に対して一体的又は追従して移動する人物との判断は、人物同士の身長や表面積など比較し、身長等が高い人物を主対象、低い人物を副対象とすればよい。また、検出した人物と、当該人物に対して一体的又は追従して移動する物体との判断は、予め定められたオブジェクト（バック等）を画像認識で判断し、人物を主対象、物体を副対象とすればよい。これらは例示であって、種々の公知技術を用いることは可能である。

検出部２１は、例えば人物とは独立して移動する物体である移動体を移動対象として検出可能である。移動体としては、例えば監視ロボット、清掃ロボット等の移動可能なロボットが挙げられる。また、このようなロボットは、例えば対象領域の床、壁等を自在に移動可能な移動装置と、対象領域に投影されるオブジェクトを検出可能なカメラ、センサ等の検出装置とを有する。

検出部２１は、可視光カメラによる映像と、赤外線カメラによる映像とを用いることにより、高精度な検出が可能となる。赤外線カメラは例えば遠赤外線による温度情報を輝度にとして出力する。赤外線カメラとしては、遠赤外線の中でも人体の発する波長に特化した特性を備えたものを用いることができる。例えば、可視光カメラによる映像では人物の顔が隠れる場合や、身に着けている荷物や着衣等で画像上の面積が不明瞭となる場合がある。このような場合、赤外線カメラの映像では人物の体温に相当する表面温度の箇所が存在するか否か、存在する場合には人物の顔に相当する箇所であるか否か、等の判定を行うことにより、人物と他の移動体との判別精度、人物の画像上の輪郭の検出精度を高めることができる。

算出部２２は、複数の移動対象が検出された場合、複数の移動対象同士の距離を算出する。算出部２２は、複数の移動対象が検出された場合、例えば所定の期間ごとに、複数の移動対象が検出されなくなるまで当該移動対象同士の距離を算出する。算出部２２は、移動対象が人物である場合、一例として、互いの頭部同士又は口同士の距離を移動対象同士の距離として算出することができる。算出部２２は、例えば頭部同士の距離を算出する場合、三次元空間における頭部の中心座標同士（三次元座標）を結ぶ線分の距離を算出してもよいし、平面視における頭部の中心座標同士（二次元座標）を結ぶ線分の距離を算出してもよい。また、算出部２２は、複数の移動対象の位置、移動方向及び移動速度についても算出可能である。算出部２２は、それぞれ三次元空間での位置、移動方向及び移動速度として算出してもよいし、平面視における二次元空間での位置、移動方向及び移動速度として算出してもよい。

算出部２２は、複数の移動対象の一が主対象であり、副対象として子供、車椅子に座った人物等の人物が検出される場合、他の移動対象と、主対象及び副対象のうち距離が短くなる方との間の距離を算出する。

処理部２３は、距離が閾値未満の場合、距離が閾値以上となるように、移動方向の変更を指示する移動対象である指示対象と、指示対象の変更後の移動方向とを設定する。処理部２３は、例えば移動対象の動線を乱さないようにするため、変更後の移動方向が距離算出時点での移動方向に対して±４５°内に収まるように当該変更後の移動方向を設定する。より具体的には、処理部２３は、複数の移動対象間の距離を算出し、距離が短くなるほど、変更後の移動方向を大きくする。例えば、処理部２３は、閾値が３ｍであった場合であって、移動対象間の距離が２ｍのとき、変更後の移動方向を２３°とし、移動対象間の距離が０．５ｍのとき、変更後の移動方向を４５°とする。このように、処理部２３は、複数の移動対象間の距離に応じて、変更後の移動方向を設定すればよい。なお、処理部２３は、変更後の移動方向が距離算出時点での移動方向の成分を含む方向であれば、±４５°よりも大きくなる方向を設定してもよい。また、処理部２３は、移動対象が十分な距離を移動できるように変更後の移動方向を設定する。

処理部２３は、検出部２１において主対象及び副対象が検出される場合、主対象に対する副対象の大きさ、主対象に対して副対象が属する態様、移動対象間の距離が閾値以上となるために要する移動方向の変更の大きさに基づいて、指示対象を選定する。主対象に対する副対象の大きさについては、画像処理により求めることができる。一例として、副対象と判定された人物又は物体の画像上の面積と、主対象の画像上の面積との比率によって示すことができる。

例えば、副対象の大きさが大きいほど、主対象の負担度合いが大きくなると考えられる。一方、同じ大きさの副対象であっても、主対象の体格又は身長等によって負荷度合いが異なると考えられる。したがって、副対象と主対象との比率によって示すことで、負荷度合いを調整できる。

主対象に対して副対象が属する態様については、上記した例に沿って説明すると、副対象が子供である場合、子供が主対象と手を繋いで移動する態様、子供が主対象に抱きかかえられて移動する態様等が挙げられる。また、副対象が車椅子に座った人物である場合、当該人物が車椅子で主対象に押されて移動する態様が挙げられる。また、副対象がバッグ等の荷物である場合、主対象が荷物を直接身に着けて運搬する態様が挙げられる。また、副対象が台車、カート、キャスター付きトランク等の場合、主対象が荷物を押す又は引くことにより運搬する態様が挙げられる。

例えば台車、カート、キャスター付きトランク等のように副対象（荷物）を押す又は引くことで運搬する場合には、子供を抱きかかえて移動する態様に比べて移動の負荷度合いが小さいと考えられる。一方、大きい荷物を押す又は引く場合には、小さい子供を抱きかかえて移動する場合に比べて、移動方向を変更する際の負荷度合いが大きくなると考えられる。したがって、例えば移動対象間の距離に応じて算出された移動方向の変更量が所定値よりも小さい場合、処理部２３は、移動の負荷度合いが小さい方、つまり荷物を押す又は引くことで運搬する主対象が指示対象となるように設定することができる。一方、移動対象間の距離に応じて算出された移動方向の変更量が所定値よりも大きくなる場合、処理部２３は、移動方向を変更するための負荷度合いが小さい方、つまり小さい子供を抱きかかえて移動する主対象が指示対象となるように設定する。

処理部２３は、複数の移動対象として人物と移動体とが検出された場合、移動体が優先的に指示対象となるようにすることができる。移動体は、人物に比べて移動方向を変更する際の負荷度合いが小さい場合が多い。また、移動体は、人物が歩いて移動する場合とは異なり、検出時点の移動方向に対して±９０°の範囲の移動を小さい負荷度合いで行うことが可能な場合がある。したがって、例えば複数の移動対象として人物と移動体とが検出された場合、人物を移動対象としないようにしたり、人物の移動方向の変更量を移動体の移動方向の変更量よりも小さくするようにしたりする等、移動体を優先的に指示対象となるように設定することで、人物に対する負荷度合いを小さくすることができる。また、移動体が停止することなく移動し続けることができるため、移動体の移動効率を向上させることができる。

処理部２３は、指示対象及び変更後の移動方向を設定し、後述するオブジェクトが投影された後、複数の移動対象間の距離が閾値以上となった場合、指示対象及び変更後の移動方向の設定を解除する。

記憶部２４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部２４は、撮像装置１０及び投影装置３０を制御するための各種プログラムやデータ等を記憶する。

記憶部２４は、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する処理と、複数の移動対象が検出された場合、複数の移動対象同士の距離を算出する処理と、距離が閾値未満の場合、距離が閾値以上となるように、移動方向の変更を指示する移動対象である指示対象と、指示対象の変更後の移動方向とを設定する処理とをコンピュータに実行させる制御プログラムを記憶する。

投影装置３０は、変更後の移動方向を示すオブジェクトを指示対象の位置に対応させて対象領域に投影する。投影装置３０としては、例えば１台以上のプロジェクタ等が用いられる。投影装置３０は、オブジェクトを対象領域の壁、床等に投影する。投影装置３０によりオブジェクトが投影されることにより、指示対象に対して変更後の移動方向を指示することができる。投影装置３０は、指示対象が移動する場合、指示対象の位置の変化に応じて追従するようにオブジェクトを移動させる。例えば、投影装置３０は、指示対象の移動速度に合わせてオブジェクトを移動させるように投影することができる。なお、投影装置３０は、処理部２３において指示対象及び変更後の移動方向の設定が解除された場合、オブジェクトの投影を終了する。

次に、上記の指示システム１００の使用態様の例を説明する。図２は、対象領域を複数の人物が移動する状態を模式的に示す図である。図３は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。図２及び図３に示すように、撮像装置１０で撮像された映像に基づいて、検出部２１は、移動対象として複数の人物Ｐ１、Ｐ２を検出する。

算出部２２は、人物Ｐ１と人物Ｐ２との距離を算出する。図２及び図３に示すように、算出部２２は、人物Ｐ１の頭部と人物Ｐ２の頭部との距離ｄ１を算出する。また、算出部２２は、人物Ｐ１、Ｐ２の位置、移動方向及び移動速度についても算出する。

処理部２３は、距離ｄ１が閾値未満の場合、当該距離ｄ１が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図２及び図３に示す例では、人物Ｐ１、Ｐ２に副対象が存在せず、体格や身長等も同様であることから、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いが同等であると推定される。また、人物Ｐ１、Ｐ２の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、人物Ｐ１、Ｐ２の両方を指示対象として設定し、それぞれ検出時の移動方向に対して同程度の変更量となるように変更後の移動方向を設定する。

図４は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。投影装置３０は、図４に示すように、処理部２３で設定された指示対象である人物Ｐ１、Ｐ２に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ１、Ｐ２の位置に対応するように移動方向のオブジェクトＯ１、Ｏ２を投影する。オブジェクトＯ１、Ｏ２が指し示す方向は、人物Ｐ１、Ｐ２の検出時の移動方向（図中に破線矢印で示す）に対してそれぞれ離れる方向に同程度の変更量となっている。人物Ｐ１、Ｐ２は、投影されたオブジェクトＯ１、Ｏ２を見ることにより、それぞれ移動すべき方向を容易に認識することができる。

オブジェクトＯ１、Ｏ２が投影された後においても、算出部２２により複数の移動対象同士の距離が算出される。算出された距離が閾値以上である場合、処理部２３は、指定対象及び変更後の移動方向の設定を解除する。投影装置３０は、設定の解除に基づき、オブジェクトＯ１、Ｏ２の投影を終了する。

図５は、一の移動対象に副対象が存在する場合の例を示す図である。図６は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。図５及び図６に示す例は、主対象が子供と手を繋いで移動する態様である。この場合、検出部２１は、移動対象として人物Ｐ３、Ｐ４を検出する。また、一方の人物Ｐ３が主対象であり、当該主対象に属する副対象である子供Ｐ５を検出する。子供Ｐ５は、人物Ｐ３と手を繋いで移動する態様である。

算出部２２は、人物Ｐ３及び子供Ｐ５と人物Ｐ４との距離を算出する。図５に示すように、算出部２２は、人物Ｐ３の頭部と人物Ｐ４の頭部との距離ｄ２と、子供Ｐ５の頭部と人物Ｐ４の頭部との距離ｄ３を算出する。算出部２２は、距離ｄ２及び距離ｄ３のうち短い方の距離を移動対象同士の距離として算出する。本実施形態では、距離ｄ３が移動対象同士の距離として算出される。また、算出部２２は、人物Ｐ３及び子供Ｐ５、人物Ｐ４の位置、移動方向及び移動速度についても算出する。

処理部２３は、距離ｄ３が閾値未満の場合、当該距離ｄ３が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図５及び図６に示す例では、人物Ｐ３には副対象である子供Ｐ５が存在するが、人物Ｐ４には副対象が存在しない。この場合、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いは、人物Ｐ３の方が大きいと推定される。また、人物Ｐ１、Ｐ２の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、例えば人物Ｐ３を指示対象とはせず、人物Ｐ４を指示対象として設定し、検出時の移動方向に対して所定の変更量となるように変更後の移動方向を設定する。

投影装置３０は、図６に示すように、処理部２３で設定された指示対象である人物Ｐ４に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ４の位置に対応するように移動方向のオブジェクトＯ３を投影する。オブジェクトＯ３が指し示す方向は、人物Ｐ４の検出時の移動方向（図中に破線矢印で示す）に対して人物Ｐ３から離れる方向となっている。人物Ｐ４は、投影されたオブジェクトＯ３を見ることにより、移動すべき方向を容易に認識することができる。なお、オブジェクトＯ３が投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトＯ３の投影が終了する。

また、図７は、主対象が車いすに座る人物を押して移動する態様を示す図である。この場合、検出部２１は、移動対象として人物Ｐ６、Ｐ７を検出する。また、一方の人物Ｐ６が主対象であり、当該主対象に属する副対象である車いすに座った人物Ｐ８を検出する。

算出部２２は、人物Ｐ６、Ｐ８と人物Ｐ７との距離を算出する。図７に示すように、算出部２２は、人物Ｐ６の頭部と人物Ｐ７の頭部との距離ｄ４と、人物Ｐ８の頭部と人物Ｐ７の頭部との距離ｄ５を算出する。算出部２２は、距離ｄ４及び距離ｄ５のうち短い方の距離を移動対象同士の距離として算出する。本実施形態では、距離ｄ５が移動対象同士の距離として算出される。

処理部２３は、距離ｄ５が閾値未満の場合、当該距離ｄ５が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図７に示す例では、図５及び図６に示す例と同様に、人物Ｐ６には副対象である人物Ｐ８が存在するが、人物Ｐ７には副対象が存在しない。この場合、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いは、人物Ｐ６の方が大きいと推定される。また、人物Ｐ６、Ｐ７の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、例えば人物Ｐ６を指示対象とはせず、人物Ｐ７を指示対象として設定し、検出時の移動方向に対して所定の変更量となるように変更後の移動方向を設定する。

投影装置３０は、処理部２３で設定された指示対象である人物Ｐ７に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ７の位置に対応するように移動方向のオブジェクトを投影する。人物Ｐ７は、投影されたオブジェクトを見ることにより、移動すべき方向を容易に認識することができる。なお、オブジェクトが投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトの投影が終了する。

図８は、主対象が荷物（キャリーバッグ）を引いて移動する態様を示す図である。この場合、検出部２１は、移動対象として人物Ｐ９、Ｐ１０を検出する。また、一方の人物Ｐ９が主対象であり、当該主対象に属する副対象である荷物Ｍ１を検出する。算出部２２は、人物Ｐ９と人物Ｐ１０との距離を算出する。図８に示すように、算出部２２は、人物Ｐ９の頭部と人物Ｐ１０の頭部との距離ｄ６を算出する。

処理部２３は、距離ｄ６が閾値未満の場合、当該距離ｄ６が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図８に示す例では、図５及び図６に示す例と同様に、人物Ｐ９には副対象である荷物Ｍ１が存在するが、人物Ｐ１０には副対象が存在しない。この場合、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いは、人物Ｐ１０の方が大きいと推定される。また、人物Ｐ９、Ｐ１０の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、例えば人物Ｐ９を指示対象とはせず、人物Ｐ１０を指示対象として設定し、検出時の移動方向に対して所定の変更量となるように変更後の移動方向を設定する。

投影装置３０は、処理部２３で設定された指示対象である人物Ｐ１０に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ１０の位置に対応するように移動方向のオブジェクトを投影する。人物Ｐ１０は、投影されたオブジェクトを見ることにより、移動すべき方向を容易に認識することができる。なお、オブジェクトが投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトの投影が終了する。

図９は、主対象が子供を抱きかかえて移動する態様を示す図である。この場合、検出部２１は、移動対象として人物Ｐ１１、Ｐ１２を検出する。また、一方の人物Ｐ１１が主対象であり、当該主対象に属する副対象である子供Ｐ１３を検出する。子供Ｐ１３は、人物Ｐ１１に抱きかかえられて移動する態様である。

算出部２２は、人物Ｐ１１、Ｐ１３と人物Ｐ１２との距離を算出する。図９に示すように、算出部２２は、人物Ｐ１１の頭部と人物Ｐ１２の頭部との距離ｄ７と、子供Ｐ１３の頭部と人物Ｐ１２の頭部との距離ｄ８を算出する。算出部２２は、距離ｄ７及び距離ｄ８のうち短い方の距離を移動対象同士の距離として算出する。本実施形態では、距離ｄ８が移動対象同士の距離として算出される。

処理部２３は、距離ｄ８が閾値未満の場合、当該距離ｄ８が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図９に示す例では、図５及び図６に示す例と同様に、人物Ｐ１１には副対象である子供Ｐ１３が存在するが、人物Ｐ１２には副対象が存在しない。この場合、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いは、人物Ｐ１１の方が大きいと推定される。また、人物Ｐ１１、Ｐ１２の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、例えば人物Ｐ１１を指示対象とはせず、人物Ｐ１２を指示対象として設定し、検出時の移動方向に対して所定の変更量となるように変更後の移動方向を設定する。

投影装置３０は、処理部２３で設定された指示対象である人物Ｐ１２に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ１２の位置に対応するように移動方向のオブジェクトを投影する。人物Ｐ１２は、投影されたオブジェクトを見ることにより、移動すべき方向を容易に認識することができる。なお、オブジェクトが投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトの投影が終了する。

図１０は、一の移動対象に副対象が存在する場合の例を示す図である。図１１は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。図１０及び図１１に示す例は、一方の主対象が子供を抱きかかえて移動する態様であり、他方の主対象が子供と手を繋いで移動する態様である。この場合、検出部２１は、移動対象として人物Ｐ１４、Ｐ１５を検出する。また、人物Ｐ１４が主対象であり、当該主対象に属する副対象である子供Ｐ１６を検出する。子供Ｐ１６は、人物Ｐ１４に抱きかかえられて移動する態様である。また、人物Ｐ１５が主対象であり、当該主対象に属する副対象者である子供Ｐ１７を検出する。子供Ｐ１７は、人物Ｐ１５と手を繋いで移動する態様である。

算出部２２は、人物Ｐ１４及び子供Ｐ１６と、人物Ｐ１５及び子供Ｐ１７との距離を算出する。図１０に示すように、算出部２２は、人物Ｐ１４の頭部と人物Ｐ１５の頭部との距離ｄ９と、人物Ｐ１４の頭部と子供Ｐ１７の頭部との距離と、子供Ｐ１６の頭部と人物Ｐ１５の頭部との距離と、子供Ｐ１６の頭部と子供Ｐ１７の頭部との距離とを算出する。算出部２２は、算出した各距離のうち最も短い距離である距離ｄ９を移動対象同士の距離として算出する。また、算出部２２は、人物Ｐ１４、Ｐ１５及び子供Ｐ１６、Ｐ１７の位置、移動方向及び移動速度についても算出する。

処理部２３は、距離ｄ９が閾値未満の場合、当該距離ｄ９が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図１０及び図１１に示す例では、人物Ｐ１４には副対象である子供Ｐ１６が存在し、人物Ｐ１５には副対象である子供Ｐ１７が存在する。一方、子供Ｐ１６は人物Ｐ１４に抱きかかえられている状態であるに対して、子供Ｐ１７は人物Ｐ１５と手を繋いでいる状態である。人物Ｐ１４、Ｐ１５の体格、身長等は同等であり、子供Ｐ１６、Ｐ１７の体格、身長等は同等である。したがって、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いは、子供Ｐ１６を抱きかかえている人物Ｐ１４の方が大きいと推定される。また、人物Ｐ１４、Ｐ１５の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、例えば人物Ｐ１４を指示対象とはせず、人物Ｐ１５を指示対象として設定し、検出時の移動方向に対して所定の変更量となるように変更後の移動方向を設定する。

投影装置３０は、図１１に示すように、処理部２３で設定された指示対象である人物Ｐ１５に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ１５の位置に対応するように移動方向のオブジェクトＯ４を投影する。オブジェクトＯ４が指し示す方向は、人物Ｐ１５の検出時の移動方向（図中に破線矢印で示す）に対して人物Ｐ１４から離れる方向となっている。人物Ｐ１５は、投影されたオブジェクトＯ４を見ることにより、移動すべき方向を容易に認識することができる。なお、オブジェクトＯ４が投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトＯ４の投影が終了する。

図１２は、対象領域を人物及び移動体が移動する状態を模式的に示す図である。図１３は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。図１２及び図１３に示すように、撮像装置１０で撮像された映像に基づいて、検出部２１は、移動対象として人物Ｐ１８と監視ロボットＲ１とを検出する。監視ロボットＲ１は、移動装置Ｒ１ａにより自律的に移動可能であり、カメラＲ１ｂにより周囲の映像を撮影する。監視ロボットＲ１は、カメラＲ１ｂで撮影した映像に基づいて、周囲の障害物等を検知し、周囲の障害物との接触又は衝突を回避するように移動装置Ｒ１ａにより移動可能である。カメラＲ１ｂは、投影装置３０により投影されるオブジェクトを検知可能である。

算出部２２は、人物Ｐ１８と監視ロボットＲ１との距離を算出する。図１２及び図１３に示すように、算出部２２は、人物Ｐ１８の表面と監視ロボットＲ１の表面との間の最短の距離ｄ１０を算出する。また、算出部２２は、人物Ｐ１８及び監視ロボットＲ１の位置、移動方向及び移動速度についても算出する。

処理部２３は、距離ｄ１０が閾値未満の場合、当該距離ｄ１０が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図１２及び図１３に示す例では、移動対象の一方が人物Ｐ１８であり、当該人物Ｐ１８には副対象が存在しない。また、移動対象の他方が監視ロボットＲ１である。したがって、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いについては、監視ロボットＲ１の方が人物Ｐ１８よりも低いものの、人物Ｐ１８の負荷度合いは特段高くないと推定される。また、人物Ｐ１８及び監視ロボットＲ１の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、人物Ｐ１８及び監視ロボットＲ１の両方を指示対象として設定し、監視ロボットＲ１の方が人物Ｐ１８よりも変更量が大きくなるように移動方向を設定する。

投影装置３０は、図１３に示すように、処理部２３で設定された指示対象である人物Ｐ１８及び監視ロボットＲ１に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて人物Ｐ１８及び監視ロボットＲ１の位置に対応するように移動方向のオブジェクトＯ５、Ｏ６を投影する。オブジェクトＯ５、Ｏ６が指し示す方向は、人物Ｐ１８及び監視ロボットＲ１の検出時の移動方向（図中に実線矢印で示す）に対してそれぞれ離れる方向にθ１、θ２（ただし、θ１＜θ２）の変更量となっている。人物Ｐ１８及び監視ロボットＲ１は、投影されたオブジェクトＯ５、Ｏ６を見る又はカメラＲ１ｂで撮影して検知することにより、それぞれ移動すべき方向を容易に認識することができる。なお、オブジェクトＯ５、Ｏ６が投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトＯ５、Ｏ６の投影が終了する。

図１４は、対象領域を複数の移動体が移動する状態を模式的に示す図である。図１５は、撮像装置１０で撮像された対象領域の映像の一例を示す図である。図１４及び図１５に示すように、撮像装置１０で撮像された映像に基づいて、検出部２１は、移動対象として移動体である監視ロボットＲ２と掃除ロボットＲ３とを検出する。監視ロボットＲ２は、上記した監視ロボットＲ１と同様の構成であり、移動装置Ｒ２ａと、カメラＲ２ｂとを有する。掃除ロボットＲ３は、移動装置Ｒ３ａにより自律的に移動可能であり、カメラＲ３ｂにより周囲の映像を撮影する。掃除ロボットＲ３は、カメラＲ３ｂで撮影した映像に基づいて、周囲の障害物等を検知し、周囲の障害物との接触又は衝突を回避するように移動装置Ｒ３ａにより移動しつつ、吸引部Ｒ３ｃから異物を吸引可能である。カメラＲ３ｂは、投影装置３０により投影されるオブジェクトを検知可能である。

算出部２２は、監視ロボットＲ２と掃除ロボットＲ３との距離を算出する。図１４及び図１５に示すように、算出部２２は、監視ロボットＲ２の表面と掃除ロボットＲ３の表面との間の最短の距離ｄ１１を算出する。また、算出部２２は、監視ロボットＲ２及び掃除ロボットＲ３の位置、移動方向及び移動速度についても算出する。

処理部２３は、距離ｄ１１が閾値未満の場合、当該距離ｄ１１が閾値以上となるように指示対象及び指示対象の変更後の移動方向を設定する。図１４及び図１５に示す例では、移動対象の一方が監視ロボットＲ２であり、他方が掃除ロボットＲ３である。監視ロボットＲ２の方が掃除ロボットＲ３よりも大きい。したがって、移動する場合の負荷度合い及び移動方向を変更する場合の負荷度合いについては、掃除ロボットＲ３の方が監視ロボットＲ２よりも低いものの、監視ロボットＲ２の負荷度合いは特段高くないと推定される。また、監視ロボットＲ２及び掃除ロボットＲ３の周囲には移動を妨げる障害物等が検出されない状態である。したがって、処理部２３は、監視ロボットＲ２及び掃除ロボットＲ３の両方を指示対象として設定し、掃除ロボットＲ３の方が監視ロボットＲ２よりも変更量が大きくなるように移動方向を設定する。

投影装置３０は、図１５に示すように、処理部２３で設定された指示対象である監視ロボットＲ２及び掃除ロボットＲ３に対して変更後の移動方向を指示するため、対象領域の例えば床部Ｆにおいて監視ロボットＲ２及び掃除ロボットＲ３の位置に対応するように移動方向のオブジェクトＯ７、Ｏ８を投影する。オブジェクトＯ７、Ｏ８が指し示す方向は、監視ロボットＲ２及び掃除ロボットＲ３の検出時の移動方向（図中に実線矢印で示す）に対してそれぞれ離れる方向にθ３、θ４（ただし、θ３＜θ４）の変更量となっている。監視ロボットＲ２及び掃除ロボットＲ３は、投影されたオブジェクトＯ７、Ｏ８をカメラで撮影して検知することにより、それぞれ移動すべき方向を容易に認識することができる。なお、オブジェクトＯ７、Ｏ８が投影された後、複数の移動体同士の距離が閾値以上となった場合、処理部２３により指定対象及び変更後の移動方向の設定が解除され、投影装置３０によりオブジェクトＯ７、Ｏ８の投影が終了する。

図１６は、本実施形態に係る指示システム１００の動作の流れの一例を示すフローチャートである。まず、撮像装置１０は、対象領域の映像を取得する（ステップＳ１０）。検出部２１は、取得された映像に基づいて、複数の移動対象を検出する（ステップＳ２０）。複数の移動対象が検出されない場合（ステップＳ２０のＮｏ）、ステップＳ２０の処理を繰り返し行う。複数の移動対象が検出された場合（ステップＳ２０のＹｅｓ）、算出部２２は、検出された複数の移動対象同士の距離を算出する（ステップＳ３０）。

処理部２３は、算出された距離が閾値未満であるか否かを判定する（ステップＳ４０）。算出された距離が閾値未満ではない場合（ステップＳ４０のＮｏ）、処理を終了する。算出された距離が閾値未満である場合（ステップＳ４０のＹｅｓ）、処理部２３は、当該距離が閾値以上となるように、指示対象及び当該指示対象の変更後の移動方向とを設定する（ステップＳ５０）。投影装置３０は、設定された変更後の移動方向を示すオブジェクトを指示対象の位置に対応させて対応領域に投影する（ステップＳ６０）。

処理部２３は、算出部２２により算出される距離が閾値以上であるか否かを判定する（ステップＳ７０）。算出された距離が閾値未満である場合（ステップＳ７０のＮｏ）、ステップＳ７０の処理を繰り返し行う。算出された距離が閾値以上である場合（ステップＳ７０のＹｅｓ）、処理部２３は、指定対象及び変更後の移動方向の設定を解除する（ステップＳ８０）。投影装置３０は、設定の解除に基づき、オブジェクトの投影を終了する（ステップＳ９０）。

以上のように、本実施形態に係る制御装置２０は、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する検出部２１と、複数の移動対象が検出された場合、複数の移動対象同士の距離を算出する算出部２２と、距離が閾値未満の場合、距離が閾値以上となるように、移動方向の変更を指示する移動対象である指示対象と、指示対象の変更後の移動方向とを設定する処理部２３とを備える。

また、本実施形態に係る制御プログラムは、対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する処理と、複数の移動対象が検出された場合、複数の移動対象同士の距離を算出する処理と、距離が閾値未満の場合、距離が閾値以上となるように、移動方向の変更を指示する移動対象である指示対象と、指示対象の変更後の移動方向とを設定する処理とをコンピュータに実行させる。

この構成によれば、相対的に移動する複数の移動対象を映像に基づいて検出し、移動対象同士の距離が閾値未満になった場合に、指示対象及び当該指示対象の変更後の移動方向を自動的に設定することができる。したがって、設定された指示対象に対して変更後の移動方向を報知することにより、指示対象は、容易に変更後の移動方向を認識することができる。これにより、相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出すことが可能となる。

また、本実施形態に係る指示システム１００は、対象領域の映像を取得する撮像装置１０と、上記の制御装置３０と、変更後の移動方向を示すオブジェクトを指示対象の位置に対応させて対象領域に投影する投影装置３０とを備える。この構成によれば、変更後の移動方向を示すオブジェクトを指示対象の位置に対応させて投影することができる。したがって、指示対象となった移動対象は、オブジェクトを見る又は検知することにより、容易に変更後の移動方向を認識することができる。これにより、相対的に移動する複数の移動対象同士の距離を確保するため適切な指示を出すことが可能となる。

本実施形態に係る制御装置２０において、検出部２１は、人物を移動対象として検出可能であり、当該人物を主対象として検出し、当該人物に対して所定距離以内に存在し人物に対して一体的又は追従して移動する人物又は物体を副対象として検出し、処理部２３は、主対象が複数の移動対象の一として検出された場合、主対象に対する副対象の大きさ、主対象に対して副対象が属する態様、及び距離が閾値以上となるために要する複数の移動対象の移動方向の変更の大きさに基づいて、指示対象を選定する。この構成によれば、副対象を伴う主対象の移動時の負荷度合いを適切に調整することができる。

本実施形態に係る制御装置２０において、算出部２２は、副対象が人物である場合、主対象及び副対象のうち短い方の距離を他の移動対象との距離として算出する。この構成によれば、複数の移動対象同士の距離をより適切に算出することができる。

本実施形態に係る制御装置２０において、検出部２１は、人物とは独立して移動する物体である移動体を移動対象として検出し、処理部２３は、複数の移動対象として人物と移動体とが検出された場合、移動体を優先的に指示対象とする。この構成によれば、人物及び移動体の移動時の負荷度合いを適切に調整することができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、オフィス、スポーツジム、商業施設等の対象領域において、ソーシャルディスタンスを確保するための動作を例に挙げて説明したが、これに限定されない。例えば、複数の移動対象同士の距離が閾値未満となる可能性がある他の場面においても適用可能である。このような他の場面としては、例えば集団でダンス等を行う場合、メンバー同士の距離を調整する際において適用することができる。

１０…撮像装置、２０…制御装置、２１…検出部、２２…算出部、２３…処理部、３０…投影装置、１００…指示システム

Claims

対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する検出部と、
複数の前記移動対象が検出された場合、複数の前記移動対象同士の距離を算出する算出部と、
前記距離が閾値未満の場合、前記距離が前記閾値以上となるように、移動方向の変更を指示する前記移動対象である指示対象と、前記指示対象の変更後の前記移動方向とを設定する処理部と
を備える制御装置。
前記検出部は、人物を前記移動対象として検出可能であり、前記人物を主対象として検出し、前記人物に対して所定距離以内に存在し前記人物に対して一体的又は追従して移動する人物又は物体を副対象として検出し、
前記処理部は、前記主対象が複数の前記移動対象の一として検出された場合、前記主対象に対する前記副対象の大きさ、前記主対象に対して前記副対象が属する態様、及び前記距離が閾値以上となるために要する移動方向の変更の大きさに基づいて、前記指示対象を選定する
請求項１に記載の制御装置。
前記算出部は、前記副対象が人物である場合、前記主対象及び前記副対象のうち短い方の距離を他の前記移動対象との距離として算出する
請求項２に記載の制御装置。
前記検出部は、人物とは独立して移動する物体である移動体を前記移動対象として検出し、
前記処理部は、複数の前記移動対象として前記人物と前記移動体とが検出された場合、前記移動体が優先的に前記指示対象とする
請求項１から請求項３のいずれか一項に記載の制御装置。
対象領域の映像に基づいて、相対的に移動する複数の移動対象を検出する処理と、
複数の前記移動対象が検出された場合、複数の前記移動対象同士の距離を算出する処理と、
前記距離が閾値未満の場合、前記距離が前記閾値以上となるように、移動方向の変更を指示する前記移動対象である指示対象と、前記指示対象の変更後の前記移動方向とを設定する処理と
をコンピュータに実行させる制御プログラム。