JP2019062308A - カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム - Google Patents

Abstract

【課題】カメラ付き移動体に対してマスク処理を行う場合に、特定の単一マスク処理を行う場合に比べて、マスク処理による影響を低減する。【解決手段】システムは、カメラ付き移動体１０と、遠隔操作用端末２０と、マスク制御装置３０を備える。マスク制御装置３０は、カメラ付き移動体１０と遠隔操作用端末２０間のデータを監視し、カメラ付き移動体１０で撮影して得られた撮影画像の少なくとも一部を遠隔操作用端末２０の操作者から隠蔽するマスク処理を実行し、かつ、マスク処理をカメラ付き移動体１０の用途に応じて切り替える。【選択図】図２

Description

本発明は、カメラ付き移動体、カメラ付き移動体制御システム、及びプログラムに関する。

特許文献１には、移動可能なロボットにおいて、予め設定した撮影禁止空間をロボットが撮影しようとした場合に、撮影領域をマスクする技術が記載されている。

特許文献２には、撮影部を有する自律移動ロボットにおいて、ロボット使用空間内の撮影禁止領域情報を備え、該当領域を撮影しようとした場合に、その表示を制限する技術が記載されている。

特許文献３には、監視カメラにおいて、撮影禁止される領域をマスクするとともに、該当のマスク箇所が自然に見えるように、事前撮影しておいた表示可能な同一風景をマスクとして用いる技術が記載されている。

特開２０１４−１９２７８４号公報 特開２０１６−２０３２７６号公報 特開２００５−２４４５５０号公報

近年、遠隔地から操作して会議に出席する、あるいは工場や現場を視察するためのカメラ付き移動体（テレプレゼンスロボット：ＴＰＲ）が提案されている。このＴＰＲにより、工場や現場を視察しながら問題を検討し、問題解決時間が短縮される。また、これ以外にも従業員の行動監視、試験場でのカンニング監視、病院の各部屋巡回など様々な場面で情報を収集し得る。

他方、遠隔操作で自由に動き回れるＴＰＲでは、その動作空間内のプライベート空間や機密空間も写してしまう可能性がある。たとえ操作者がこれらを視認し得る権限があったとしても、撮影画像を遠隔地へ送信する際に第三者に撮影画像が盗まれ得る。

このため、撮影禁止領域を予め設定しておき、該当領域をＴＰＲが撮影できないように移動を制限する、あるいは撮影した画像を加工して該当領域を見せないようにする、といったマスク処理が考えられる。

但し、ＴＰＲは、移動や他者とのコミュニケーション（会話）等、多様な用途を有しており、本来はこれらの用途を遠隔地から実行できることが利点である。マスク処理を施すことでプライバシーや機密を守ることができるが、同時に、画一的なマスク処理によりかえって用途が阻害されて利点が失われるおそれがある。例えば、
「自然に見えるように周囲の風景と同化したマスク処理を行うと、移動時にはかえって障害物を視認できなくなる」
「マスク処理される空間を表示させないようにＴＰＲの向きを変えると、コミュニケーション時にはかえって対話しづらくなる」
等の事態が生じ得る。

本発明の目的は、カメラ付き移動体に対してマスク処理を行う場合に、特定の単一マスク処理を行う場合に比べて、マスク処理による影響を低減し得る技術を提供することにある。

請求項１に記載の発明は、遠隔操作者に対して撮影画像を提供するカメラと、前記撮影画像内の少なくとも一部を前記遠隔操作者から隠蔽するマスク処理を実行し、かつ、前記マスク処理を用途に応じて切り替えるマスク処理部とを備えるカメラ付き移動体である。

請求項２に記載の発明は、前記マスク処理部は、前記遠隔操作者の操作に応じて切り替える請求項１に記載のカメラ付き移動体である。

請求項３に記載の発明は、前記マスク処理部は、さらに撮影禁止領域との位置関係に応じて切り替える請求項１に記載のカメラ付き移動体である。

請求項４に記載の発明は、前記用途には、停留中、会話中、移動中のいずれかが含まれる請求項１に記載のカメラ付き移動体である。

請求項５に記載の発明は、前記用途には、場所あるいは環境が含まれる請求項１に記載のカメラ付き移動体である。

請求項６に記載の発明は、前記マスク処理には、少なくとも画像処理、前記カメラの向きの変化のいずれかが含まれる請求項１に記載のカメラ付き移動体である。

請求項７に記載の発明は、前記マスク処理には、さらに前記移動体の移動経路の変化が含まれる請求項８に記載のカメラ付き移動体である。

請求項８に記載の発明は、前記用途には、前記停留中、前記会話中、及び前記移動中が含まれ、前記マスク処理部は、前記停留中及び前記会話中では背景同化のマスク処理を実行し、前記移動中ではべた塗りのマスク処理に切り替える請求項６に記載のカメラ付き移動体である。

請求項９に記載の発明は、前記用途には、前記停留中、前記会話中、及び前記移動中が含まれ、前記マスク処理部は、前記停留中及び前記会話中では背景同化のマスク処理を実行し、前記移動中であって撮影禁止領域から相対的に遠いときに背景同化のマスク処理を実行し、前記移動中であって撮影禁止領域から相対的に近いときにべた塗りのマスク処理に切り替える請求項６に記載のカメラ付き移動体である。

請求項１０に記載の発明は、前記マスク処理部は、前記カメラで撮影する前に前記撮影画像の撮影範囲を決定して前記マスク処理を切り替える請求項１に記載のカメラ付き移動体である。

請求項１１に記載の発明は、前記画像処理には、停留中は撮影画像内の予め定められた対象物が存在していることを隠すマスク処理が含まれる請求項６に記載のカメラ付き移動体である。

請求項１２に記載の発明は、前記画像処理には、前記対象物との距離が予め定められた距離よりも近い場合であって、かつ、移動中は前記対象物が存在していることを示すマスク処理が含まれる請求項６に記載のカメラ付き移動体である。

請求項１３に記載の発明は、遠隔操作用端末と、マスク制御装置と、カメラ付き移動体とを備え、前記マスク制御装置は、前記カメラ付き移動体で撮影して得られた撮影画像の少なくとも一部を前記遠隔操作用端末の操作者から隠蔽するマスク処理を実行し、かつ、前記マスク処理を前記カメラ付き移動体の用途に応じて切り替えるマスク処理部とを備えるカメラ付き移動体制御システムである。

請求項１４に記載の発明は、前記カメラ付き移動体は複数存在し、前記マスク処理部は、さらに前記カメラ付き移動体毎の複数のマスク処理の優先度に応じて前記カメラ付き移動体毎に切り替える請求項１３に記載のカメラ付き移動体制御システムである。

請求項１５に記載の発明は、前記マスク処理には、画像処理と前記カメラの向きの変化が含まれ、前記画像処理の場合には、前記カメラ付き移動体で撮影して得られた前記撮影画像は前記マスク制御装置を介して前記遠隔装置用端末に送信され、前記カメラの向きの変化の場合には、前記カメラ付き移動体で撮影して得られた前記撮影画像は前記マスク制御装置を介さずに前記遠隔装置用端末に送信される請求項１３に記載のカメラ付き移動体制御システムである。

請求項１６に記載の発明は、前記マスク制御装置は、前記カメラ付き移動体の位置、及び前記カメラ付き移動体と前記遠隔操作用端末間のデータ送受信の有無に応じて前記用途を決定する請求項１３に記載のカメラ付き移動体制御システムである。

請求項１７に記載の発明は、カメラ付き移動体で撮影して得られた撮影画像の少なくとも一部をマスク処理するコンピュータに、前記カメラ付き移動体の用途を決定するステップと、前記撮影画像に予め設定した撮影禁止領域が含まれているか否かを判定するステップと、前記撮影画像に前記撮影禁止領域が含まれている場合に、複数のマスク処理の中から前記用途に応じたマスク処理を選択するステップと、選択した前記マスク処理を実行するステップとを実行させるプログラムである。

請求項１，１３，１７に記載の発明によれば、特定の単一マスク処理を行う場合に比べて、マスク処理による影響が低減される。

請求項２に記載の発明によれば、さらに、遠隔者の操作に応じて切り替え実行される。

請求項３に記載の発明によれば、さらに、位置関係に応じたマスク処理が実行される。

請求項４に記載の発明によれば、さらに、停留中、会話中、移動中のいずれかに応じたマスク処理が実行される。

請求項５に記載の発明によれば、さらに、場所あるいは環境に応じたマスク処理が実行される。

請求項６に記載の発明によれば、さらに、画像処理、カメラの向きのいずれかでマスク処理が実行される。

請求項７に記載の発明によれば、さらに、移動体の移動経路の変化によりマスク処理が実行される。

請求項８に記載の発明によれば、さらに、停留中、会話中、移動中に応じた画像処理でマスク処理が実行される。

請求項９に記載の発明によれば、さらに、停留中、会話中、移動中、及び位置関係に応じた画像処理でマスク処理が実行される。

請求項１０に記載の発明によれば、さらに、カメラでの撮影前にマスク処理が切り替えられる。

請求項１１に記載の発明によれば、さらに、対象物が隠蔽される。

請求項１２に記載の発明によれば、さらに、対象物の存在が示される。

請求項１４に記載の発明によれば、さらに、複数のカメラ付き移動体毎にマスク処理が切り替えられる。

請求項１５に記載の発明によれば、さらに、マスク処理に応じて撮影画像の送信経路が切り替えられる。

請求項１６に記載の発明によれば、さらに、カメラ付き移動体の用途がリアルタイムに決定される。

実施形態のカメラ付き移動体の外観図である。 実施形態の制御システムのシステム構成図である。 実施形態の状態解析部の機能ブロック図である。 実施形態のマスク処理部の機能ブロック図である。 実施形態のＴＰＲの用途説明図である。 実施形態のマスク手段の説明図である。 実施形態のマスク手段の優先度説明図である。 実施形態の位置関係と優先度の説明図である。 実施形態の撮影禁止領域と重複判定処理の説明図である。 実施形態のマスク処理の模式図（その１）である。 実施形態のマスク処理の模式図（その２）である。 実施形態のマスク処理の模式図（その３）である。 実施形態のマスク処理の模式図（その４）である。 実施形態のマスク処理の模式図（その５）である。 実施形態のマスク処理の詳細説明図である。 実施形態の処理フローチャートである。 変形例のシステム構成図である。

以下、図面に基づき本発明の実施形態について説明する。

＜実施形態１＞
１．カメラ付き移動体
図１は、実施形態におけるカメラ付き移動体１０の外観図を示す。カメラ付き移動体１０は、本体と車輪部１２を備え、本体は表示部１４及びカメラ１６を備える。

車輪部１２は、左右の車輪を回転駆動させることでカメラ付き移動体１０を移動させる。左右の車輪速を変化させることで直進走行／旋回走行が可能であり、回転方向を逆転することで前進／後進が可能である。

表示部１４は、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成され、カメラ付き移動体１０を操作する操作者の顔画像を表示する。表示部１４は、左右あるいは上下方向に可動であってもよい。

カメラ１６は、表示部１４の所定位置、例えば表示部１４の上部に設けられ、カメラ付き移動体１０の前方の所定範囲を撮影する。ここで、カメラ付き移動体１０の前方とは、表示部１４において操作者の顔画像が表示されている側を意味する。カメラ１６は、カメラ付き移動体１０とは独立に、左右あるいは上下方向に可動であってもよい。

操作者（遠隔操作者）は、カメラ付き移動体１０から離間した位置に存在し、遠隔操作用の端末を用いてカメラ付き移動体１０を遠隔操作する。遠隔操作用の端末には、カメラ１６で撮影された画像（通常は動画であるが、静止画であってもよい）が表示され、操作者はこの画像を視認することでカメラ付き移動体１０の移動状況を確認し得る。

図において、表示部１４の所定位置に、カメラ１６とは別にマイクを設けてもよく、さらに操作者からの音声を出力するスピーカを設けてもよい。これにより、カメラ付き移動体１０の周囲に存在する人をカメラ１６で視認しつつ、マイク及びスピーカを用いて音声によるコミュニケーション（会話）が図られる。従って、例えば操作者は自身のデスクに着席しつつカメラ付き移動体１０を所望の会議室まで遠隔操作で移動させることで、自身は会議室に存在していなくても会議室にいるかのように会議室の様子を把握し、かつ会議の参加者と議論し得る。また、操作者がカメラ付き移動体１０を工場内で移動させることで、自身は工場にいなくても工場内の様子を詳しく知り得る（工場視察）。

２．システム構成
図２は、カメラ付き移動体１０を制御するシステムの全体構成図を示す。制御システムは、カメラ付き移動体１０と、遠隔操作用端末２０と、マスク制御装置３０を備える。カメラ付き移動体１０、遠隔操作用端末２０及びマスク制御装置３０は、通信回線を介して互いにデータ送受信可能に接続される。通信回線は有線／無線を問わないが、遠隔操作用には無線回線が好適である。

２．１ カメラ付き移動体
カメラ付き移動体１０は、操作者のいわば分身として機能し得ることからテレプレゼンスロボット（Tele Presence Robot :ＴＰＲ）と表現し得る。ＴＰＲ１０は、車輪部１２、表示部１４、及びカメラ１６に加え、音声入出力部１０１、通信部１０２、映像管理部１０３、アクチュエータ制御部１０４、及びアクチュエータ１０５を備える。

音声入出力部１０１は、マイク及びスピーカを備える。マイクは、ＴＰＲ１０の周囲の音を収音し、スピーカは、遠隔操作用端末２０の操作者の音声を出力する。

通信部１０２は、通信回線を介して遠隔操作用端末２０及びマスク制御装置３０とデータを送受信する。通信部１０２は、特に、カメラ１６で撮影して得られた画像をマスク制御装置３０を介して遠隔操作用端末２０に送信し、マスク制御装置３０を介して遠隔操作用端末２０から各種指示を受信する。各種指示には、遠隔操作の操作指示や目的地までの移動指示が含まれる。

映像管理部１０３は、カメラ１６で撮影して得られた画像を適宜加工処理（圧縮処理や符号化処理等）し、通信部１０２を介してマスク制御装置３０に送信する。

アクチュエータ制御部１０４は、マスク制御装置３０から受信した制御指令に応じてＴＰＲ１０を移動させるための車輪速データ群を生成し、アクチュエータ１０５に出力して駆動制御する。アクチュエータ１０５は、ＴＰＲ１０の車輪部１２を回転駆動して前進／後進／右旋回／左旋回を実現する。

映像管理部１０３、及びアクチュエータ制御部１０４は、具体的にはＴＰＲ１０に内蔵された１又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ＲＯＭ等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。いくつかの機能をハードウェア回路、例えばＡＳＩＣやＦＰＧＡ（フィールドプログラマブルゲートアレイ）等で構成してもよい。

２．２ 遠隔操作用端末
遠隔操作用端末（以下、端末という）２０は、ＴＰＲ１０の遠隔操作者が操作するパーソナルコンピュータ（ＰＣ）やタブレット、スマートフォン等の端末である。端末２０は、汎用端末でもよく、ＴＰＲ１０を遠隔操作する専用端末であってもよい。端末２０は、画像表示部２０１、操作部２０２、音声入出力部２０３、カメラ２０４、及び通信部２０５を備える。

画像表示部２０１は、ＴＰＲ１０のカメラ１６で撮影して得られた画像をマスク制御装置３０を介して通信部２０５で受信して表示する。画像表示部２０１は、具体的には液晶ディスプレイや有機ＥＬディスプレイで構成され、操作者は画像表示部２０１の画像を視認することでＴＰＲ１０の前方を含む周囲の状況を確認し得る。画像表示部２０１に表示される画像は、マスク制御装置３０で必要に応じマスク処理された画像である。

操作部２０２は、ＴＰＲ１０を遠隔操作するためのユーザインタフェースであり、ＴＰＲ１０を前進／後進／右旋回／左旋回させるための操作部としての操作スイッチを備える。操作部２０２は、通信部２０５を介してこれらのスイッチ操作によりマスク制御装置３０を介してＴＰＲ１０に移動指令を送信する。操作者は、画像表示部２０１に表示された画像を視認しながら操作部２０２を操作してＴＰＲ１０を所望の目的地まで手動操作（マニュアル操作）する。

音声入出力部２０３は、マイク及びスピーカを備える。マイクは、端末２０の操作者の音声を収音し、スピーカは、ＴＰＲ１０からの音声を出力する。音声データも、マスク制御装置３０を介して端末２０とＴＰＲ１０間で送受信されるが、特にマスク処理する必要がなければ、マスク制御装置３０を介することなく端末２０とＴＰＲ１０間で直接的に送受信される。

カメラ２０４は、操作者を撮影して得られた顔画像を通信部２０５を介してＴＰＲ１０に送信する。ＴＰＲ１０の表示部１４には、カメラ２０４で撮影された顔画像が表示される。顔画像も、マスク制御装置３０を介して端末２０とＴＰＲ１０間で送受信されるが、特にマスク処理する必要がなければ、マスク制御装置３０を介することなく端末２０とＴＰＲ１０間で直接的に送受信される。

２．３ マスク制御装置
マスク制御装置３０は、制御部３０１、マスク処理部３０２、状態解析部３０３、及び通信部３０４を備える。

制御部３０１は、マスク制御装置３０全体を制御し、特に、状態解析部３０３での解析結果に応じてマスク処理の切替を制御する。

マスク処理部３０２は、制御部３０１からの切替指令に応じて複数のマスク処理を適宜切り替えてマスク処理する。マスク処理には、カメラ１６で撮影された画像のマスク処理に加え、ＴＰＲ１０の駆動についてのマスク処理も含まれる。

状態解析部３０３は、ＴＰＲ１０の状態、特にその用途を解析し、制御部３０１に供給する。状態解析部３０３については、さらに詳述する。

通信部３０４は、ＴＰＲ１０から送信された画像を受信し、必要なマスク処理が施された画像として端末２０に送信する。また、端末２０から送信された操作指令を受信し、必要なマスク処理が施された制御指令としてＴＰＲ１０に送信する。

制御部３０１、マスク処理部３０２、及び状態解析部３０３は、具体的には１又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ＲＯＭ等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。いくつかの機能をハードウェア回路、例えばＡＳＩＣやＦＰＧＡ（フィールドプログラマブルゲートアレイ）等で構成してもよい。

図２では、端末２０とＴＰＲ１０との間の画像、音声、操作指令は、全てマスク制御装置３０を介して送受信されるが、マスク制御装置３０でマスク処理する必要がない場合、具体的には撮影禁止領域が存在しないことが既知である場合には、端末２０とＴＰＲ１０との間で直接的に送受信される。

２．４ 状態解析部
図３は、マスク制御装置３０における状態解析部３０３の詳細機能ブロック図を示す。状態解析部３０３は、撮影領域決定部３０３ａ、用途決定部３０３ｂ、位置関係決定部３０３ｃ、領域重複判定部３０３ｄ、空間情報記憶部３０３ｅ、及び撮影禁止領域記憶部３０３ｆを備える。

撮影領域決定部３０３ａは、ＴＰＲ１０のカメラ１６で撮影している撮影領域を決定する。撮影領域は、カメラ１６の向き、カメラ１６の焦点距離、及びカメラ１６の画像センサ（ＣＣＤあるいはＣＭＯＳ）のサイズから決定される。

用途決定部３０３ｂは、ＴＰＲ１０の位置や画像・音声の通信状態を用いてＴＰＲ１０の現在の用途（あるいは状態）を決定する。ＴＰＲ１０の現在の用途は、例えばある位置に停留中、他の操作者とコミュニケーション（会話）中、移動中等である。用途決定部３０３ｂは、決定したＴＰＲ１０の用途を制御部３０１に出力する。実施形態における「用途」は、ＴＰＲ１０がどのような目的のために使用されているかを示すものである。

位置関係決定部３０３ｃは、ＴＰＲ１０と撮影禁止領域との位置関係を決定する。位置関係決定部３０３ｃは、決定した位置関係を制御部３０１に出力する。

領域重複判定部３０３ｄは、撮影領域決定部３０３ａで決定されたＴＰＲ１０のカメラ１６の撮影領域と、撮影禁止領域記憶部３０３ｆに記憶されている撮影禁止領域とが重複するか否か、つまりカメラ１６の撮影範囲に撮影禁止領域が含まれているか否かを判定する。そして、領域重複判定部３０３ｄは、判定結果を制御部３０１に出力する。

空間情報記憶部３０３ｅは、ＴＰＲ１０が存在する空間についての３次元情報を記憶する。

撮影禁止領域記憶部３０３ｆは、撮影禁止領域を記憶する。撮影禁止領域は、例えば空間内に設定された球の内部領域として規定される。

空間情報記憶部３０３ｅ及び撮影禁止領域記憶部３０３ｆは、ＨＤＤやＳＳＤ等の記憶媒体で構成され得る。

２．５ マスク処理部
図４は、マスク制御装置３０におけるマスク処理部３０２の詳細機能ブロック図を示す。マスク処理部３０２は、マスク部３０２ａ、マスク手段記憶部３０２ｂ、及びマスク優先度記憶部３０２ｃを備える。

マスク部３０２ａは、制御部３０１からの制御信号に応じてカメラ１６の撮影領域に撮影禁止領域が含まれている場合にマスク処理を実行するとともに、制御部３０１からの切替制御信号を用いてマスク処理に用いるマスク手段を切り替えて実行する。すなわち、マスク処理部３０２は、ＴＰＲ１０の現在の用途に応じたマスク手段で撮影禁止領域をマスク処理する。ＴＰＲ１０の用途が変化すると、これに応じてマスク手段も変化し得る。

マスク手段記憶部３０２ｂは、複数のマスク手段を記憶する。マスク手段には、大別して画像処理に関するマスク手段と、ＴＰＲ１０の駆動に関するマスク手段がある。マスク部３０２ａは、マスク手段記憶部３０２ｂに記憶された複数のマスク手段から、切替制御信号に応じてマスク手段を読み出してマスク処理を行う。

マスク優先度記憶部３０２ｃは、マスク手段記憶部３０２ｂに記憶された各種マスク手段の優先度を記憶する。

マスク手段記憶部３０２ｂ及びマスク優先度記憶部３０２ｃは、ＨＤＤやＳＳＤ等の記憶媒体で構成され得る。

２．６ ＴＰＲ１０の用途
実施形態におけるＴＰＲ１０の用途についてさらに説明する。

図５は、状態解析部３０３の用途決定部３０３ｂで決定されるＴＰＲ１０の用途例を示す。ＴＰＲ１０の用途は、例えば、停留中、コミュニケーション（会話）中、移動中のいずれかに分類される。

停留中は、ＴＰＲ１０が起動して同一の場所に留まっている状態であり、周囲を確認するためにその場で回転している状態も含む。停留中は、端末２０に表示される画像（操作画面表示）としては、出来るだけ自然な状態がよく、またその視野も広い方がよい。ＴＰＲ１０が起動していない状態では、カメラ１６が起動しておらずマスク処理すべき対象は存在しない。停留中は、厳密な意味で停止状態にあることを意味するものではなく、ある位置近傍で微小変動している場合も含む。

コミュニケーション（会話）中は、ＴＰＲ１０の対面等に人あるいは他のＴＰＲ１０が存在し、お互いに会話を行っている状態であり、ＴＰＲ１０と端末２０との間で音声の送受信が存在する。コミュニケーション中は、端末２０に表示される画像は出来るだけ自然な状態がよく、かつ対話相手から見たＴＰＲ１０の自然さも要求される。例えば、会話中にもかかわらずＴＰＲ１０が対話相手と異なる方向を向いている場合には、対話相手は不自然と感じ得る。

移動中は、ＴＰＲ１０が移動している状態であり、端末２０から移動指示を受けている状態である。移動中は、移動経路に存在する障害物の視認性が要求されるが、障害物がＴＰＲ１０から見て遠方にあるときには必ずしも視認性は要求されない。また、ＴＰＲ１０の操作者が進みたい方向にカメラ１６が向いていることが要求される。さらに、端末２０に表示される画像の視野も広い方がよい。

２．７ マスク手段
図６は、マスク処理部３０２のマスク手段記憶部３０２ｂに記憶される複数のマスク手段例を示す。マスク手段は、既述したように、画像処理に関するマスク手段１〜３と、ＴＰＲ１０の駆動に関するマスク手段ａ〜ｃに大別される。画像処理に関するマスク手段には、
・背景同化
・ぼやかし
・べた塗り
があり、ＴＰＲ１０の駆動に関するマスク手段には、
・カメラ１６の向きを変える視線はずし
・カメラの画角を変える視線はずし
・ＴＰＲ１０自体の向きを変える視線はずし
がある。

背景同化は、カメラ１６で撮影した画像に対し、撮影禁止領域を画像処理によってマスクするものであり、具体的には、事前に撮影禁止領域と同一風景で、たとえ見られても問題ない風景を撮影しておいたものを利用し、見た目上で違和感ないように元の画像に合成するものである。

ぼやかしは、撮影禁止領域をぼやかしたものを表示する。このぼやかしは、対象を細かく見ることはできないが、そこに何かがあることを視認できる程度とする。ぼやかしには、モザイク処理とぼかし処理が含まれる。モザイク処理は、画像の正方形の範囲の色を同じ色で塗りつぶすもので、同じ色で塗りつぶす正方形の大きさによってモザイク画像の鮮明度が変化する。ぼかし処理は、画像の中のそれぞれの点をぼかすもので、その点の周りの色で点の色を平均化する。平均化する際に使う周りの点の数を増やせば増やすほど、ぼかしが強くなる。ガウス関数をもちいて画像をぼかしてもよい。

べた塗りは、撮影禁止領域を特定色、例えば白や黒で塗りつぶす。

視線はずし（カメラ向きのみ）は、撮影禁止領域をカメラ１６が写さないように制御してマスクするものである。カメラ１６がＴＰＲ１０本体とは独立してその向きを変更できる場合であり、カメラ１６のみが撮影禁止領域の方を向かないように制御する。

視線はずし（カメラ画角のみ）は、カメラ１６が画角を調整できる場合であり、撮影禁止領域が入る場合にカメラ１６の画角を狭めて写らないようにする。画角は、カメラ１６の焦点距離と画像センサの受光サイズの少なくともいずれかを変更することで調整される。

視線はずし（本体ごと）は、カメラ１６とＴＰＲ１０本体とが一体でカメラのみを駆動できず、カメラ１６の画角調整もできない場合であり、ＴＰＲ１０が撮影禁止領域の方を向かないように制御する。

２．８ 優先度
図７は、マスク処理部３０２のマスク優先度記憶部３０２ｃに記憶されるマスク手段の優先度例を示す。

優先度は、図５に示した用途、すなわち停留中、コミュニケーション中、移動中に応じて変化し得る。
停留中では、優先度の相対的数値として、
背景同化＝６
ぼやかし＝４
べたぬり＝２
視線はずし（カメラ向きのみ）＝５
視線はずし（カメラ画角のみ）＝３
視線はずし（本体ごと）＝５
とされる。停留中では、端末２０に表示される画像（操作画面表示）としては、出来るだけ自然な状態がよく、またその視野も広い方がよいところ、背景同化はこれに好ましい特性を有するため相対的数値が高くなる。
他方、べた塗りは表示が不自然になるとともに視野も狭くなるため相対的数値は低くなる。

また、視線はずし（カメラ向きのみ）もこれに好ましい特性を有するため相対的数値が高くなるが、視線はずし（画角のみ）は視野が狭くなるため相対的数値は低くなる。
結果として、停留中は、優先度の高い順に、
背景同化＞視線はずし（カメラ向きのみ）、自然はずし（本体ごと）＞ぼやかし＞視線はずし（カメラ画角のみ）＞べた塗り
となる。

コミュニケーション中では、優先度の相対的数値として、
背景同化＝９
ぼやかし＝７
べたぬり＝５
視線はずし（カメラ向きのみ）＝７
視線はずし（カメラ画角のみ）＝６
視線はずし（本体ごと）＝×
とされる。ここで、相対的数値＝×は、そもそも採用し得ないことを示す。コミュニケーション中は、端末２０に表示される画像は出来るだけ自然な状態がよく、対話相手から見たＴＰＲ１０の自然さも要求されるところ、背景同化はこれに好ましい特性を有するため相対的数値が高くなる。

他方、べた塗りは表示が不自然になるため相対的数値は低くなる。
また、視線はずし（カメラ向きのみ）もこれに好ましい特性を有するため相対的数値が高くなるが、視線はずし（本体ごと）は対話相手から見たＴＰＲ１０が極端に不自然となるため採用し得ない。

結果として、コミュニケーション中は、優先度の高い順に、
背景同化＞ぼやかし、視線はずし（カメラ向きのみ）＞視線はずし（カメラ画角のみ）＞べた塗り
とされる。

移動中では、優先度の相対数値として、
背景同化＝×
ぼやかし＝６
べたぬり＝７
視線はずし（カメラ向きのみ）＝×
視線はずし（カメラ画角のみ）＝×
視線はずし（本体ごと）＝×
とされる。移動中は、移動経路に存在する障害物の視認性が要求され、進みたい方向にカメラ１６が向いていることが要求される。さらに、端末２０に表示される画像の視野も広い方がよい。背景同化は障害物の視認性がないため採用し得ない。視線はずしも同様に障害物の視認性がないため採用し得ない。

他方、べた塗りは視野が狭くなるものの障害物の視認性があり、相対的数値が高くなる。結果として、移動中は、優先度の高い順に、
べた塗り＞ぼやかし
とされる。

制御部３０１は、領域重複判定部３０３ｄからの判定結果、用途決定部３０３ｂで決定された用途、及びマスク優先度記憶部３０２ｃに記憶された優先度に応じて、切替制御信号をマスク部３０２ａに出力する。マスク部３０２ａは、制御部３０１からの切替制御信号に応じ、マスク手段記憶部３０２ｂに記憶されたマスク手段からいずれかのマスク手段を選択してマスク処理を実行する。

但し、優先度は、ＴＰＲ１０と撮影禁止領域との位置関係に応じて変化し得る。

２．９ 位置関係に応じた優先度
図８は、状態解析部３０３の位置関係決定部３０３ｃで決定される位置関係に応じた優先度例を示す。

位置関係は、ＴＰＲ１０と撮影禁止領域との位置関係を意味し、図において「近い」、「遠い」の２つに大別される。例えば、ＴＰＲ１０と撮影禁止領域との距離を閾値と比較し、閾値以下であれば「近い」、閾値を超えれば「遠い」と決定される。

停留中及びコミュニケーション中については、優先度は位置関係によらずに決定される。

移動中については、優先度は位置関係に応じて変化する。すなわち、「近い」場合には、優先度の高い順に
べた塗り＞ぼやかし
とされるが、「遠い」場合には、
背景同化＞べた塗り＞ぼやかし
とされる。遠い場合には背景同化により撮影禁止領域が視認できなくても問題ないが、近い場合にはべた塗りにより何かあることを操作者に積極的に視認させることで回避行動等が促進される。図７に示すように、背景同化は障害物の視認性がないため相対的数値は×とされているが、位置関係が遠い場合には障害物の視認性がなくても問題とならないため相対的数値が高くなる。

制御部３０１は、用途決定部３０３ｂで決定された用途、及びマスク優先度記憶部３０２ｃに記憶された優先度に応じて、切替制御信号をマスク部３０２ａに出力するが、さらに、位置関係決定部３０３ｃで決定された位置関係も用いて切替制御信号を出力する。

２．１０ 撮影禁止領域
図９は、状態解析部３０３の撮影禁止領域記憶部３０３ｆに記憶される撮影禁止領域、及び領域重複判定部３０３ｄで判定される判定方法の一例を示す。

撮影禁止領域の設定方法には、大別して３通りある。第１は、空間情報に撮影禁止領域を設定するものである。第２は、実空間に撮影禁止領域を設定するものである。第３は、撮影禁止物体を設定するものである。

空間情報に撮影禁止領域を設定する場合、任意の３次元座標を設定し、該座標を中心とする任意距離の球内を撮影禁止領域とする。該座標を中心とする任意距離の円柱内（高さは無限）を撮影禁止領域としてもよい。あるいは、任意立体を設定し、その立体内を撮影禁止領域とする。

実空間に撮影禁止領域を設定する場合、任意のマーカを実空間に設定し、該マーカを中心とする任意距離の球内を撮影禁止領域とする。

撮影禁止物体を設定する場合、任意の物体像を設定し、該物体画像と一致する画像領域を撮影禁止領域とする。

また、重複領域判定方法は、撮影禁止領域の設定方法に応じて変化する。

球内（円柱内）に撮影禁止領域を設定する場合、ＴＰＲ１０の位置／カメラ１６の向きとカメラ１６の画角から撮影領域が決定され、設定座標を中心とする球内の撮影禁止領域との重複を判定する。重複判定は、カメラ１６での撮影直前に実行される。

立体内に撮影禁止領域を設定する場合、ＴＰＲ１０の位置／カメラ１６の向きとカメラ１６の画角から撮影領域が決定され、ＴＰＲ１０の位置と空間情報記憶部３０３ｅに記憶された空間情報と設定立体から撮影禁止領域が決定され、両者の重複を判定する。重複判定は、カメラ１６での撮影直前に実行される。

マーカを中心とする球内に撮影禁止領域を設定する場合、ＴＰＲ１０の位置／カメラ１６の向きとカメラ１６の画角から撮影領域が決定され、マーカ座標を中心とする撮影禁止領域との重複を判定する。マーカ自身が位置情報を有している場合である。重複判定は、カメラ１６での撮影直前に実行される。他方、マーカ自身が位置情報を有していない場合には、撮影領域からマーカ有無を画像解析して重複の有無を判定する。画像解析によりマーカの有無を判定するため、重複判定もカメラ１６での撮影直後に実行される。マーカ位置にとっては、撮影禁止物体を全て覆わず、撮影禁止物体の一部が写りこむ場合もあり得る。

物体画像と一致する画像領域を撮影禁止領域とする場合、撮影領域から撮影禁止物体の有無を画像解析で判定することで重複を判定する。画像解析により判定するため、重複判定もカメラ１６での撮影直後に実行される。画像解析の時間分だけタイムラグが生じ、撮影禁止物体の一部が写りこむ場合もあり得る。

撮影禁止領域記憶部３０３ｆは、これらの少なくともいずれかを撮影禁止領域として記憶し、領域重複判定部３０３ｄは、撮影禁止領域記憶部３０３ｆに記憶された撮影禁止領域に応じた判定方法で重複の有無を判定し、判定結果をマスク部３０２ａに出力する。

３．マスク処理の具体例
図１０及び図１１は、ＴＰＲ１０の用途及び優先度に応じたマスク処理の切替を模式的に示す。

図１０は、ＴＰＲ１０の用途がコミュニケーション（会話）中である場合のマスク処理である。この場合、優先度の高い順に、
背景同化＞ぼやかし、視線はずし（カメラ向きのみ）＞視線はずし（カメラ画角のみ）＞べた塗り
である。

制御部３０１は、この優先度に従ってマスク部３０２ａに対して背景同化のマスク処理に切り替えるように切替制御信号を出力する。マスク部３０２ａは、切替制御信号に応じ、マスク手段として背景同化を選択し、カメラ１６で撮影して得られた画像に対して背景同化のマスク処理を実行して端末２０に送信する。

端末２０の画像表示部２０１には、背景同化のマスク処理が施された画像が表示される。従って、撮影禁止領域に撮影禁止物体４０が存在していても、背景同化のマスク処理が施されているために、端末２０の操作者には撮影禁止物体４０が見えない。また、背景同化のマスク処理であるため、操作者は不自然に感じることがない。このため、他人との会話にも集中し得る。

仮に、撮影禁止物体４０に対してべた塗りのマスク処理が一律に施されている場合を想定すると、端末２０の操作者から撮影禁止物体４０を隠すことは可能でも、操作者はべた塗りの部分が気になって他人との会話に集中し難いであろう。コミュニケーション中であることを考慮して背景同化のマスク処理に切り替えることで、マスク処理による影響が軽減される。

図１１は、ＴＰＲ１０の用途が移動中である場合のマスク処理である。この場合、優先度の高い順に、
べた塗り＞ぼやかし
である。

制御部３０１は、この優先度に従ってマスク部３０２ａに対してべた塗りのマスク処理に切り替えるように切替制御信号を出力する。マスク部３０２ａは、切替制御信号に応じ、マスク手段としてべた塗りを選択し、カメラ１６で撮影して得られた画像に対してべた塗りのマスク処理を実行して端末２０に送信する。

端末２０の画像表示部２０１には、べた塗りのマスク処理が施された画像が表示される。従って、撮影禁止領域に撮影禁止物体４０が存在していても、べた塗りのマスク処理が施されているために、端末２０の操作者には撮影禁止物体４０が見えない。また、べた塗りのマスク処理としてあえて見せるため、操作者はそこに何かあることを視認できる。このため、「何かある。迂回しよう」と迂回操作を行い得る。

仮に、撮影禁止物体４０に対して背景同化のマスク処理が一律に施されている場合を想定すると、端末２０の操作者から撮影禁止物体４０を隠すことは可能でも、操作者は撮影禁止物体４０の存在自体を認識できないため、そのままＴＰＲ１０を移動させようとして撮影禁止物体４０と衝突してしまう事態も想定される。移動中であることを考慮してべた塗りのマスク処理に切り替えることで、マスク処理による影響が軽減される。

図１２及び図１３は、ＴＰＲ１０の用途が移動中である場合のマスク処理であり、ＴＰＲ１０と撮影禁止領域（あるいは撮影禁止物体）との位置関係を考慮したマスク処理である。この場合、「近い」場合には、優先度の高い順に
べた塗り＞ぼやかし
となり、「遠い」場合には、
背景同化＞べた塗り＞ぼやかし
となる。

図１２に示すように、位置関係が遠い場合、制御部３０１は、優先度に従ってマスク部３０２ａに対して背景同化のマスク処理に切り替えるように切替制御信号を出力する。マスク部３０２ａは、切替制御信号に応じ、マスク手段として背景同化を選択し、カメラ１６で撮影して得られた画像に対して背景同化のマスク処理を実行して端末２０に送信する。

端末２０の画像表示部２０１には、背景同化のマスク処理が施された画像が表示される。従って、撮影禁止領域に撮影禁止物体４０が存在していても、背景同化のマスク処理が施されているために、端末２０の操作者には撮影禁止物体４０が見えない。操作者は、このまままっすぐ進めると判断してＴＰＲ１０に操作指示する。

他方、図１３に示すように、位置関係が近い場合、制御部３０１は、優先度に従ってマスク部３０２ａに対してべた塗りのマスク処理に切り替えるように切替制御信号を出力する。マスク部３０２ａは、切替制御信号に応じ、マスク手段としてべた塗りを選択し、カメラ１６で撮影して得られた画像に対してべた塗りのマスク処理を実行して端末２０に送信する。

端末２０の画像表示部２０１には、べた塗りのマスク処理が施された画像が表示される。従って、撮影禁止領域に撮影禁止物体４０が存在していても、べた塗りのマスク処理が施されているために、端末２０の操作者には撮影禁止物体４０が見えない。また、べた塗りのマスク処理としてあえて見せるため、操作者はそこに何かあることを視認できる。このため、「何かある。迂回しよう」と迂回操作を行い得る。図１３では、ＴＰＲ１０が撮影禁止物体４０に接近した場合のみ、撮影禁止物体４０そのものは隠蔽しつつもＴＰＲ１０の移動経路に何かあることを意図的に操作者に見せることで操作者に注意を促すものといえる。

実施形態におけるマスク処理にはＴＰＲ１０の駆動に関する処理が含まれ、ＴＰＲ１０の駆動に関する処理は、具体的には図７に示すように視線はずし（カメラ向きのみ）、視線はずし（カメラ画角のみ）、視線はずし（本体ごと）であってカメラ１６の撮影範囲を撮影禁止領域から逸らすものであるが、これ以外にも、ＴＰＲ１０の移動経路を制御することによりマスク処理を実行してもよい。

例えば、撮影禁止領域が存在する移動経路から撮影禁止領域が存在しない移動経路に自動的に変更する等である。あるいは、画像処理に関するマスク処理に応じてＴＰＲ１０の移動経路を制御してもよい。例えば、図１２、図１３では、位置関係が「遠い」場合には背景同化のマスク処理を実行し、位置関係が「近い」場合にはべた塗りのマスク処理に切り替えているが、位置関係が近い場合にも背景同化のマスク処理を維持するとともに、ＴＰＲ１０の移動経路を自動的に変更して撮影禁止物体４０を迂回させる。

図１４は、位置関係が「近い」場合でも背景同化のマスク処理を維持するとともに、ＴＰＲ１０を自動的に迂回させるように制御する例を示す。

制御部３０１は、優先度に従ってマスク部３０２ａに対して背景同化のマスク処理に切り替えるように切替制御信号を出力する。マスク部３０２ａは、切替制御信号に応じ、マスク手段として背景同化を選択し、カメラ１６で撮影して得られた画像に対して背景同化のマスク処理を実行して端末２０に送信する。

端末２０の画像表示部２０１には、背景同化のマスク処理が施された画像が表示される。従って、撮影禁止領域に撮影禁止物体４０が存在していても、背景同化のマスク処理が施されているために、端末２０の操作者には撮影禁止物体４０が見えない。操作者は、このまままっすぐ進めると判断してＴＰＲ１０に操作指示する。

マスク処理部３０２のマスク部３０２ａは、端末２０からの操作指示を受信し、撮影禁止物体４０を迂回するような経路を算出し、当該迂回経路に沿って移動するように受信した操作指令を自動変更してＴＰＲ１０に送信する。これにより、ＴＰＲ１０は、端末２０からはまっすぐ進むような操作指示が出力されていても、撮影禁止物体４０を迂回するような曲線経路で移動する。

図１５は、ＴＰＲ１０を迂回させるマスク処理の詳細を示す。マスク部３０２ａは、撮影禁止物体の中心からさらに一定距離の円を進入禁止領域４２として設定する。

次に、マスク部３０２ａは、ＴＰＲ１０が設定された進入禁止領域４２に入ろうとした地点Ｐ１を検出する。

次に、進入地点Ｐ１、撮影禁止物体４０の中心、及びＴＰＲ１０の進入向きから、進入禁止領域４２の円弧に沿った迂回経路を算出する。

次に、マスク部３０２ａは、算出した迂回経路に沿ってＴＰＲ１０を移動させるように、ＴＰＲ１０に対して操作指示を出力する。これにより、ＴＰＲ１０は、迂回経路に沿って移動する（Ｐ２，Ｐ３）。カメラ１６が独立稼働する場合、本体の向きに反して地点Ｐ１での進入向きを維持するようにカメラ１６の方向を制御してもよく、操作者は端末２０の画像を視認する限りＴＰＲ１０は操作指示通りにまっすぐ進んでいると認識し得る。

ＴＰＲ１０が算出した迂回ルートを進み終わって地点Ｐ４に達すると、マスク部３０２ａは、ＴＰＲ１０の向きを地点Ｐ１での進入向きに戻し、その後は端末２０からの操作指示をそのままＴＰＲ１０に送信する。

地点Ｐ１〜Ｐ４までは、端末２０からの操作指示に代えてマスク部３０２ａからＴＰＲ１０に操作指示を送信し、地点Ｐ４以後は端末２０からの操作指示をそのままＴＰＲ１０に送信するため、撮影禁止物体４０の近傍に設定された進入禁止領域４２ではマスク制御装置３０が端末２０に代えてＴＰＲ１０を自動的に代替操作してマスク処理を実行するといえる。

マスク制御装置３０が端末２０に代えてＴＰＲ１０を自動的に代替操作している間も、カメラ１６の向きを制御してあたかも直進しているような画像を端末２０に提供するため操作者は違和感を覚えることはないが、マスク部３０２ａは例えば「障害物を迂回しています」等のメッセージを画像に重畳表示してもよい。

４．処理フローチャート
図１６は、実施形態の処理フローチャートを示す。マスク制御装置３０の処理である。

まず、マスク制御装置３０は、ＴＰＲ１０及び端末２０の画像、音声、操作情報を収集する（Ｓ１０１）。すなわち、ＴＰＲ１０のカメラ１６で撮影された画像、マイクで収音された音声、ＴＰＲ１０の位置情報を取得するとともに、端末２０の操作部２０２からの操作指示、マイクで収音された音声を取得する。ＴＰＲ１０の位置情報は、ＴＰＲ１０に設けられたＧＰＳ等の位置センサから通信部１０２，３０４を介して取得する。ＧＰＳに代えてカメラ１６で撮影して得られた画像から位置を検出してもよく、あるいはオドメトリ情報を用いて位置を検出してもよい。車輪速（あるいは車輪の回転角）から現在位置を推定するオドメトリによれば、比較的簡易かつ低コストで自己位置推定が可能である。オドメトリでは、左右の車輪の車輪速をそれぞれｖｒ、ｖｌとし、左右の車輪間隔を２Ｌ、ロボットの速度及び角速度をｖ及びωとすると、
ｖ＝（ｖｒ＋ｖｌ）／２
ω＝（ｖｒ−ｖｌ）／２Ｌ
であり、これを用いて
ｄｘ／ｄｔ＝ｖｃｏｓθ
ｄｙ／ｄｔ＝ｖｓｉｎθ
ｄθ／ｄｔ＝ω
を計算することで、ロボットの位置（ｘ、ｙ）及び角度θが算出される。出発地から順次、位置を算出して積算することで、出発地に対するロボットの相対的な位置が算出され、自己位置が推定される。オドメトリ情報として、車輪の回転角及び回転角速度を用いてもよい。オドメトリを用いた移動ロボットの自己位置推定については、例えば特開２０１５−１１１３３６号公報に記載されている。

次に、マスク制御装置３０は、ＴＰＲ１０の撮影領域、及び用途を決定する（Ｓ１０２）。撮影領域は、ＴＰＲ１０のカメラ１６の向き及び画角から決定され、より特定的にはカメラ１６の向きと焦点距離と画像センサのサイズから決定される。カメラ１６の向きは、地磁気センサ等が用いられる。カメラ１６の焦点距離や画像センサのサイズは、予めマスク制御装置３０のメモリにカメラ１６のパラメータとして記憶しておく。カメラ１６の向きは、通信部１０２，３０４を介して取得する。ＴＰＲ１０の用途は、ＴＰＲ１０の位置情報、ＴＰＲ１０と端末２０との間の音声送受信の有無に基づきリアルタイムで決定され、ＴＰＲ１０の位置情報が一定時間同一位置を示している場合には停留中、ＴＰＲ１０と端末２０との間に音声送受信があればコミュニケーション中、音声送受信がなければ停留中、ＴＰＲ１０の位置情報が変化していれば移動中と決定される。ＴＰＲ１０の用途は、時間とともに変化し得るため、リアルタイムで用途が決定される。端末２０からの操作指示に応じて用途を決定してもよい。例えば、端末２０からの操作指示が「停止」を意味する場合に停留中、端末２０からの音声出力がある場合にコミュニケーション中、端末２０からの操作指示が「前進」、「後退」、「旋回」を意味する場合に移動中と決定してもよい。

次に、マスク制御装置３０は、ＴＰＲ１０のカメラ１６の撮影領域と、撮影禁止領域が重複するか否かを判定する（Ｓ１０３）。撮影禁止領域は、図９に示す撮影禁止領域の設定手段の少なくともいずれかの手段で設定され、例えば任意の物体画像を撮影禁止物体として設定する。この場合、Ｓ１０２で決定されたカメラ１６の撮影領域と撮影禁止領域との重複は、カメラ１６で撮影して得られた画像内に撮影禁止物体の物体画像が含まれているか否かにより判定される。この判定は、必然的にカメラ１６による撮影直後に実行される。従って、この判定の間、カメラ１６の撮影画像はマスク制御装置３０に留め置かれ、端末２０には送信されない。

撮影領域と撮影禁止領域とが重複しない場合（Ｓ１０４でＮＯ）、マスク処理は実行されない。従って、カメラ１６の画像はそのまま端末２０に送信され、カメラ１６の向きや画角、ＴＰＲ１０の向きもそのまま維持される。

撮影領域と撮影禁止領域とが重複する場合（Ｓ１０４でＹＥＳ）、マスク制御装置３０は、ＴＰＲ１０の位置情報を用いてＴＰＲ１０と撮影禁止領域との位置関係を算出し（Ｓ１０５）、実施し得る手段の中から優先度及びＴＰＲ１０の用途に応じてマスク手段を決定する（Ｓ１０６、Ｓ１０７）。そして、決定したマスク手段を実行する（Ｓ１０８）。

例えば、用途が停留中であれば背景同化をマスク手段として決定し、用途がコミュニケーション中であれば背景同化をマスク手段として決定し、用途が移動中であって位置関係が「遠い」であれば背景同化をマスク手段として決定する。

また、用途が移動中であって位置関係が「近い」であればべた塗りをマスク手段として決定する。さらに、見られても問題ない同一背景を事前に準備していない等の事情により背景同化のマスク手段が実施し得ない場合、用途が停留中であれば視線はずし（カメラの向きのみ）をマスク手段として決定し、用途がコミュニケーション中であればぼやかしをマスク手段として決定し、用途が移動中であればべた塗りをマスク手段として決定する。マスク処理された画像は、マスク制御装置３０から端末２０に送信される。マスク処理に一定時間を要する場合、カメラ１６で撮影された時点と端末２０に表示される時点にはタイムラグが生じ得る。

このように、本実施形態では、単一のマスク処理を画一的に施すのではなく、ＴＰＲ１０の用途に応じ、あるいはＴＰＲ１０の用途と優先度に応じ、あるいはＴＰＲ１０の用途と優先度と位置関係に応じてマスク処理を切り替える、すなわち少なくとも用途に応じてマスク処理を最適化するので、マスク処理に伴う影響が低減される。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、種々の変形が可能である。以下、変形例について説明する。

＜変形例１＞
実施形態では、図２に示すように、マスク制御装置３０は端末２０及びＴＰＲ１０とは別個にネットワーク上に配置されているが、マスク制御装置３０をＴＰＲ１０内に組み込んでもよい。

図１７は、この場合のシステム構成を示す。ＴＰＲ１０と端末２０が通信回線で接続される。ＴＰＲ１０は、カメラ付き移動体とともにマスク制御装置として機能する。ＴＰＲ１０は、図２に示される機能ブロックに加え、制御部３０１、マスク処理部３０２及び状態解析部３０３を備える。

ＴＰＲ１０は、１又は複数のプロセッサ、プログラムメモリ、ワーキングメモリ、及びＨＤＤやＳＳＤ等の記憶媒体を備え、プロセッサはプログラムメモリに記憶された処理プログラムを読み出して実行することで、映像管理部１０３、アクチュエータ制御部１０４、制御部３０１、マスク処理部３０２及び状態解析部３０３として機能する。

マスク処理として視線はずしやＴＰＲ１０の迂回制御を実行する場合、マスク処理部３０２はアクチュエータ制御部１０４に対して制御指令を出力し、アクチュエータ制御部１０４はアクチュエータを駆動してカメラ１６の向きや画角、ＴＰＲ１０の向きを変更する。

＜変形例２＞
実施形態では、ＴＰＲ１０の用途、撮影禁止領域との位置関係、マスク手段の優先度に応じてマスク処理を切替制御しているが、単に用途のみに応じて切替制御してもよく、用途と位置関係のみに応じて切替制御してもよい。

例えば、用途毎にマスク処理を予め設定しておき、決定された用途に応じてマスク処理を決定する。
停留中：背景同化
コミュニケーション中：背景同化
移動中：べた塗り
等である。あるいは、
停留中：背景同化
コミュニケーション中：背景同化
移動中で「遠い」：背景同化
移動中で「近い」：べた塗り
等である。マスク手段記憶部３０２ｂは、これらの関係を規定するテーブルを記憶し、マスク部３０２ａは、制御部３０１からの切替制御信号に応じて用途、あるいは用途と位置関係に応じたマスク処理をテーブルから読み出して実行する。

＜変形例３＞
実施形態において、マスク処理の切替制御として、あるマスク処理の処理程度を切替制御してもよい。例えば、移動中はぼやかしのマスク処理を決定した場合において、撮影禁止領域から遠い場合にはぼやかしの程度を小さくし、撮影禁止領域に接近するに従ってぼやかしの程度を大きくする等である。ぼやかしとしてモザイク処理を施す場合、同じ色で塗りつぶす正方形の大きさを変化させてモザイク画像の鮮明度を変化させる。

＜変形例４＞
実施形態において、マスク処理としての画像処理とＴＰＲ１０の駆動処理とを切替制御してもよい。例えば、停留中及び移動中はＴＰＲ１０の駆動処理によりマスク処理を実行し、コミュニケーション中は画像処理によりマスク処理を実行する等である。画像処理の方がＴＰＲ１０の駆動処理よりも容易である場合、画像処理を優先させ、画像処理が困難な場合に代替的あるいは補充的にＴＰＲ１０の駆動処理によりマスク処理を実行してもよい。画像処理の場合にはカメラ１６で撮影された画像はマスク制御装置３０を介して端末２０に送信されるが、ＴＰＲ１０の駆動処理の場合にはカメラ１６で撮影された画像はマスク制御装置３０を介さず直接端末２０に送信され得る。

＜変形例５＞
実施形態において、背景同化によりマスク処理を実行する場合、撮影禁止領域の部分に事前に撮影した同一背景画像を合成して撮影禁止領域を秘匿、いわばカモフラージュしているが、例えば撮影禁止物体が複数分散して存在する場合等には、より広い範囲の背景全体を別の画像に置換することでカモフラージュしてもよい。すなわち、「背景同化」には、背景を別の背景画像に置換する技術も含まれる。

＜変形例６＞
実施形態において、用途及び優先度に応じてマスク処理を切替制御しているが、優先度は操作者の嗜好その他の事情に応じて可変としてもよい。例えば、ある操作者Ａはべた塗りを好まないためその優先度を低く設定し、ある操作者Ｂは画像処理を好まないため背景同化・ぼやかし・べた塗りの優先度を低く設定する等である。操作者は、端末２０を操作して予め自分の嗜好をマスク制御装置３０に提供し、マスク制御装置３０は操作者の嗜好に応じて優先度を調整する。

＜変形例７＞
実施形態において、移動中は撮影禁止領域との位置関係に応じてマスク処理を切替制御しているが、さらにオフィスや工場等においてＴＰＲ１０の移動を案内する案内人の有無に応じてマスク処理を切替制御してもよい。例えば、案内人が存在しない場合には撮影禁止物体の迂回処理を実行するが、案内人が存在する場合には基本的に案内人の後を移動するため迂回処理は実行しない等である。

＜変形例８＞
実施形態では、ＴＰＲ１０を用いた会議や工場視察等を例示したが、ＴＰＲ１０を用いた家の内覧、試験場でのカンニング監視、病院内での患者の見回り等にも適用し得る。家の内覧の場合、撮影禁止領域として、当該家に居住中の人が他人の目に触れたくない家具等を撮影禁止物体として設定し得る。

また、ＴＰＲ１０の用途として、停留中とコミュニケーション中のいずれかに決定してもよい。

また、ＴＰＲ１０の用途として、停留中とコミュニケーション中と移動中のいずれかとし、停留中と移動中とで同一のマスク処理を設定してもよい。

病院内での患者の見回りの場合、撮影禁止領域としては当該患者のプライベートな物品等を撮影禁止物体として設定し得る。また、患者に対してＴＰＲ１０がプライベートな物品を撮影していないことを積極的に認識させるべく、マスク処理としては画像処理ではなくＴＰＲ１０の駆動処理を優先的に採用する。この意味で、ＴＰＲ１０の用途には、ＴＰＲ１０が使用される場所あるいは環境も含まれ得る。

＜変形例９＞
実施形態では、図２に示すように１つのＴＰＲ１０及び１つの端末２０を例示しているが、複数のＴＰＲ１０及び複数の端末２０がネットワークに接続されていてもよい。この場合において、複数のＴＰＲ１０毎に優先度を可変としてもよい。例えば、２つのＴＰＲ１０のうち、一方はカメラ１６を独立可動できるものの他方はカメラ１６を独立可動できない場合、それぞれのＴＰＲ１０において可動／非可動の状況に応じて優先度を変化させてマスク処理を実行する。

＜変形例１０＞
実施形態において、ＴＰＲ１０の用途に応じてマスク処理を切り替えているが、撮影領域に複数の禁止領域が含まれている場合において、撮影禁止領域毎にマスク処理を切り替えてもよい。例えば、撮影禁止物体が２つ存在し、１つの撮影禁止物体については背景同化処理を施し、他の撮影禁止物体についてはぼやかし処理を施す等である。この場合、撮影禁止領域毎に、用途に応じて切り替えるマスク処理が変化し得る。例えば、ＴＰＲ１０の用途が変化した場合、１つの撮影禁止物体については背景同化処理からぼやかし処理に切り替え、他の撮影禁止物体についてはぼやかし処理から迂回処理に切り替える等である。この意味で、マスク処理は、ＴＰＲ１０の用途に加え、マスク処理すべき撮影禁止領域あるは撮影禁止物体の属性に応じて切り替えられるといえる。

１０ カメラ付き移動体（ＴＰＲ）、１２ 車輪部、１４ 表示部、１６ カメラ、２０ 遠隔操作用端末（端末）、３０ マスク制御装置。

Claims (17)

1. 遠隔操作者に対して撮影画像を提供するカメラと、
   前記撮影画像内の少なくとも一部を前記遠隔操作者から隠蔽するマスク処理を実行し、かつ、前記マスク処理を用途に応じて切り替えるマスク処理部と、
   を備えるカメラ付き移動体。
2. 前記マスク処理部は、前記遠隔操作者の操作に応じて切り替える
   請求項１に記載のカメラ付き移動体。
3. 前記マスク処理部は、さらに撮影禁止領域との位置関係に応じて切り替える
   請求項１に記載のカメラ付き移動体。
4. 前記用途には、停留中、会話中、移動中のいずれかが含まれる
   請求項１に記載のカメラ付き移動体。
5. 前記用途には、場所あるいは環境が含まれる
   請求項１に記載のカメラ付き移動体。
6. 前記マスク処理には、少なくとも画像処理、前記カメラの向きの変化のいずれかが含まれる
   請求項１に記載のカメラ付き移動体。
7. 前記マスク処理には、さらに前記移動体の移動経路の変化が含まれる
   請求項６に記載のカメラ付き移動体。
8. 前記用途には、前記停留中、前記会話中、及び前記移動中が含まれ、
   前記マスク処理部は、前記停留中及び前記会話中では背景同化のマスク処理を実行し、前記移動中ではべた塗りのマスク処理に切り替える
   請求項４に記載のカメラ付き移動体。
9. 前記用途には、前記停留中、前記会話中、及び前記移動中が含まれ、
   前記マスク処理部は、前記停留中及び前記会話中では背景同化のマスク処理を実行し、前記移動中であって撮影禁止領域から相対的に遠いときに背景同化のマスク処理を実行し、前記移動中であって撮影禁止領域から相対的に近いときにべた塗りのマスク処理に切り替える
   請求項４に記載のカメラ付き移動体。
10. 前記マスク処理部は、前記カメラで撮影する前に前記撮影画像の撮影範囲を決定して前記マスク処理を切り替える
    請求項１に記載のカメラ付き移動体。
11. 前記画像処理には、停留中は撮影画像内の予め定められた対象物が存在していることを隠すマスク処理が含まれる請求項６に記載のカメラ付き移動体。
12. 前記画像処理には、前記対象物との距離が予め定められた距離よりも近い場合であって、かつ、移動中は前記対象物が存在していることを示すマスク処理が含まれる請求項６に記載のカメラ付き移動体。
13. 遠隔操作用端末と、
    マスク制御装置と、
    カメラ付き移動体と、
    を備え、
    前記マスク制御装置は、
    前記カメラ付き移動体で撮影して得られた撮影画像の少なくとも一部を前記遠隔操作用端末の操作者から隠蔽するマスク処理を実行し、かつ、前記マスク処理を前記カメラ付き移動体の用途に応じて切り替えるマスク処理部と、
    を備えるカメラ付き移動体制御システム。
14. 前記カメラ付き移動体は複数存在し、
    前記マスク処理部は、さらに前記カメラ付き移動体毎の複数のマスク処理の優先度に応じて前記カメラ付き移動体毎に切り替える
    請求項１３に記載のカメラ付き移動体制御システム。
15. 前記マスク処理には、画像処理と前記カメラの向きの変化が含まれ、
    前記画像処理の場合には、前記カメラ付き移動体で撮影して得られた前記撮影画像は前記マスク制御装置を介して前記遠隔装置用端末に送信され、前記カメラの向きの変化の場合には、前記カメラ付き移動体で撮影して得られた前記撮影画像は前記マスク制御装置を介さずに前記遠隔装置用端末に送信される
    請求項１３に記載のカメラ付き移動体制御システム。
16. 前記マスク制御装置は、前記カメラ付き移動体の位置、及び前記カメラ付き移動体と前記遠隔操作用端末間のデータ送受信の有無に応じて前記用途を決定する
    請求項１３に記載のカメラ付き移動体制御システム。
17. カメラ付き移動体で撮影して得られた撮影画像の少なくとも一部をマスク処理するコンピュータに、
    前記カメラ付き移動体の用途を決定するステップと、
    前記撮影画像に予め設定した撮影禁止領域が含まれているか否かを判定するステップと、
    前記撮影画像に前記撮影禁止領域が含まれている場合に、複数のマスク処理の中から前記用途に応じたマスク処理を選択するステップと、
    選択した前記マスク処理を実行するステップと、
    を実行させるプログラム。