JP2020170467A - 情報処理システム、ロボット、遠隔操作装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】秘匿情報を簡単に指定する情報処理システム、ロボット、遠隔操作装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理システム１は、取得部１０と、指定部１２と、検知部１４と、加工部１６と、出力部１８と、記憶部２０と、を備え、センサ等による感知信号を送信し、遠隔操作信号を受信して動作を行うロボット２と、操作者からの指示に基づいて遠隔操作信号をロボット２へと送信する遠隔操作装置３と、を有する。【選択図】図１

Description

本開示は、情報処理システム、ロボット、遠隔操作装置、情報処理方法及びプログラムに関する。

カメラ等のセンサを介して得られる情報を処理することにより、利用者に付加価値を提供するシステムがある。このようなシステムにおいて、例えば、家庭内等において映像が撮影される場合、個人情報や私的な情報を多く含むことがあり、その情報そのものを機械で処理したくない、又は、機械が一定の条件下において処理するのはよいが人には見られたくない、といったケースが存在する。

このような場合、地図データベースを備え、ユーザの手により表示入力部に表示された地図において特定の部屋を示す範囲を指定することによって、撮像禁止領域を選択する技術が提案されている。しかしながら、このような要求に対し地図を準備する場合には、必ずしも地図で表すことが可能な状態で情報が存在するとは限らない。

特開２０１６−２０３２７６号公報

本開示の一実施形態は、情報を容易に秘匿可能な、情報処理システムを提供する。

情報処理システムは、取得部と、検知部と、出力部と、を備える。取得部は、入力データを取得する。検知部は、前記入力データにおいて、所定の指標に基づいて秘匿対象を検知する。出力部は、検知された前記秘匿対象が秘匿された出力データを出力する。

一実施形態に係る情報処理システムの機能を示すブロック図。 一実施形態に係る情報処理システムの処理を示すフローチャート。 指標の一例を示す図。 秘匿対象を含む情報の再構成の一例を示す図。 秘匿対象を含む情報の再構成の別例を示す図。 一実施形態に係る情報処理システムの処理を示すフローチャート。 秘匿対象を含む情報に対する動作制御の一例を示す図。 一実施形態に係る情報処理システムの機能を示すブロック図。 一実施形態に係る情報処理システムの処理を示すフローチャート。 一実施形態に係る情報処理システムのハードウェア実装例。

以下、図面を参照して実施形態について詳しく説明する。なお、図面は一例として模式的に示すものであり、実施形態は、これらの図面に限定されるものではない。

まず、本実施形態における概略について説明する。本実施形態に係る情報処理システムは、例えば、ユーザ周辺のカメラ等のセンサで感知した情報から、パスワード等の個人情報を削除して遠隔操作者に対して出力するものである。センサは、別の例としてはマイク（集音機）でもよく、この場合、感知された音の情報から、人の話し声等の個人情報を削除してもよい。これらに限られず、情報処理システムは、種々のセンサにより感知された、画像、音、温度、電波等の周辺環境の情報から個人情報に関する情報を削除して出力するシステムであってもよい。情報処理システムには、複数の種類のセンサが備えられていてもよい。また、同じ種類の情報を取得可能なセンサが複数個備えられていてもよい。

（第１実施形態）
図１は、本実施形態に係る情報処理システムの概略を示すブロック図である。本実施形態の情報処理システム１は、取得部１０と、指定部１２と、検知部１４と、加工部１６と、出力部１８と、記憶部２０と、を備える。また、ハードウェアの実装として、センサ等による感知信号を送信し、遠隔操作信号を受信して動作を行うロボット２と、操作者からの指示に基づいて遠隔操作信号をロボット２へと送信する遠隔操作装置３と、を備える。

本実施形態においては取得部１０と指定部１２は、ロボット２に備えられ、出力部１８は、遠隔操作装置３に備えられる。その他の機能は、ロボット２及び遠隔操作装置３の少なくとも一方に備えられていてもよいし、又は、ネットワークを介してロボット２及び遠隔操作装置３のいずれにも属しないように備えられていてもよい。

少なくとも取得部１０のセンサは、ユーザ側の環境に備えられる。その他の構成は、ユーザ側の環境（ロボット２、ロボット２がアクセス可能であるがユーザの管理下にあるストレージ（ＮＡＳ等）を含む）、若しくは、遠隔操作装置３に備えられていてもよいし、又は、ネットワークを介してロボット２及び遠隔操作装置３のいずれにも属しない外部サーバに備えられていてもよい。加工部１６は、秘匿情報を外部に送信する必要がなくなるため、好ましくはユーザ側の環境に備えられる。

また、取得部１０のセンサは、ユーザ側の環境の情報を取得することができれば、例えば、ロボット２の外部に設けられていてもよい。例えば取得部１０は、ロボット２が動作する領域（例えば、部屋の天井）に設置された外部カメラであってもよい。

取得部１０は、例えばセンサを備え、センサが感知した周辺環境の情報を取得する。センサは、例えば、カメラ、マイク、赤外線カメラ、電波受信器等のうち少なくとも１つを備える。感知する情報は、用いられるセンサの種類によって異なり、例えば、センサがカメラであれば２次元又は３次元の画像情報であり、センサがマイクであれば音情報である。カメラは、RGBカメラ、RGBDカメラ、赤外線カメラ、又は、紫外線カメラであってもよい。赤外線カメラの場合は、画像情報として温度情報を取得することもできる。マイクは、指向性の弱いマイクであってもよいし、指向性の強いマイクであってもよい。その他のセンサについても、周辺環境を適切に感知できるものを用いることができる。

指定部１２は、秘匿対象となる情報を示す特徴（characteristics）を示すものを指定する。以下、本明細書においては、この特徴のことを、ニューラルネットワーク等における特徴量と区別するために、指標と記載する。指定に必要となる指標は、記憶部２０に記憶されていてもよい。指標は、例えば、QRコード（登録商標）、ARマーカ、文字、音声等であってもよい。別の例としては、秘匿対象とする物体の形状、大きさ、物体中での相対的な位置（例えば、端部、中央部、等）、物体中においてあらかじめ取得しておいた指標（例えば、SIFT特徴量）、又は、機械学習の訓練により生成された学習済みモデルに備えられる特徴量（feature quantity）、例えば認識した物体のクラスや名称、音声認識に関する特徴量、又は、話者認識等の生体認証に関する特徴量であってもよい。

秘匿対象としては、例えば、個人情報、プライベートな情報、その他ユーザやシステムが秘匿するよう指定した情報が含まれる。

検知部１４は、取得部１０が取得した情報中に秘匿対象が存在するか否かを検知する。この検知は、指定部１２により指定された所定の指標に基づいて実行される。例えば、取得部１０が感知した情報中に指定部１２が指定した指標が存在するかを探索し、指標が存在した場合には、どのような範囲が取得した情報において秘匿対象となるかを検知する。秘匿対象を示す指標が、例えば特徴量として学習済みモデルに組み込まれている場合には、検知部１４が指定部１２の機能を兼ねていてもよい。

検知部１４が指定部１２の機能を備える、より具体的な例として、学習済みモデルとしてオートエンコーダが用いられる場合には、オートエンコーダの中間層において備えられる特徴量を、秘匿対象を示す指標としてもよい。他のニューラルネットワークモデルについても同様であり、指標は、ネットワーク内の最適化された層における特徴量として備えられていてもよい。この場合、指標は、秘匿対象を示す指標を検出できるようにネットワークを訓練、強化学習等してもよい。

例えば、検知部１４は、指定部１２において指定された指標と、当該指標に対応する秘匿対象とを紐付けるように訓練された学習済みモデルであってもよい。例えば、訓練データとして種々の画像と指標データとを入力し、入力画像中に指標が存在する場合には、検知したことを出力するように訓練される。また、検知した位置を出力するように訓練されてもよい。学習済みモデルとは、例えば、機械学習、特にディープラーニングにより生成され、又は、生成されたモデルをさらに強化学習により訓練したモデルであってもよい。モデルはニューラルネットワークであってもよい。このモデルは、取得部１０が搭載するセンサごとに備えられてもよい。すなわち、カメラで撮像した画像に対するモデルと、マイクで集音した音に対するモデルとをそれぞれ備えていてもよい。この場合、取得した情報の種類に基づいて、検知部１４において使用するモデルを変更する。別の例としては、画像情報、音情報の双方に対応できるモデルを用いてもよい。検知部１４は、様々な情報に基づいて、秘匿対象、及び、秘匿しない対象を分類するモデルを備える分類器であってもよい。

加工部１６は、取得部１０が取得した入力データを加工して出力する情報を生成する。加工部１６は、検知部１４が秘匿対象を検知した場合に、当該秘匿対象に含まれている情報を適切に秘匿する。例えば、ユーザ等に秘匿対象の情報を感知できない形に情報に加工して、取得部１０が取得した情報中に再構成した情報を生成する。本開示においては、加工とは、情報を削除する概念もその処理の一態様として含むものとする。

出力部１８は、加工部１６が生成した情報を出力データとして出力する。出力部１８は、例えば、画像であればディスプレイ、音であればスピーカのように、人間に感知できるようなインタフェースを介して出力してもよい。別の例としては、ユーザインタフェースを介さずデータとして出力することができる。例えば、機械学習、例えば、ディープラーニング、強化学習等に用いるデータとして記憶部２０又は情報処理システム１外にあるストレージ等に出力してもよい。

記憶部２０は、情報処理システム１において使用されるデータ、プログラム等を記憶する。記憶部２０は、情報処理システム１において図示するように１つだけ備えられている必要は無く、ロボット２、遠隔操作装置３にそれぞれ備えられるものであってもよく、また、それぞれの装置に複数備えられるものであってもよい。別の例としては、情報処理システム１外において、情報処理システム１内から通信を介してアクセス可能な状態に備えられていてもよい。さらにまた、記憶部２０、又は、記憶部２０内のデータ、プログラム等は、他の情報処理システムと共有されてもよい。

図２は、本実施形態に係る処理の流れを示すフローチャートである。この図２を用いて、情報処理システム１の処理の流れを説明する。

まず、取得部１０は、周辺環境等の情報を、センサにより感知することにより取得する（Ｓ１００）。取得する情報は、上述のように、センサに基づいて決定される。例えば、カメラであれば、RGB情報、又は、RGBD情報、さらには、輝度情報等であってもよい。マイクであれば、周辺環境において発せられた音の情報であり、指向性マイクの場合においては、所定の方向からの音を中心的に感知する。赤外線カメラ等のサーモグラフィカメラでは、温度情報を取得する。その他、センサに応じて種々の周辺環境の情報を取得する。

次に、指定部１２は、周辺環境における情報において、秘匿対象の目印となる指標の指定をする（Ｓ１０２）。取得部１０に備えられるセンサがカメラ等の画像を取得するものである場合、指標としては、例えば、QRコード、ARマーカ等の人為的に設けられたものであってもよい。また、後の過程においてARを用いて画像の再構成を行う場合には、マーカを用いたものではなく、マーカレスARの技術を用いた指標であってもよい。なお、指定部１２は、秘匿対象となる情報を指定する他、秘匿対象とならない情報を指定してもよい。なお、これも本明細書において秘匿対象となる情報の指定に含む。つまり、加工部１６において秘匿対象が適切に秘匿されるよう指定すればよい。

センサがマイクである場合、指標としては、例えば、人の音声に見られる指標を用いて人の音声情報を秘匿対象として指定してもよい。また、他の指標となり得る音、例えば、扉のノック音、水の流れる音、等の周辺環境に存在する種々の指標を有しない音を秘匿対象としてもよい。例えば、生活音等は、秘匿対象とならないが、人の話し声等は、秘匿対象とすることができる。

なお、周辺環境の情報を取得するステップＳ１００と秘匿対象となる情報を指定するステップＳ１０２は、図示している順番でなくともよく、逆順であってもよいし、さらには、並行して行われてもよい。別の例としては、指定部１２があらかじめ秘匿対象として検知する指標を指定しておき、Ｓ１００の後に、次の指標を検知するステップＳ１０４において、この指標を用いてもよい。

次に、検知部１４は、取得部１０が取得した情報中の指定部１２が指定した指標の検知を実行する（Ｓ１０４）。例えば、センサがカメラである場合には、取得部１０が取得した画像中からQRコード等の指標の検知を行う。同様に、情報が音である場合には、音情報に関する指標の検知を行う。

図３は、秘匿対象を示す指標としてQRコードを用いる例を示す図である。本実施形態において、秘匿対象は、例えば、図３に示されるように通帳という物体の一部（表面）に記載された店番号及び口座番号等の情報である。この他、通帳に記載されている名前等が含まれてもよい。

ユーザは、例えば、通帳において秘匿したい個人情報等が含まれる位置の左下、右下に、それぞれ秘匿対象領域の左下、右下を示すQRコードＱ１、Ｑ２を貼付する。これらのQRコードＱ１、Ｑ２は、指定部１２により秘匿対象を示す指標として指定されているものである。このようにQRコードを貼付することにより、センサが感知した情報において、秘匿対象となる領域をユーザが明示的に指定することができる。

上述したように、指定部１２が指定する秘匿対象を示す指標は、QRコードに限られたものではない。例えば、秘匿対象の左上に「『」のマーク、右下に「』」の所定のマーク等としてもよい。また、秘匿対象の位置の対角を示すのではなく、左右又は上下において領域を示すような指標であってもよい。

QRコード等の情報を埋め込める指標である場合には、当該指標に、秘匿対象となる領域の大きさ、形状、再構成の手段の指示等の情報を埋め込んでもよい。例えば、図３の例においては、左下のマーカには、左下であること及び当該マーカの位置から上、及び、右に何ミリメートルが秘匿対象の領域であるかを示す情報を埋め込んでもよい。同様に、右上のマーカには、右上であること及び当該マーカの位置から下、及び、左に何ミリメートルが秘匿対象の領域であるかを示す情報を埋め込んでもよい。これには限られず、店番号及び口座番号の数値が記載されている領域のみをマーカからの相対位置で示す情報を埋め込んでもよいし、通帳表面の略全ての領域を示す情報を埋め込んでもよい。また、加工や再構成の手段の指定の情報を埋め込んでもよい。

図２に戻り、次に、検知部１４は、取得部１０が取得した情報中に秘匿対象を示す指標が検知されたか否かを判定する（Ｓ１０６）。秘匿対象を示す指標が検知された場合（Ｓ１０６：ＹＥＳ）、加工部１６は、秘匿対象の情報を加工する（Ｓ１０８）。なお、この加工は、秘匿対象を秘匿する手段の一例である。

加工部１６は、種々の方法、処理を行い、秘匿対象を秘匿することができる。例えば、取得した情報が画像である場合には、加工部１６は、画像内において検知された指標に基づいて（例えば、秘匿対象の位置、大きさ、又は、上述のマーカで示されるような領域自体の情報等の秘匿対象が存在する領域を取得して）、当該範囲内において撮影された情報を適切に秘匿された状態の情報に処理する。加工部１６は、例えば、人に感知できない情報に加工する。画像における人に感知できない情報への加工とは、例えば、不可逆処理のモザイクを掛ける、又は、黒塗りする、といった処理である。その他、より自然に見えるように、周辺の色の平均値で塗るといった処理でもよいし、これらに限られず、人の目に感知できなくなる処理であればよい。

さらには、人の目に限られず、計算機においても復元不可能な処理としてもよい。計算機においても復元不可能な処理を施すことにより、例えば、通信を傍受された場合においても個人情報を秘匿することが可能となる。この結果、セキュリティの強化が期待でき、また情報処理システム１を使用するユーザの安心感を向上することが可能となる。また、プライベートな情報や個人情報等を含まない形とされたデータを収集・保管できるため、元来プライバシーや個人情報の保護の観点から慎重に取り扱う必要があるデータを比較的容易に取り扱うことができるようになる。例えば、収集したデータを機械学習モデルの訓練等に容易に利用することができる。

次に、本実施形態の加工部１６は、さらに、加工部１６が加工した秘匿情報と、取得部１０が取得した情報とを用いて情報を再構成する（Ｓ１１０）。なお、本明細書において「再構成」とは、秘匿対象の情報を代替する情報を取得した情報とあわせて構成することをいう。このステップは、加工部１６が行う他、出力部１８が情報を出力するタイミングで行ってもよい。検知部１４が指標の検知をしなかった場合（Ｓ１０６：ＮＯ）、秘匿情報が含まれていないと判定され、取得部１０が取得した情報に対しては秘匿情報についての処理が行われない。

図４は、図３に示す情報及び指標に基づいて、秘匿情報を人に感知できない情報へと変換し再構成した例を示す。この図４に示すように、QRコードＱ１、Ｑ２が備えられる位置を対角とした矩形領域が秘匿領域Ｒとして黒塗りされ、個人情報を秘匿して画像に再構成される。図４においては２次元に再構成されているが、これには限られず、３次元に再構成されてもよい。３次元に再構成される場合、センサの角度が連続的に変更しても、連続的に秘匿対象を秘匿した情報を再構成することが可能となる。また、遠隔操作時において当該物体の位置の容易に把握することができる。

ここで、秘匿領域とは、秘匿対象を含む領域を示す。原則的には秘匿対象の全部を含む領域を示すが、秘匿対象の一部を秘匿することにより十分にプライバシー等の保護ができる場合には、秘匿対象の一部を含む領域としてもよい。また、秘匿領域とは、物理空間の領域には限られず、時間の領域、空間周波数の領域、時間周波数の領域等、他の次元における領域であってもよい。

図５（ａ）及び５（ｂ）は、図３に示す通帳自体を秘匿領域とする例を示す。これらの図は、例えば、通帳全体の情報が取得された場合を示しているが通帳の一部が取得情報に含まれる場合も同様である。図５（ａ）の例では、通帳と判断される指標がある場合に、通帳の形状及び大きさを保持した状態において、その内容が感知できないように加工して再構成する。３次元の通帳を加工部１６において、個人情報が読み取れない程度に加工してその存在領域に対して通帳自体は存在する、さらに例えばその形状、表面状態等が把握可能な画像として再構成する。

図５（ｂ）の例では、図５（ａ）の例と同様に秘匿領域内の情報を読み取れないように再構成するが、例えば、「通帳」と重ねて画像とすることにより、再構成された情報において、何がその場所に存在するかを示す情報を併せて再構成する。この場合、文字を重ねることに限定するものではなく、通帳を示す画像中の物体に対して引き出し線を出して、通帳を示す文字を画像中に記載してもよい。さらに、図５（ａ）の場合においても、例えば、色分けをすることにより、通帳を示す色をあらかじめ決めておき、当該色を用いて情報を再構成してもよい。

図５（ａ）及び図５（ｂ）に示すように秘匿対象として物体を示す場合、又は、物体内の一部を秘匿対象とするが物体全体を加工する場合、指定部１２において指定される指標は、物体の外部又は内部において当該物体の一部又は全部が対象であることを識別する情報であってもよい。具体的には、通帳内に秘匿対象が存在すると仮定して、通帳を秘匿対象とする場合には、「通帳」という文字が含まれ、形状、大きさ等が所定の範囲にある物体を通帳と判定し、加工部１６において、通帳と判定された物体を加工してもよい。このように秘匿対象として周辺環境に存在する物体を、その物体に備えられる指標を用いて指定してもよい。

さらに別の例として、取得部１０において取得される周辺環境にある物体における所定の位置を秘匿対象としてもよい。例えば、机を示す指標に対して、当該机の中央領域を秘匿対象として指定してもよい。この場合、ユーザは、机の中央領域に秘匿したい情報が含まれるものを置くことにより、秘匿対象を他人又は他のデバイスに伝達しないことが可能となる。別の具体例として、取得した情報内にテレビがあると判定された場合、当該テレビのモニタ内を黒塗り等してもよい。

さらに別の例として、指定部１２は、「口座番号」「パスワード」「password」「ID」「個人番号」といった文字情報を指標として指定してもよい。この指標が検知された場合には、当該指標の周辺の数字や文字を見えないように加工して再構成してもよい。当該指標を含む物体とみなされる物体を、図５（ａ）又は図５（ｂ）に示すように、その物体自体が秘匿対象となるように加工してもよい。また、指標として、数字を示す指標を指定しておき、数字とみなされるものを指定してもよい。

また、マーカレスAR技術により、秘匿対象を含む物体の周辺及び内部の少なくとも一方を指定し、加工、再構成してもよい。赤外線センサにより取得できるマーカを用いてもよい。この場合、人の目には見えないマーカを使用できるので、物体の見た目を損なうことなく、秘匿対象の指定をすることも可能である。別例として、蛍光塗料等の紫外線ライトを照射した際に検出可能な指標としてもよく、ロボット２は、紫外線ライトを照射しつつ指標の検知を行ってもよい。

秘匿情報を含んでいるが、他の人及び他のデバイスには、撮像画像を直接見せたくないような物体、場所を取得した情報が含んでいる場合がある。このような場合には、当該物体、場所等をデフォルメ又は抽象化して２次元画像又は３次元画像として再構成してもよい。

なお、秘匿情報を秘匿するための方法は複数が組み合わされて用いられてもよい。例えば、一つのデータ上に、異なる加工が施された複数の対象が再構成されてもよい。例えば、画像上にともに秘匿対象である通帳と人間の顔が映っている場合には、通帳は黒塗りで、人間の顔はぼかしが行われて加工され、同じ画像中に再構成されてもよい。また、ある秘匿対象に対しては後述する情報の取得の制限が行われ、別の秘匿対象に対しては上述のような加工の処理が行われてもよい。

秘匿対象の秘匿、つまり加工、再構成、取得の制限は、秘匿情報を適切に秘匿できることに加えて、データの利用目的に鑑みて適切な方法で行うことが好ましい。例えば、ロボット２による物体の把持を遠隔操作で行う際に画像を利用する場合、当該物体の把持に必要な情報、例えばその形状、表面状態、柔軟性等が把握可能な方法、例えば３Ｄモデルへの加工で行われることが好ましい。

また、当該情報を取得する状況や取得したデータの利用目的によって、秘匿対象の指定、検知、加工、再構成の方法を異ならせることもできる。例えば、遠隔操作により料理のサポートを行う場合には、音情報として料理に関する環境音（例えば、水道の音、食材を炒める音）が必要となるため、そのような状況においては環境音の音情報は秘匿対象として指定されず、したがって秘匿対象として検知が行われず、秘匿のための加工は行われない。しかし、周囲の人間の音声は目的に対して不必要であるため、秘匿対象として指定、検知され、人間が感知できない方法で（例えば、一部又は全てを削除する、背景雑音に置き換えるなどして）加工、再構成される。一方、例えば、ユーザと遠隔操作を行うオペレータとが会話により意思の疎通をしたい場合には、ユーザの声は秘匿対象となるが、会話の内容は意思の疎通ができる程度に加工、再構成され、声質はユーザの個人が特定可能な秘匿対象であるとして加工、再構成され、周囲の環境音は目的に対して不必要な情報として人間に感知できない方法で加工されて再構成されてもよい。

このように秘匿対象、加工、再構成の手段を柔軟に変更することで、ユーザの利便性を高めることができる。なお、このような秘匿対象、秘匿方法の柔軟な、若しくは動的な変更は、ユーザ又はオペレータの指示、その他例えば機械学習モデルによる認識等を利用することにより効率よく行うことができる。

上記では例として、個人情報の秘匿を目的として情報の加工を行ったが、その他の目的で行われてもよい。例えば、遠隔操作側を保護する加工をしてもよい。例えば、部屋に虫がいる場合に、当該虫を秘匿情報として、虫の指標を指定し、加工部１６において虫をデフォルメする加工と再構成を行ってもよい。この結果、虫が苦手な遠隔操作者が再構成された情報を見た場合にも適切な対応をすることができる。

このように、様々な手法により、秘匿対象として指定されたものを、入力された情報に対して人、又は、計算機等に感知できない情報に加工し、加工された情報に基づいて、入力された情報と併せて再構成する。このことにより、例えば、個人情報として指定した領域を他の人、又は、他のデバイスに感知できなくすることが可能となる。一方で、例えば、秘匿情報が含まれる物体自身は、情報として伝達することができる。

図２に戻り、最後に、出力部１８は、情報の出力を行う（Ｓ１１２）。情報の出力は、例えば、ロボット２とは別の場所にいる遠隔制御者に対して、ディスプレイ等を介して出力する。出力された情報は、上記のように加工して再構成された情報であるので、個人情報等の秘匿対象の情報が削除されている。音の情報であれば、スピーカ等から再構成された音を出力する。

出力はどのような方法で行われてもよく、ユーザインタフェースを用いて上記のように出力してもよいし、ネットワークを経由して外部に送信されてもよいし、格納する情報として記憶部２０等に出力されてもよい。記憶部２０に格納した場合、強化学習等に出力されたデータを使用してもよい。

以上のように、本実施形態によれば、情報処理システム１は、指定した秘匿対象を人又は他のデバイスに感知できないように情報を加工、再構成して出力することが可能となる。秘匿対象としては、例えば、ユーザが他の人間には知られたくない個人情報が含まれていてもよい。このように再構成することにより、例えば、ロボット２を遠隔地から操作する場合においても、操作者にロボット２の周辺に存在する個人情報を伝達することなく周辺環境の情報を伝えることが可能となる。一例として、遠隔操作による監視、介護等に応用することができる。

（第２実施形態）
前述の第１実施形態では、遠隔の出力インタフェースを介して、例えば、遠隔操作者に再構成された画像等を出力することを説明したが、これには限られず、ロボット２が秘匿対象を検知したタイミングで情報の取得を制限してもよい。

図６は、本実施形態に係る処理の流れを示すフローチャートである。Ｓ１０４までの処理、及び、Ｓ１１０以降の処理は、前述の実施形態と同様である。検知部１４により指標が検知されない場合（Ｓ１０６：ＮＯ）については、前述の実施形態と同様に、情報の再構成と出力を行う。

一方で、指標が検知された場合（Ｓ１０６：ＹＥＳ）、秘匿対象の情報を取得して加工するのではなく、秘匿対象となる情報を取得しないようにロボット２の動作を制御する（Ｓ１１４）。

図７は、本実施形態に係る情報処理システム１において、カメラの向きを制限する動作の制御を示す。破線で示している領域が取得部１０による撮像領域Ｓである。この撮像領域Ｓ内に、指標を示す左下のQRコードＱ１が検知されたタイミングにおいて、ロボット２の動作は制限され、矢印で示すように右上へと向かう撮像領域Ｓの移動を制限する。このように、ロボット２において、指標が検知されたタイミングでセンサの動きを制御してもよい。

この場合、検知部１４は、例えばロボット２に備えられ、検知部１４からの検知信号に基づいて、撮像領域Ｓの移動を制御する。遠隔操作装置３を介してセンサの角度を変更しようとした場合にも、同様に撮像領域ＳがQRコードＱ１よりも秘匿領域側に行かないように制御の制限をすることも可能である。

また、指標を検知したタイミングにおいて、ロボット２による自動的な動作を制限した上で、遠隔操作装置３から秘匿情報が存在する領域へとセンサを向ける制御がされた場合には、指標を検知した位置より秘匿情報が存在する領域側を前述の実施形態と同様に人又は他のデバイスに感知できないように加工して、画像を再構成してもよい。この場合、例えば、対となる指標が見つかるまで秘匿領域として感知できないように加工し、指標が検知されたタイミングで、図４に示すように情報の再構成をしてもよい。

本実施形態によれば、自動的にロボット２が動作する場合において、秘匿情報を示す指標が検知されると、その秘匿情報自体をセンサにより取得しないようにすることが可能となる。音の場合も同様であり、例えば、指向性の強いマイクのセンサを人の話し声が感知された方向へは向けないようにしてもよい。

動作の制御の応用例として、センサだけではなく、ロボット２の他の動作を制御してもよい。例えば、秘匿情報が含まれる物体を格納する引き出し等の所定の領域をあらかじめ決めておき、当該引き出し等にQRコードを貼付する。このQRコードが貼付されている対象に対しては、ロボット２が動作を制限されるようにしてもよい。具体的には、ロボット２は、自動的或いは遠隔操作装置３からの制御に拘わらず、当該引き出し等を開ける動作ができないように設計されていてもよい。逆に、所定の領域に対しては、自由に制御可能であるようなQRコードを準備し、ロボット２の操作を当該QRコードが貼付されている領域内で制限しないようにしてもよい。

なお、図２に示すＳ１０８の処理を併せて行ってもよい。この場合、取得部１０による取得の制限を掛けるのと並行して、取得した情報の加工を行うことができる。このように、多重に秘匿対象の情報を感知できないように処理してもよい。

（第３実施形態）
図８は、本実施形態に係る情報処理システム１のブロック図である。情報処理システム１は、前述の情報処理システム１に加え、遠隔操作部３０と、行動計画部３２と、動作部３４と、を備える。少なくとも遠隔操作部３０は、遠隔操作装置３に備えられ、少なくとも動作部３４は、ロボット２に備えられる。行動計画部３２は、ロボット２及び遠隔操作装置３の少なくとも一方に備えられていてもよいし、ネットワーク等を介してロボット２及び遠隔操作装置３のいずれにも属しないように備えられていてもよい。

遠隔操作部３０は、遠隔操作装置３において、遠隔操作者の遠隔操作指示を受け付ける。遠隔操作部３０は、受け付けた指示を遠隔操作信号へと変換して、行動計画部３２へと出力する。遠隔操作者は、出力部１８からの出力に基づいて遠隔操作部３０を介してロボット２を制御することが可能となる。

出力部１８は、画像情報を出力するインタフェースとしてディスプレイを備え、遠隔操作者は、加工部１６により加工、再構成された情報を、出力部１８を介して見ることができる。遠隔操作者は、ロボット２のセンサにより取得され秘匿対象が秘匿された情報に基づいてロボット２を遠隔操作する指示を、遠隔操作部３０を介してロボット２へと送信する。

行動計画部３２は、入力された遠隔操作信号に基づいて行動計画を生成する。また、遠隔操作信号が入力されない場合には、加工部１６が加工し、再構成した情報に基づいて、ロボット２が自律運動をするような行動計画を生成してもよい。行動計画部３２は、静止した行動計画を動作部３４へと出力する。例えば、前述の実施形態のように、行動が制限される領域に対しては自動的又は遠隔操作信号によるセンサの方向付けをできないようにしてもよい。

また、取得した周辺環境に基づいて、遠隔操作部３０からの遠隔操作信号による動作を行った場合に、ロボット２がユーザにけがをさせてしまうような行動や、ロボット２の安全な運行を妨げる要因がある行動を回避してもよい。安全な運行を妨げる要因とは、例えば、段差があり、遠隔操作では起き上がれなくなる行動や、水、熱等が許容範囲を超えてしまう行動のことを示す。もっとも、これらには限られず、ロボット２が安全に運行できない種々の原因となる行動を示す概念であってもよい。

動作部３４は、行動計画部３２が生成した行動計画に基づいて、ロボット２を動作させる。この動作は、物体を拾ったり、移動させたりする動作、及び、取得部１０の取得する情報の領域を変更する動作を含む。

図１０は、本実施形態に係る処理の流れを示すフローチャートである。Ｓ１１２までの処理は、前述の実施形態と同様である。また、Ｓ１１２までの処理を行いつつ、図１０に示す処理を並行して行ってもよい。

まず、遠隔操作部３０は、遠隔操作者からの遠隔操作指示を受け付ける（Ｓ１２０）。遠隔操作部３０は、受け付けた遠隔操作指示を、遠隔操作信号へと変換して、行動計画部３２へと出力する。

次に、行動計画部３２は、遠隔操作信号に基づいて行動計画を生成する（Ｓ１２２）。遠隔操作信号が入力されていない場合には、再構成された情報に基づいて、ロボット２が自律運転する行動計画を生成する。生成された行動計画は、動作部３４へと出力される。

次に、動作部３４は、入力された行動計画に基づいて、ロボット２を動作させる（Ｓ１２４）。

以上のように、本実施形態によれば、遠隔操作者は、遠隔操作装置を介して、ロボット２を動作させることが可能となる。より具体的には、情報処理システム１において、秘匿対象となる情報が伝わらないように再構成された情報を遠隔操作者に提示し、遠隔操作者は、提示された情報に基づいてロボット２の遠隔操作を実行することができる。

情報処理システム１の全ての情報のやりとりは、同じ筐体内であれば、バス等を介した信号の送受信であってもよいし、異なる筐体内であれば、無線、又は、有線のネットワーク通信等を介した信号の送受信であってもよい。

前述の各実施形態においては、センサがカメラ等の撮像デバイスであり、情報として画像を取得し、画像に対して加工、再構成したが、最初に述べたとおり、入出力される情報は画像であるとは限られない。例えば、マイクを介して取得された音の情報であってもよい。この場合、指定部１２は、人の声を指定することにより、加工部１６において人の声を加工して聞こえないようにして、音の情報を再構成して出力部１８から出力してもよい。人の声を指定する場合には、例えば、悲鳴やうなり声等の非常時に発せられる声については、秘匿対象とせずに、すなわち、指標として指定しないようにして、情報の検知、加工及び再構成を行ってもよい。取得する情報が音である場合、検知部１４は、音を解析する音解析部をそなえていてもよい。また、秘匿対象となる音の一部又は全部を削除する加工を行ってもよい。加工は、例えば、前述の実施形態と同様に不可逆な処理により実行されてもよい。

前述したように、特定の音、例えば、ドアのノックの音、歩く音、水を使用する音等の情報を、秘匿対象ではない情報として指定して、これら以外の指標を有する音を聞こえないように加工してもよい。この場合、指定された指標に関する音の情報、例えば、周波数情報等を再構成情報として使用し、指定された指標を有する音を再構成してもよい。このような再構成によれば、結果的に人の話し声等の秘匿対象となる音を感知できないよう情報の再構成を実行することが可能となる。

例えば、様々な生活音を分類できる分類器を機械学習等により準備しておいてもよい。この場合、検知部１４は、学習済みモデルを備える分類器であり、取得した情報がどのような生活音であるか、又は、人の話し声であるかを出力してもよい。この場合、指定部１２と検知部１４とは明確に区別されていなくてもよく、指定部１２と検知部１４との機能を兼ね備える学習済みモデルであってもよい。この学習済みモデルからの出力に基づいて、加工部１６は、例えば、人の話し声を消去した生活音を再構成して、出力部１８を介して出力する。

いずれの場合においても、ユーザから遠隔操作者に声を伝えるためのフラグとなる信号を備えていてもよい。例えば、所定の言葉を発した場合に、検知部１４において、所定の言葉を検知し、当該検知から所定時間は、一部又は全部の情報を秘匿対象としないようにしてもよいし、上記の加工とは逆に、生活音ではなく、人の声を抽出して音の再構成を行うようにしてもよい。

センサとして赤外線カメラを用いる場合には、実時間性がそれほど重要ではないことが多いため、指定された指標を秘匿対象とすることに加えて、入力情報の一部又は全体に対して、加工部１６は、ローパスフィルタを掛ける処理をしてもよい。

これらのセンサは、並列して使用されてもよく、この場合、指定部１２、検知部１４、加工部１６、出力部１８についても同様に、それぞれの情報に対して指定、検知、加工、再構成を実行し、適切なインタフェースから出力を行う。例えば、取得部１０は、カメラとマイクを備えていてもよく、出力部１８は、再構成された画像と音の情報をそれぞれ出力するインタフェースとして、ディスプレイとスピーカを備えていてもよい。

前述した実施形態における情報処理システム１において、各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。

上記の全ての記載において、情報処理システム１の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ等が実施をしてもよい。ソフトウェアで構成される場合には、情報処理システム１及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。モデルの生成や、モデルに入力をした後の処理は、例えば、ＧＰＵ等のアクセラレータを使用して行ってもよい。

例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。

図１０は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。情報処理システム１は、プロセッサ７１と、主記憶装置７２と、補助記憶装置７３と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ装置７を備えて実現できる。

なお、図１０のコンピュータ装置７は、各構成要素を１つ備えているが、同じ構成要素を複数備えていてもよい。また、図１０では、１台のコンピュータ装置７が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。例えば、ロボット２と、遠隔操作装置３とを、それぞれ別の１以上のコンピュータで形成する。

プロセッサ７１は、コンピュータの制御装置および演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ７１は、コンピュータ装置７の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ７１は、コンピュータ装置７のＯＳ（オペレーティングシステム）や、アプリケーションなどを実行することにより、コンピュータ装置７を構成する各構成要素を制御する。プロセッサ７１は、上記の処理を行うことができれば特に限られるものではない。各構成要素は、プロセッサ７１により実現される。

主記憶装置７２は、プロセッサ７１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により直接読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。情報処理システム１内において各種データを保存するためのメモリは、主記憶装置７２または補助記憶装置７３により実現されてもよい。例えば、記憶部２０は、この主記憶装置７２又は補助記憶装置７３に実装されていてもよい。別の例として、アクセラレータが備えられている場合には、記憶部２０は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。

ネットワークインタフェース７４は、無線または有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して通信接続された外部装置９Ａと情報のやり取りが行われてもよい。

外部装置９Ａは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置９Ａは、情報処理システム１の構成要素の一部の機能を有する装置でもよい。そして、コンピュータ装置７は、情報処理システム１の処理結果の一部を、クラウドサービスのように通信ネットワーク８を介して受け取ってもよい。

デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。外部装置９Ｂは、外部記憶媒体でもよいし、ストレージ装置でもよい。記憶部２０は、外部装置９Ｂにより実現されてもよい。

外部装置９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、スピーカなどがあるが、これらに限られるものではない。

なお、外部装置９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置７に与える。入力装置からの信号はプロセッサ７１に出力される。また、本開示の処理、手段等の一部又は全部は、ネットワークを介したクラウド上に備えられる制御回路及び記憶回路の少なくとも一方に基づいて実行され又は機能されるものであってもよい。

上記の全ての記載に基づいて、実施形態の追加、効果又は種々の変形を想到できるかもしれないが、上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更及び部分的削除が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。

学習、推論、情報の加工又は再構成、行動計画の生成等の各種演算は、例えば、ＧＰＵ等のアクセラレータを用いて、又は、ネットワークを介した複数の計算機を用いて、並列処理により実行されるものであってもよい。例えば、学習におけるバッチ処理、推論における各オブジェクトの動作情報の生成等の処理は、複数ある演算コアに演算を振り分けて同じタイミングで実行されるものであってもよい。

１：情報処理システム、２：ロボット、３：遠隔操作装置、１０：取得部、１２：指定部、１４：検知部、１６：加工部、１８：出力部、２０：記憶部、３０：遠隔操作部、３２：行動計画部、３４：動作部

Claims (17)

1. 入力データを取得する、取得部と、
   前記入力データにおいて、所定の指標に基づいて秘匿対象を検知する、検知部と、
   検知された前記秘匿対象が秘匿された出力データを出力する、出力部と、
   を備える情報処理システム。
2. 前記取得部は、カメラを備え、
   前記入力データは、２次元又は３次元の画像である、
   請求項１に記載の情報処理システム。
3. 前記指標は、物体に付与されているQRコード又はARマーカである、請求項２に記載の情報処理システム。
4. 前記取得部は、赤外線カメラを備え、
   前記入力データは、２次元又は３次元の赤外線画像である、
   請求項１に記載の情報処理システム。
5. 前記指標は、前記秘匿対象の外部又は内部において前記秘匿対象の一部又は全部を識別する情報である、
   請求項１から請求項４のいずれかに記載の情報処理システム。
6. 検知された前記秘匿対象に含まれている情報を感知できない情報に加工して、前記出力データを再構成する、加工部、
   をさらに備える請求項１から５のいずれかに記載の情報処理システム。
7. 前記加工部は、時間空間におけるローパスフィルタにより前記入力データを加工する、請求項６に記載の情報処理システム。
8. 前記加工部は、前記秘匿対象の物体の一部又は全部を、その物体の位置に基づいて前記入力データにおいて３次元再構成して画像データを出力する、
   請求項６又は請求項７に記載の情報処理システム。
9. 前記取得部は、集音機を備え、
   前記指標は、周波数特性の情報を備え、
   前記指標に基づいた音を再構成する、加工部をさらに備える、
   請求項１に記載の情報処理システム。
10. 前記検知部は、前記入力データと、前記指標と、に基づいて訓練された学習済みモデルを備える、
    請求項１から請求項９のいずれかに記載の情報処理システム。
11. 検知された前記秘匿対象の位置に基づいて、前記取得部における感知動作を制御する、
    請求項１から請求項１０のいずれかに記載の情報処理システム。
12. 前記出力部は、前記出力データを出力するインタフェースを備え、
    前記インタフェースを介して出力された前記出力データに基づいて、遠隔操作を行う信号を送信する、遠隔操作部と、
    前記遠隔操作部が送信した信号を受信し、前記入力データの取得とともに、受信した信号に基づいた動作を生成する、行動計画部と、
    をさらに備える、請求項１から請求項１１のいずれかに記載の情報処理システム。
13. 請求項１から請求項１２のいずれかに記載の情報処理システムにおいて、
    少なくとも、前記取得部及び前記検知部を備えるロボット。
14. 前記出力データに基づいて動作を生成する、動作部、
    をさらに備える、請求項１３に記載のロボット。
15. 請求項１２に記載の情報処理システムにおいて、
    少なくとも、前記出力部及び前記遠隔操作部を備える遠隔操作装置。
16. 入力データを取得し、
    前記入力データにおいて、所定の指標に基づいて秘匿対象を検知し、
    検知された前記秘匿対象が秘匿された出力データを出力する、
    情報処理方法。
17. コンピュータを、
    入力データを取得する、取得手段、
    前記入力データにおいて、所定の指標に基づいて秘匿対象を検知する手段、
    検知された前記秘匿対象が秘匿された出力データを出力する手段、
    として機能させるプログラム。