JP2020156033A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】車内の個人情報またはプライバシーに係る情報の保護することができる情報処理装置及び情報処理方法を提供する。【解決手段】情報処理装置１は、車内に備えられた撮像装置によって撮像された車内の画像を車外に送信するコントローラ２０を備える。コントローラ２０は、画像の送信要求を受け付け、車内の所定オブジェクトを個人情報またはプライバシーの保護対象として設定し、設定された保護対象が、画像に含まれる場合、保護対象が含まれる画像の領域に、保護対象を認知できないような加工を施し、加工が施された画像を車外に送信する。【選択図】図１Ａ

Description

本発明は、情報処理装置及び情報処理方法に関する。

従来より、プローブカーによって撮影された画像中のプライバシー情報を保護するために、画像中のプライバシー情報に画像処理を施す技術が知られている（特許文献１）。特許文献１に記載された発明は、画像を縦方向に対し２つの領域に区画し、画像下部に含まれる他車のナンバープレートに画像処理を施す。

特開２００６−１７８８２５号公報

しかしながら、特許文献１に記載された発明は、車外のプライバシー情報の保護について言及しているものの、車内のプライバシー情報の保護について何ら言及していない。車内の情報（プライバシー情報を含む）を外部と共有する際に、特許文献１に記載された発明では車内のプライバシー情報を保護できないおそれがある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、車内の個人情報またはプライバシーに係る情報の保護することができる情報処理装置及び情報処理方法を提供することである。

本発明の一態様に係る情報処理装置は、車内に備えられた撮像装置によって撮像された車内の画像を車外に送信するコントローラを備える。コントローラは、画像の送信要求を受け付け、車内の所定オブジェクトを個人情報またはプライバシーの保護対象として設定し、設定された保護対象が、画像に含まれる場合、保護対象が含まれる画像の領域に、保護対象を認知できないような加工を施し、加工が施された画像を車外に送信する。

本発明によれば、車内の個人情報またはプライバシーに係る情報の保護することができる。

図１Ａは、本発明の第１実施形態に係る情報処理装置の構成例を示すブロック図である。 図１Ｂは、本発明の第１実施形態に係る情報処理装置の構成例を示すブロック図である。 図２は、オブジェクトの検出方法の一例を説明する図である。 図３Ａは、オブジェクトの検出方法の他の例を説明する図である。 図３Ｂは、オブジェクトの検出方法の他の例を説明する図である。 図３Ｃは、オブジェクトの検出方法の他の例を説明する図である。 図４は、映像加工の一例を説明する図である。 図５は、オブジェクトの検出方法の他の例を説明する図である。 図６は、オブジェクトの検出方法の他の例を説明する図である。 図７は、本発明の第１実施形態に係る情報処理装置の動作例を説明するフローチャートである。 図８は、本発明の第１実施形態に係る情報処理装置の動作例を説明するフローチャートである。 図９は、本発明の第２実施形態に係る情報処理装置の構成例を示すブロック図である。 図１０は、本発明の第２実施形態に係る情報処理装置の動作例を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（第１実施形態）
（情報処理装置の構成例）
図１Ａ及び図１Ｂを参照して、本実施形態に係る情報処理装置１の構成例について説明する。図１に示すように、情報処理装置１は、カメラ１０（撮像装置）と、コントローラ２０と、記憶装置１１と、ディスプレイ１２と、を備える。

カメラ１０は、車内に設置され、定点から車内を撮像する。カメラ１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を有するものであればよく、ドライブレコーダーのカメラでもよく、携帯端末（例えばスマートフォン）のカメラでもよい。カメラ１０によって撮像された画像は、コントローラ２０に出力される。本実施形態において、カメラ１０によって撮像された画像とは、動画及び静止画を含む。また、動画は映像と表現されてもよい。

本実施形態では、車内の映像（動画）を外部と共有するシーンを想定する。具体的には、車内のユーザと、車外のユーザまたは遠隔から車内へのサービスを提供するサービス提供者などが、リアルタイムで車内の映像を共有するシーンを想定する。本実施形態では、共有される情報は、車内の映像として説明するが、これに限定されない。共有される情報は、車内の静止画でもよい。

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、情報処理装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、情報処理装置１が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって情報処理装置１が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路の一例として、要求受付部２１と、加工受付部２２と、設定部２３と、送信部２４と、追跡部２５と、画像処理部２６と、を備える。

記憶装置１１は、コントローラ２０のメモリとは異なる記憶装置であり、例えばハードディスク、ソリッドステートドライブなどである。記憶装置１１には、車内のユーザによる保護設定の履歴、既定オブジェクトなどが格納される。

ディスプレイ１２は、カメラ１０によって撮像された映像を表示する装置であり、例えばインストルメントパネルに設置されたディスプレイである。なお、ディスプレイ１２は、ナビゲーション装置のディスプレイでもよく、ナビゲーション装置のディスプレイとは異なるディスプレイでもよい。また、ディスプレイ１２は、画面上に圧力が加えられることにより、圧力が加えられた画面位置の情報を感知して信号として出力するタッチパネルである。

要求受付部２１は、車外のユーザまたは遠隔から車内へのサービスを提供するサービス提供者などから、車内の映像の送信要求を受信する。例えば、要求受付部２１は、車外のユーザが所持する携帯端末から発信された、車内の映像の送信要求に係る信号を受信する。あるいは、要求受付部２１は、サービス提供者が使用するコンピュータから発信された、車内の映像の送信要求に係る信号を受信する。車内の映像の送信要求に係る信号を受信した要求受付部２１は、ディスプレイ１２にカメラ１０によって撮像された現在の車内の映像を表示する。

加工受付部２２は、要求受付部２１によってディスプレイ１２に表示された車内の映像を共有する際に、共有したくない情報が含まれているか否か、車内のユーザの判断結果を受け付ける。共有したくない情報とは、一例として、個人情報またはプライバシーに関する情報である。加工受付部２２は、車内のユーザの判断結果を示す信号を設定部２３に出力する。

設定部２３は、加工受付部２２から受信した信号に基づいて、カメラ１０によって撮像された現在の車内の映像から保護対象となるオブジェクトを検出したり、映像の保護が十分か否か車内のユーザの判断結果を受け付けたりする。設定部２３は、図１Ｂに示すように、設定読込部２３１、オブジェクト検出部２３２、領域選択部２３３、保護内容確認部２３４から構成される。

設定読込部２３１は、記憶装置１１に記憶されている車内のユーザによる映像の保護設定の履歴を読み込む。保護設定の履歴とは、車内のユーザが過去に、個人情報またはプライバシーの保護対象として設定したオブジェクトの履歴である。設定読込部２３１は、記憶装置１１から保護設定の履歴を読み込み、読み込んだ保護設定の履歴をオブジェクト検出部２３２に出力する。

オブジェクト検出部２３２は、設定読込部２３１から受信した保護設定の履歴に基づいて、カメラ１０によって撮像された現在の車内の映像からオブジェクトを検出する。

領域選択部２３３は、オブジェクト検出部２３２によって検出されたオブジェクトとは別の、車内のユーザが保護したいオブジェクトの選択を受け付ける。

画像処理部２６は、保護対象となるオブジェクトを車外のユーザなどが認知できないように、映像に加工を施す。

保護内容確認部２３４は、画像処理部２６による加工によって映像が十分に保護されているか否か、車内のユーザの判断結果を受け付ける。

送信部２４は、車内のユーザによって映像の送信が許可された場合、映像を車外のユーザが所持する携帯端末または遠隔から車内へのサービスを提供するサービス提供者が使用するコンピュータなどに送信する。

追跡部２５は、映像が送信された後、保護対象となるオブジェクトを追跡して検出する。

（情報処理装置の動作例）
次に、図２〜図６を参照して、情報処理装置１の一動作例を説明する。

図２に示す映像３０は、カメラ１０によって撮像された現在の車内の映像である。映像３０には、車内のユーザ４０、携帯端末４１、ナビゲーション装置４２が写っている。

要求受付部２１は、車外のユーザなどが所持する携帯端末から発信された、車内の映像の送信要求に係る信号を受信したとき、ディスプレイ１２に映像３０を表示する。なお、映像３０の送信要求に係る信号は、車外から発信されるものに限定されない。例えば、車内のユーザ（ユーザ４０も含む）が、ディスプレイ１２を操作して、映像３０の送信要求に係る信号を要求受付部２１に送信してもよい。なお、以下において、車内のユーザとは、特に断らない限り、ユーザ４０も含めて車両に乗車しているユーザを意味する。車内のユーザは、ユーザ４０のみでもよく、複数でもよい。

ディスプレイ１２に表示された映像３０を見た車内のユーザは、映像３０を外部に送信する際に映像３０に共有したくない情報が含まれているか否かを判断する。共有したくない情報とは、一例として、個人情報またはプライバシーに関する情報である。個人情報とは、特定の個人を識別できる情報であり、例えば、個人の顔情報、個人の名前などである。プライバシーに関する情報とは、例えば個人の秘密情報であり、携帯端末４１のメッセージアプリを用いたメッセージのやり取りが表示された画面などが該当する。また、ナビゲーション装置４２に表示されたルート履歴なども個人の秘密情報に該当しうる。

一般に、個人情報またはプライバシーに関する情報は慎重に扱われるべきであり、個人情報またはプライバシーに関する情報の安易な共有は、好ましくない。そこで、本実施形態では、車内のユーザは、映像３０を外部に送信する際に映像３０に共有したくない情報が含まれているか否かを判断する。より詳しくは、ディスプレイ１２に映像３０が表示された後、加工受付部２２は、個人情報またはプライバシーの保護の観点から、映像３０に共有したくない情報が存在するか否か、車内のユーザの判断結果を受け付ける。例えば、加工受付部２２は、ディスプレイ１２に「映像を保護しますか？」というテキストを表示して、車内のユーザに保護の判断を促すことができる。なお、加工受付部２２は、スピーカを用いて音声で「映像を保護しますか？」と車内のユーザに尋ねてもよい。

加工受付部２２からの問いかけを受けた車内のユーザは、ディスプレイ１２を操作して、映像３０を保護するか否かを判断する。例えば、車内のユーザはディスプレイ１２に表示された「はい」、「いいえ」のどちらか一方のテキストを選択することにより、映像３０を保護するか否かを判断する。車内のユーザが、ディスプレイ１２に表示された「はい」のテキストを選択し、映像３０を保護すると判断した場合、判断結果に係る信号が設定部２３に送信される。判断結果に係る信号を受信した設定部２３は、映像３０から個人情報またはプライバシーの保護対象となるオブジェクトを検出する。オブジェクトを検出する際に、設定読込部２３１は、記憶装置１１に記憶されている車内のユーザによる映像３０の保護設定の履歴を読み込む。

ここでは一例として、保護設定の履歴には、人物の身体（顔、胴体、腕、及び足）、携帯端末４１、ナビゲーション装置４２が含まれていると仮定する。設定読込部２３１は、記憶装置１１から保護設定の履歴を読み込み、読み込んだ保護設定の履歴をオブジェクト検出部２３２に出力する。保護設定の履歴を受信したオブジェクト検出部２３２は、映像３０から保護設定の履歴に係るオブジェクト、つまり、ユーザ４０の身体、携帯端末４１、ナビゲーション装置４２を検出する。また、よりプライバシーの保護を広く行うべく、ＬＣＤや有機ＥＬパネルなどの表示部を備える表示装置を保護設定対象としてもよい。このような表示装置の一例として、左右のドアミラーの映像を表示する表示装置が挙げられる。ここでいう表示装置は、ディスプレイ１２及びナビゲーション装置４２のディスプレイとは異なる表示装置である。

オブジェクトの検出方法として、例えばエッジ検出を用いる方法が挙げられる。エッジ検出は、映像３０の中から色変化の大きな箇所（エッジ）を検出する方法であり、例えば、Ｃａｎｎｙ法、Ｓｏｂｅｌ法、又はＬａｐｌａｃｉａｎ法などの種々の方法が知られている。

オブジェクト検出部２３２は、映像３０にエッジ検出を施すことによって、オブジェクトの輪郭を検出する。オブジェクト検出部２３２は、ユーザ４０の身体、携帯端末４１、ナビゲーション装置４２の輪郭をエッジ画素として検出し、検出したエッジ画素によって囲まれた領域をオブジェクトとして認識する。

なお、オブジェクトの検出方法は、エッジ検出を利用した方法に限られない。例えば、オブジェクト検出部２３２は、物体認識方法を用いて、映像３０からオブジェクトを検出してもよい。物体認識方法としては、例えば、映像中の特徴量から物体を認識するＢｏＶＷ（Ｂａｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓ）法を利用してもよいし、種々のオブジェクトの基本形状を学習させた学習データと比較してオブジェクトを認識するパターンマッチング法を利用してもよい。パターンマッチング法を用いる場合、オブジェクト検出部２３２は記憶装置１１に記憶された学習データを読み出して比較すればよい。

オブジェクト検出部２３２は、上述の方法を用いてオブジェクトを検出する。図２に示すように、オブジェクト検出部２３２がオブジェクトとして、ユーザ４０の顔、胴体、腕、足、携帯端末４１、及びナビゲーション装置４２を検出した場合、オブジェクト検出部２３２はこれらのオブジェクトを示す枠線をディスプレイ１２に表示する。図２に示す枠線５０〜５５は、オブジェクト検出部２３２によって検出されたオブジェクトを示す線である。枠線５０は、ユーザ４０の顔を示す。枠線５１は、ユーザ４０の胴体を示す。枠線５２は、ユーザ４０の腕を示す。枠線５３は、ユーザ４０の足を示す。枠線５４は、携帯端末４１を示す。枠線５５は、ナビゲーション装置４２を示す。オブジェクト検出部２３２によって検出されたオブジェクトを示す枠線５０〜５５がディスプレイ１２に表示されることにより、車内のユーザは、保護対象となるオブジェクトを一目で確認することができる。

なお、初めて映像３０を共有する場合などにおいては、保護設定の履歴は存在しない。保護設定の履歴が存在しない場合、オブジェクト検出部２３２は、予め記憶装置１１に登録された（決定された）既定オブジェクトを用いてオブジェクトを検出してもよい。既定オブジェクトとは、一般に保護することが好ましいと想定されるオブジェクトであり、例えば、人物の身体、携帯端末４１、ナビゲーション装置４２が含まれる。

なお、オブジェクト検出部２３２はテキスト情報を用いて、検出するオブジェクトを車内のユーザに選択させてもよい。具体的には、オブジェクト検出部２３２はディスプレイ１２に「人物の顔」、「携帯端末」、「ナビゲーション装置」というテキストを表示する。そして、オブジェクト検出部２３２は、車内のユーザが選択したテキストに対応するオブジェクトを映像３０から検出する。例えば、車内のユーザが「人物の顔」というテキストを選択した場合、オブジェクト検出部２３２はユーザ４０の顔を映像３０から検出する。なお、オブジェクト検出部２３２は、車内のユーザが複数のテキスト（例えば「人物の顔」、「携帯端末」、「ナビゲーション装置」）を選択した場合、選択された複数のテキストに対応するオブジェクトを映像３０から検出する。

なお、過去の履歴のオブジェクト、予め登録された既定オブジェクトの他に、車内のユーザが保護したいオブジェクトが映像３０に含まれる場合がある。このため、オブジェクト検出部２３２によってオブジェクトが検出された後、領域選択部２３３は、他に保護したいオブジェクトが映像３０に含まれるか否か、車内のユーザの判断結果を受け付ける。例えば、領域選択部２３３は、ディスプレイ１２に「他のオブジェクトを保護しますか？」というテキストを表示して、車内のユーザに判断を促すことができる。なお、領域選択部２３３は、スピーカを用いて音声で「他のオブジェクトを保護しますか？」と車内のユーザに尋ねてもよい。

ここで、オブジェクト検出部２３２によって検出されたオブジェクトとは別の、車内のユーザが保護したいオブジェクトが、図３Ａに示すオブジェクト６０であると仮定する。領域選択部２３３からの問いかけを受けた車内のユーザは、オブジェクト６０を保護するためにディスプレイ１２を操作して、映像３０のオブジェクト６０を選択する。オブジェクト６０の選択方法として、例えば図３Ａに示すように、車内のユーザはオブジェクト６０を指で囲むことによりオブジェクト６０を選択することができる。図３Ａに示す線６１は、車内のユーザの指の軌跡を示す。あるいは、図３Ｂに示すように、車内のユーザはオブジェクト６０を塗りつぶすことでオブジェクト６０を選択してもよい。あるいは、図３Ｃに示すように、車内のユーザは予め用意された円形状のフレーム６２をディスプレイ上で移動させてオブジェクト６０を選択してもよい。なお、フレームは、円形状に限定されず、四角形状でもよく、その他の形状でもよい。

車内のユーザによってオブジェクト６０が選択されると、選択されたことを示す信号が領域選択部２３３に出力される。選択されたことを示す信号を受信した領域選択部２３３は、図４に示すように、オブジェクト６０を示す枠線５６をディスプレイ１２に表示する。これにより、ディスプレイ１２には、図４に示すように、オブジェクト検出部２３２によって検出されたオブジェクトを示す枠線５０〜５５、及び車内のユーザによって追加で選択されたオブジェクト６０を示す枠線５６が表示される。これにより、車内のユーザは、保護対象となるオブジェクトを一目で確認することができる。車内のユーザによって選択されたオブジェクト６０は、車両のユーザによる保護設定の履歴として記憶装置１１に格納され、次回以降の共有の際に、設定読込部２３１によって読み出される。

なお、車内のユーザは、領域選択部２３３からの問いかけがなくても、オブジェクト検出部２３２によって検出されたオブジェクトとは別のオブジェクト６０を選択してもよい。この場合、車内のユーザは、ディスプレイ１２に表示された映像３０のオブジェクト６０を図３Ａ〜図３Ｃに示すように選択すればよい。車内のユーザの選択を検知した領域選択部２３３の動作は、上述と同じである。

保護したいオブジェクトの選択が完了した後、画像処理部２６は、保護対象となるオブジェクトを車外のユーザなどが認知できないように、映像３０に加工を施す。例えば、画像処理部２６は、図４に示すように、枠線５０〜５６で囲まれた領域を塗りつぶす。これにより、映像３０が共有された際に、車外のユーザなどによってオブジェクトが認知されることは防止される。これにより、個人情報またはプライバシーに関する情報は保護される。なお、映像３０の加工方法は、塗りつぶしに限定されない。例えば、画像処理部２６は、枠線５０〜５６で囲まれた領域にモザイクをかけてもよく、枠線５０〜５６で囲まれた領域を別画像で置き換えてもよい。別画像とは例えば、人物、携帯端末などを模式的に示すアバタである。あるいは、画像処理部２６は、加工を施す領域を、保護対象が存在しない状態の同一領域の画像で置換してもよい。なお、画像処理部２６は、車内のユーザに好みの加工を選択させ、選択された加工を施してもよい。

次に保護内容確認部２３４は、画像処理部２６によって加工が施される前の映像３０（図２の上側の映像）と、画像処理部２６によって加工が施された後の映像３０（図４の下側の映像）の両方をディスプレイ１２に表示する。そして、保護内容確認部２３４は、映像３０の保護が十分か否か、車内のユーザの判断結果を受け付ける。例えば、保護内容確認部２３４は、ディスプレイ１２に「映像の保護は十分ですか？」というテキストを表示して、車内のユーザに判断を促すことができる。なお、保護内容確認部２３４は、スピーカを用いて音声で「映像の保護は十分ですか？」と車内のユーザに尋ねてもよい。

保護内容確認部２３４からの問いかけを受けた車内のユーザは、ディスプレイ１２を操作して、映像３０の保護が十分か否かを判断する。例えば、車内のユーザはディスプレイ１２に表示された「はい」、「いいえ」のどちらか一方のテキストを選択することにより、映像３０の保護が十分か否かを判断する。車内のユーザが、ディスプレイ１２に表示された「はい」のテキストを選択し、映像３０の保護は十分と判断した場合、判断結果に係る信号が保護内容確認部２３４に送信される。判断結果に係る信号を受信した保護内容確認部２３４は次に、映像３０の送信を許可するか否か、車内のユーザの判断結果を受け付ける。例えば、保護内容確認部２３４は、ディスプレイ１２に「映像の送信を許可しますか？」というテキストを表示して、車内のユーザに判断を促すことができる。なお、保護内容確認部２３４は、スピーカを用いて音声で「映像の送信を許可しますか？」と車内のユーザに尋ねてもよい。

保護内容確認部２３４からの問いかけを受けた車内のユーザは、ディスプレイ１２を操作して、映像３０の送信の可否を判断する。例えば、車内のユーザはディスプレイ１２に表示された「許可する」、「許可しない」のどちらか一方のテキストを選択することにより、映像３０の送信の可否を判断する。車内のユーザが、ディスプレイ１２に表示された「許可する」のテキストを選択し、映像３０の送信を許可した場合、判断結果に係る信号が送信部２４に送信される。判断結果に係る信号を受信した送信部２４は、映像３０を車外のユーザが所持する携帯端末または遠隔から車内へのサービスを提供するサービス提供者が使用するコンピュータなどに送信する。これにより、映像３０の共有が開始する。なお、車両と外部との通信方法は特に限定されないが、例えばインターネットが用いられる。

映像３０が共有された後、追跡部２５は、保護対象となるオブジェクトを追跡して検出する。その理由は、映像内において、保護対象となるオブジェクトが移動し、位置が変化する可能性があるからである。例えば、ユーザ４０が携帯端末４１を持ち上げた場合、ユーザ４０の腕、携帯端末４１は映像内で移動して位置が変化する。この場合、携帯端末４１が、認知ができないように加工が施された領域から出てしまい、保護が不十分になる可能性がある。したがって、映像３０が共有された後、追跡部２５は、保護対象となるオブジェクトを追跡して検出する。具体的には、追跡部２５は、映像のフレームごとに逐次保護対象となるオブジェクトを追跡して検出する。そして、画像処理部２６は、追跡部２５による追跡結果に基づいて、保護対象となるオブジェクトを車外のユーザなどが認知できないように、映像３０に加工を施す。これにより、保護対象となるオブジェクトが映像内で移動したとしても、十分な保護が担保される。なお、共有される情報が静止画である場合、保護対象となるオブジェクトが移動することはないため、追跡部２５による追跡は不要である。

なお、映像３０が共有された後、車内のユーザが追加で保護したいオブジェクトが映る場合がある。この場合、車内のユーザは、図３Ａ〜図３Ｃで説明した方法と同様の方法で追加で保護したいオブジェクトを選択することができる。車内のユーザによる追加の選択を検知した領域選択部２３３及び画像処理部２６の動作は、上述と同じである。

なお、図２に示す例では、ユーザ４０の顔、胴体、腕、足、携帯端末４１、及びナビゲーション装置４２がオブジェクトとして検出され、枠線５０〜５５がディスプレイ１２に表示されるが、保護対象となるオブジェクトが密集しており、個別に保護対象となるオブジェクトを検出あるいは選択することが煩雑である場合は、図５に示すように、設定部２３は保護対象となるオブジェクトを全て含む特定の領域７０を設定してもよい。そして、設定された領域７０に対し、画像処理部２６が塗りつぶしなどの加工を施すことにより、個人情報またはプライバシーに関する情報は保護される。保護対象となるオブジェクトを一括して保護するその他の例として、設定部２３は図６に示すように後部座席を一括して特定の領域として設定してもよい。

次に、図７〜図８のフローチャートを参照して、情報処理装置１の一動作例を説明する。

ステップＳ１０１において、要求受付部２１は、車外のユーザなどが所持する携帯端末から発信された、車内の映像３０の送信要求に係る信号を受信する。なお、要求受付部２１は、車内のユーザによる映像３０の送信要求に係る信号を受信してもよい。

処理はステップＳ１０３に進み、要求受付部２１は、ディスプレイ１２にカメラ１０によって撮像された現在の車内の映像３０を表示する。

処理はステップＳ１０５に進み、加工受付部２２は、ディスプレイ１２に「映像を保護しますか？」というテキストを表示して、車内のユーザに保護の判断を促す。車内のユーザが、映像３０を保護すると判断した場合（ステップＳ１０５でＹｅｓ）、処理はステップＳ２０１に進み、設定読込部２３１は、記憶装置１１に記憶されている車内のユーザによる映像３０の保護設定の履歴を読み込む（ステップＳ２０３）。なお、車内のユーザが、映像３０を保護する必要はないと判断した場合（ステップＳ１０５でＮｏ）、処理はステップＳ１０７に進む。

ステップＳ２０３で読み込まれた保護設定の履歴はオブジェクト検出部２３２に出力される。その後、処理はステップＳ２０５に進み、保護設定の履歴を受信したオブジェクト検出部２３２は、映像３０から保護設定の履歴に係るオブジェクト、つまり、ユーザ４０の身体、携帯端末４１、ナビゲーション装置４２を検出する（図２参照）。

一方、初めて映像３０を共有する場合などにおいては、保護設定の履歴は存在しない。保護設定の履歴が存在しない場合（ステップＳ２０１でＮｏ）、処理はステップＳ２０５に進み、オブジェクト検出部２３２は、予め記憶装置１１に登録された既定オブジェクトを用いてオブジェクトを検出する。

オブジェクト検出部２３２によってオブジェクトが検出された後、処理はステップＳ２０７に進み、領域選択部２３３は、オブジェクト検出部２３２によって検出されたオブジェクトとは別に、車内のユーザが保護したいオブジェクトが映像３０に含まれるか否か、車内のユーザの判断結果を受け付ける。車内のユーザによって図３Ａ〜図３Ｃに示すようにオブジェクト６０が選択されると（ステップＳ２０７でＹｅｓ）、選択されたことを示す信号が領域選択部２３３に出力される（ステップＳ２０９）。

処理はステップＳ２１１に進み、オブジェクト検出部２３２によって検出されたオブジェクトを示す枠線５０〜５５、及び車内のユーザによって追加で選択されたオブジェクト６０を示す枠線５６が表示される（図４参照）。これにより、車内のユーザは、保護対象となるオブジェクトを一目で確認することができる。車内のユーザによって選択されたオブジェクト６０は、車両のユーザによる保護設定の履歴として記憶装置１１に格納され、次回以降の共有の際に、設定読込部２３１によって読み出される。次に画像処理部２６は、保護対象となるオブジェクトを車外のユーザなどが認知できないように、枠線５０〜５６で囲まれた領域を塗りつぶす（図４参照）。

処理はステップＳ２１３に進み、保護内容確認部２３４は、画像処理部２６によって加工が施される前の映像３０（図２の上側の映像）と、画像処理部２６によって加工が施された後の映像３０（図４の下側の映像）の両方をディスプレイ１２に表示する。そして、保護内容確認部２３４は、映像３０の保護が十分か否か、車内のユーザの判断結果を受け付ける。車内のユーザが、映像３０の保護は十分と判断した場合、処理はステップＳ１０７に進み、保護内容確認部２３４は、映像３０の送信を許可するか否か、車内のユーザの判断結果を受け付ける。車内のユーザが、映像３０の送信を許可した場合（ステップＳ１０７でＹｅｓ）、送信部２４は、映像３０を車外のユーザが所持する携帯端末または遠隔から車内へのサービスを提供するサービス提供者が使用するコンピュータなどに送信する。これにより、映像３０の共有が開始する（ステップＳ１０９）。なお、車内のユーザが、映像３０の送信を許可しない場合（ステップＳ１０７でＮｏ）、処理はステップＳ１０５に戻る。

ステップＳ１０９で映像３０が共有された後、処理はステップＳ１１１に進み、追跡部２５は、保護対象となるオブジェクトを追跡して検出する。映像内において、保護対象となるオブジェクトが移動し、位置が変化する可能性があるからである。その後処理はステップＳ１１３に進み、画像処理部２６は、追跡部２５による追跡結果に基づいて、保護対象となるオブジェクトを車外のユーザなどが認知できないように、映像３０に加工を施す。これにより、保護対象となるオブジェクトが映像内で移動したとしても、十分な保護が担保される。

（作用効果）
以上説明したように、第１実施形態に係る情報処理装置１によれば、以下の作用効果が得られる。

情報処理装置１は、車内に備えられた撮像装置（カメラ１０）によって撮像された車内の画像を車外に送信するコントローラ２０を備える。コントローラ２０は、画像の送信要求を受け付ける。なお、画像の送信要求は、車外のユーザまたは遠隔から車内へのサービスを提供するサービス提供者によって行われてもよく、車内のユーザによって行われてもよい。コントローラ２０は、車内の所定オブジェクトを個人情報またはプライバシーの保護対象として設定する。例えば、コントローラ２０は、車内の所定オブジェクトとして、人物の身体（顔、胴体、腕、及び足）、携帯端末、ナビゲーション装置を個人情報またはプライバシーの保護対象として設定する。これらのオブジェクトは、画像からエッジ検出などを用いて設定されてもよく、予め既定オブジェクトとして記憶装置１１に登録されていてもよい。コントローラ２０は、設定された保護対象が画像に含まれる場合、保護対象が含まれる画像の領域に、保護対象を認知できないような加工を施す。そして、コントローラ２０は、加工が施された画像を車外に送信する。これにより、画像が外部と共有された際に車外のユーザなどによってオブジェクトが認知されることは防止される。これにより、個人情報またはプライバシーに関する情報は保護される。なお、上述したように、カメラ１０によって撮像された車内の画像とは、動画及び静止画を含む。また、動画は映像と表現されてもよい。

また、情報処理装置１は、カメラ１０によって撮像された画像（画像処理部２６によって加工が施される前の画像）と、画像処理部２６によって加工が施された後の画像の両方をディスプレイ１２に表示する。車内のユーザは、撮像された画像と、加工が施された画像とを比較することにより、自身が望む保護が行われているか否かを容易に判断することができる。

また、情報処理装置１は、送信要求を受け付けたとき、撮像された画像をディスプレイ１２に表示し、加工の要否を受け付ける。車内のユーザが画像を保護すると判断した場合は、画像に加工が施される。一方、車内のユーザが画像を保護する必要はないと判断した場合は、加工は施されない。このように情報処理装置１によれば、車内のユーザの意思に反した動作が防止される。

また、情報処理装置１は、加工が施された画像をディスプレイ１２に表示させた後、車外への送信の許可を受け付ける。これにより、情報処理装置１は車内のユーザの承認を担保した状態で画像を車外に送信することができる。

また、情報処理装置１は、画像上における保護対象の移動が検出された場合、移動に追従して加工を行う。図２に示すようにユーザ４０が携帯端末４１を持ち上げた場合、ユーザ４０の腕、携帯端末４１は映像内で移動して位置が変化する。この場合、携帯端末４１が、認知ができないように加工が施された領域から出てしまい、保護が不十分になる可能性がある。このため、画像上における保護対象の移動が検出された場合、情報処理装置１は、移動に追従して加工を行うことにより、保護対象が画像上で移動したとしても、十分な保護が担保される。

画像の加工方法として、保護対象が含まれる画像の領域を塗りつぶす、モザイクをかける、別画像に置き換えるなどが挙げられる。これらの加工は、少なくとも１つが施されれば足りる。なお、情報処理装置１は車内のユーザに好みの加工を選択させ、選択された加工を施してもよい。これにより、ユーザの嗜好に基づいた加工が施される。なお、情報処理装置１は複数の加工を同時に施してもよい。

また、情報処理装置１は、オブジェクト検出部２３２によって検出されたオブジェクトとは別に、車内のユーザが保護したいオブジェクトが画像に含まれるか否か、車内のユーザの判断結果を受け付ける。車内のユーザによって図３Ａ〜図３Ｃに示すように追加のオブジェクト６０が選択された場合、情報処理装置１は追加のオブジェクト６０にも加工を施し、保護する。このように情報処理装置１によれば、車内のユーザが新たに保護したいオブジェクトも保護される。

（第２実施形態）
次に、図９を参照して、第２実施形態に係る情報処理装置２について説明する。第２実施形態に係る情報処理装置２が第１実施形態に係る情報処理装置１と相違する点は、情報処理装置２がマイク１３を新たに備える点である。第１実施形態と重複する構成については符号を引用してその説明は省略する。以下、相違点を中心に説明する。

マイク１３は、車内の設置され、保護対象となるオブジェクトから出力される音声を取得する。保護対象となるオブジェクトから出力される音声とは、具体的には車内のユーザが発する音声、携帯端末４１から出力される音声、及びナビゲーション装置４２から出力される音声である。マイク１３は、取得した音声をコントローラ２０に出力する。なお、カメラ１０がマイク１３としての機能を有してもよい。カメラ１０がマイク１３としての機能を有する場合、マイク１３が車内に設置される必要はない。

個人情報またはプライバシーに関する情報には、車内のユーザが発する音声、携帯端末４１から出力される音声、及びナビゲーション装置４２から出力される音声も含まれる。携帯端末４１から出力される音声には、電話時の相手方の音声も含まれるため、保護の必要性が高いと想定される。また、ナビゲーション装置４２から出力される音声には、ルート案内に係る音声が含まれるため、保護の必要性が高いと想定される。

第２実施形態において、加工受付部２２は、映像３０の保護に加えて、保護対象となるオブジェクトから出力される音声について、共有したくない音声が含まれるか否か車内のユーザの判断結果を受け付ける。加工受付部２２は、ディスプレイ１２に「音声を保護しますか？」というテキストを表示して、車内のユーザに保護の判断を促すことができる。なお、加工受付部２２は、スピーカを用いて音声で「音声を保護しますか？」と車内のユーザに尋ねてもよい。

加工受付部２２からの問いかけを受けた車内のユーザは、ディスプレイ１２を操作して、音声を保護するか否かを判断する。例えば、車内のユーザはディスプレイ１２に表示された「はい」、「いいえ」のどちらか一方のテキストを選択することにより、音声を保護するか否かを判断する。車内のユーザが、ディスプレイ１２に表示された「はい」のテキストを選択し、音声を保護すると判断した場合、判断結果に係る信号が画像処理部２６に送信される。

第２実施形態において、画像処理部２６は、画像に加工を施す機能に加え、保護対象となるオブジェクトから出力される音声に加工を施す機能も備える。加工受付部２２から判断結果に係る信号を受信した画像処理部２６は、保護対象となるオブジェクトから出力される音声に加工を施す。例えば、画像処理部２６は、保護対象となるオブジェクトから出力される音声をカットする。これにより、共有先では音声が出力されないため、音声は保護される。あるいは、画像処理部２６は、保護対象となるオブジェクトから出力される音声を違う音声に変換してもよい。これにより、共有先では発言している人物を特定することができなくなる。

次に、図１０のフローチャートを参照して、情報処理装置２の一動作例を説明する。

ステップＳ４０１において、要求受付部２１は、車外のユーザなどが所持する携帯端末から発信された、車内の映像３０及び音声の送信要求に係る信号を受信する。なお、要求受付部２１は、車内のユーザによる映像３０及び音声の送信要求に係る信号を受信してもよい。

処理はステップＳ４０３に進み、要求受付部２１は、ディスプレイ１２にカメラ１０によって撮像された現在の車内の映像３０を表示する。さらに、要求受付部２１は、マイク１３によって取得された音声を車内のユーザに提供する。具体的には、要求受付部２１は、スピーカを用いてマイク１３によって取得された音声を車内のユーザに提供する。

処理はステップＳ４０５に進み、加工受付部２２は、ディスプレイ１２に「映像及び音声を保護しますか？」というテキストを表示して、車内のユーザに保護の判断を促す。車内のユーザが、映像３０を保護すると判断した場合（ステップＳ４０５でＹｅｓ）、処理はステップＳ２０１及びステップＳ４０７に進む。なお、映像３０の処理については、図８に示すステップＳ２０１〜２１３と同じであるため、説明を省略する。

ステップＳ４０７において、画像処理部２６は、保護対象となるオブジェクトから出力される音声をカットしたり、違う音声に変換したりして加工を施す。処理はステップＳ４０９に進み、画像処理部２６は、加工を施した音声をユーザに提供する。

ステップＳ４１１〜４１７において、映像３０の処理については、図７に示すステップＳ１０７〜１１３と同じであるため、説明を省略する。ここでは、音声の処理について説明する。

ステップＳ４１１において、保護内容確認部２３４は、音声の保護が十分か否か、車内のユーザの判断結果を受け付ける。車内のユーザが、音声の保護は十分と判断した場合、保護内容確認部２３４は次に、音声の送信を許可するか否か、車内のユーザの判断結果を受け付ける。車内のユーザが、音声の送信を許可した場合（ステップＳ４１１でＹｅｓ）、送信部２４は、音声を車外のユーザが所持する携帯端末または遠隔から車内へのサービスを提供するサービス提供者が使用するコンピュータなどに送信する。これにより、映像３０及び音声の共有が開始する（ステップＳ４１３）。なお、車内のユーザが、音声の送信を許可しない場合（ステップＳ４１１でＮｏ）、処理はステップＳ４０５に戻る。

ステップＳ４１３で音声が共有された後、処理はステップＳ４１５に進み、マイク１３は、引き続き音声を取得する。その後処理はステップＳ４１７に進み、画像処理部２６は、マイク１３によって取得された音声に対し、加工を施し続ける。これにより、音声は保護される。

（作用効果）
以上説明したように、第２実施形態に係る情報処理装置２によれば、以下の作用効果が得られる。

情報処理装置２は、マイク１３によって取得された、保護対象となるオブジェクトから出力される音声に加工を施す。例えば、情報処理装置２は、保護対象となるオブジェクトから出力される音声をカットする。これにより、共有先では音声が出力されないため、音声は保護される。また、情報処理装置２は、保護対象となるオブジェクトから出力される音声を違う音声に変換してもよい。これにより、共有先では発言している人物を特定することができなくなる。

（変形例）
次に、第１実施形態の変形例について説明する。第１実施形態では、カメラ１０は定点から車内を撮像すると説明したが、これに限定されない。例えば、カメラ１０はヘッドマウントディスプレイ（ＨＭＤ）に設けられてもよい。ヘッドマウントディスプレイとは、頭部に装着するディスプレイ装置である。カメラ１０がヘッドマウントディスプレイに設けられる場合、ヘッドマウントディスプレイを装着したユーザの頭部の動きによって、カメラ１０の撮像範囲は変化する。この場合、カメラ１０の撮像範囲は変化に応じて、オブジェクト検出部２３２は保護対象となるオブジェクトが検出し、画像処理部２６は、保護対象となるオブジェクトを車外のユーザなどが認知できないように、映像３０に加工を施す。

車外のユーザまたは遠隔から車内へのサービスを提供するサービス提供者が共有したい映像として、運転席の映像、助手席の映像、後部座席の映像など様々なニーズが想定される。カメラ１０の撮像範囲が可変であれば、このようなニーズを満たすことができる。なお、カメラ１０のヘッド部分が可動式であってもよい。これにより、カメラ１０が設置される位置が固定であっても、ヘッド部分の動きによってカメラ１０の撮像範囲は変化する。

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１、２ 情報処理装置
１０ カメラ
１１ 記憶装置
１２ ディスプレイ
１３ マイク
２０ コントローラ
２１ 要求受付部
２２ 加工受付部
２３ 設定部
２４ 送信部
２５ 追跡部
２６ 画像処理部
２３１ 設定読込部
２３２ オブジェクト検出部
２３３ 領域選択部
２３４ 保護内容確認部

Claims (10)

1. 車内に備えられた撮像装置によって撮像された車内の画像を車外に送信するコントローラを備えた情報処理装置であって、
   前記コントローラは、
   前記画像の送信要求を受け付け、
   前記車内の所定オブジェクトを個人情報またはプライバシーの保護対象として設定し、
   設定された保護対象が、前記画像に含まれる場合、前記保護対象が含まれる前記画像の領域に、前記保護対象を認知できないような加工を施し、
   前記加工が施された画像を車外に送信する
   ことを特徴とする情報処理装置。
2. 前記車内の所定オブジェクトは、前記車内に存在する表示装置、携帯端末またはナビゲーション装置である
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像された画像と、前記加工が施された画像とを表示するディスプレイをさらに備える
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記コントローラは、前記送信要求を受け付けたとき、前記撮像された画像を前記ディスプレイに表示し、前記加工の要否を受け付ける
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記コントローラは、前記加工が施された画像を前記ディスプレイに表示させた後、車外への送信の許可を受け付ける
   ことを特徴とする請求項３または４に記載の情報処理装置。
6. 前記コントローラは、前記画像上における前記保護対象の移動が検出された場合、前記移動に追従して前記加工を施す
   ことを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記コントローラは、前記加工として、前記保護対象が含まれる前記画像の領域を塗りつぶす、モザイクをかける、別画像に置き換える、の少なくともいずれか１つの加工を施す
   ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記所定オブジェクトは予め決定されている、または、車内のユーザによって選択される
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記コントローラは、前記所定オブジェクトから出力される音声を保護するための加工を施す
   ことを特徴とする請求項１〜８のいずれか１項に記載の情報処理装置。
10. 車内に備えられた撮像装置によって撮像された車内の画像の送信要求を受け付け、
    前記車内の所定オブジェクトを個人情報またはプライバシーの保護対象として設定し、
    設定された保護対象が、前記画像に含まれる場合、前記保護対象が含まれる前記画像の領域に、前記保護対象を認知できないような加工を施し、
    前記加工が施された画像を車外に送信する
    ことを特徴とする情報処理方法。