JP2017098857A - 撮像システムおよびその制御方法、撮像装置、情報処理装置 - Google Patents

Abstract

【課題】特定の被写体の動作が検知された場合に被写体の画像の閲覧権限を変更し、被写体の距離情報に応じて秘匿処理の解除および設定を行うこと。【解決手段】撮像システムは、撮像装置１０１と外部装置１０３，１０４を備え、各装置はネットワークを介して互いに通信する。撮像装置１０１は被写体を撮像し、被写体の動作を検知するインテリジェント機能を有する。被写体距離取得部２０３は被写体の距離情報を取得する。閲覧権限テーブル設定部２０８は、外部装置１０３，１０４と被写体画像の閲覧権限とを関連付けた閲覧権限テーブルの設定および変更を行う。外部装置１０３，１０４はリフォーカス画像生成部２２４を備え、閲覧権限テーブルデータを取得してリフォーカス画像を生成する。インテリジェント機能による検知結果に基づいて閲覧権限テーブル設定部２０８が閲覧権限テーブルを変更し、被写体の距離情報に応じて秘匿処理が行われる。【選択図】 図２

Description

本発明は、撮像装置と情報処理装置を備える撮像システムに関し、更に詳しくはリフォーカス可能な画像データを処理する撮像システムに関する。

画像配信システムにおいて、プライバシー保護のために画像の一部をマスクして表示し、ユーザの閲覧権限に応じてマスクを解除する技術がある。特許文献１では、撮像装置が対象画像にモザイク処理等の可逆性の画像加工を行い、復元情報を画像のヘッダに追加する。サーバはユーザの閲覧権限に応じてモザイク解除を行う。また特許文献２では、監視システムにおいて対象画像のマスク処理を撮像装置が行い、ユーザ側では閲覧権限に応じてマスク処理の解除が行われる。２次元画像上で正確にマスク処理やモザイク処理を行うためには、被写体の距離情報を把握する必要がある。何故なら、撮像装置から被写体までの距離が不明のまま、２次元画像情報のみでマスク処理を行った場合、マスク対象の被写体よりも撮像装置側に位置する他の被写体の画像に対してもマスクがかかってしまうからである。

被写体の距離情報の取得方法として、光の強度分布と入射方向の情報を取得可能な、いわゆるライトフィールドカメラを使用する方法がある。特許文献３に開示の装置では、撮像光学系と撮像素子との間にマイクロレンズアレイが配置されており、撮像素子の複数の画素に対して１つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数の画素に入射させる。各画素信号は入射方向ごとに取得された情報を含み、当該情報を用いて距離情報が取得される。任意の焦点面にピントを合わせた画像（リフォーカス画像）を撮影後に再構成可能である。

特開２００９―３３７３８号公報 特開２００５―２８６４６８号公報 特開２０１０―２６８０５２号公報

特許文献１や特許文献２に開示の撮像装置では、動体検知や通過検知等を行う高度検知機能（インテリジェント機能）への対応が困難である。つまり、インテリジェント機能により特定のオブジェクトの検知が行われた場合に、閲覧権限がないユーザは、検知オブジェクトにマスクがかけられていて対象を認識できず、被写体を見逃す可能性がある。また、特許文献３では、撮像装置内で処理が完結しているので、取得した距離情報を外部装置に送信する術がない。
本発明は、特定の被写体の動作が検知された場合に被写体の画像の閲覧権限を変更し、被写体の距離情報に応じて秘匿処理の解除および設定を行うことを目的とする。

本発明の一実施形態に係る撮像システムは、撮像装置と情報処理装置を備え、前記撮像装置は、被写体を撮像する撮像手段と、前記被写体の距離情報を取得する取得手段と、前記情報処理装置と通信する第１の通信手段と、を有し、前記情報処理装置は、前記撮像装置と通信する第２の通信手段を有する。前記撮像装置または前記情報処理装置は、撮像された画像から被写体の動作を検知する検知手段と、前記情報処理装置と前記被写体の画像の閲覧権限とを関連付けて管理情報として管理する管理手段と、前記管理情報を取得し、撮影後にリフォーカス可能な画像データを生成する画像生成手段と、を有する。前記管理手段は、前記検知手段により検知された第１の被写体の前記距離情報を取得して前記閲覧権限の内容を変更し、前記第１の被写体の画像に対して秘匿処理を解除し、前記検知手段により検知されず、かつ前記第１の被写体とは前記距離情報が異なる第２の被写体の画像に対して秘匿処理を行う。

本発明によれば、特定の被写体の動作が検知された場合に被写体の画像の閲覧権限を変更し、被写体の距離情報に応じて秘匿処理の解除および設定を行うことができる。

本発明の実施形態に係る撮像システムの構成例を示すシステム構成図である。 本発明の第１実施形態に係る撮像装置および外部装置の内部構成例を示すブロック図である。 本発明の実施形態における撮像部の構成を示す模式図である。 本発明の実施形態における閲覧権限テーブルの設定処理を示すフローチャートである。 本発明の第１および第２実施形態の閲覧権限テーブルを例示する図である。 本発明の実施形態における配信映像の表示例を示す図である。 本発明の実施形態におけるリフォーカス画像生成処理を示すフローチャートである。 本発明の第２実施形態に係る撮像装置および外部装置の内部構成例を示すブロック図である。 本発明の第３実施形態の閲覧権限テーブルを例示する図である。 本発明の第４実施形態の閲覧権限テーブルを例示する図である。

以下に、添付図面を参照して本発明の各実施形態を説明する。各実施形態では監視システムへの適用例として、通信機能を有する撮像装置および外部装置を備えるシステムを示す。
［第１実施形態］
以下に図１を参照して、本実施形態の撮像システムの構成について説明する。撮像システムは撮像装置１０１と外部装置１０３，１０４を備える。撮像装置１０１と外部装置１０３，１０４とは、ＩＰ（Internet Protocol）ネットワーク１０２を介して相互に通信可能に接続されている。外部装置１０３，１０４は、例えばコンピュータや移動体通信装置等の情報処理装置である。

外部装置１０３，１０４は、撮像装置１０１に対して、撮像パラメータの変更や雲台の駆動、映像ストリーミングの開始等の各種コマンドを送信する。撮像装置１０１は、それらのコマンドに対するレスポンスや映像ストリーミングデータを、外部装置１０３，１０４に送信する。映像ストリーミングデータは、外部装置１０３，１０４によって不図示のハードディスク装置等の記録装置に記録される。

次に図２を参照して、撮像装置１０１と外部装置１０３，１０４について説明する。図２（Ａ）は撮像装置１０１の内部構成例を示すブロック図である。図２（Ｂ）は、外部装置１０３，１０４の内部構成例を示すブロック図である。

撮像部２０１は、撮像光学系を構成するレンズや絞り等の光学部材、撮像素子、焦点位置制御や絞り制御等を行う制御部を備える。撮像部２０１は、撮影後にピントのずれ量を変更する事が可能な画像データ（以下、リフォーカス可能画像という）を生成して出力する。撮像部２０１は、例えばライトフィールドカメラの機能を有する。撮像部２０１は、リフォーカス可能画像を出力する際の、撮像光学系特性情報（以下、光学特性情報という）を出力する。光学特性情報は、撮像光学系のフォーカスレンズ位置や、Ｆナンバー、撮像素子の特性等の情報である。

リフォーカス画像生成部２０２は、撮像部２０１が出力するリフォーカス可能画像と光学特性情報を取得し、目的とする焦点位置に合焦させたリフォーカス画像を生成する。リフォーカス画像については、全ての位置に焦点が合うように調整されたパンフォーカス画像でもよい。

被写体距離取得部２０３は、撮像光学系を通して被写体を撮像する各画素に対する被写体距離の情報を取得する。被写体距離は撮像部２０１から被写体までの距離である。被写体距離情報は、被写体距離を直接的に表す情報または間接的に表す情報（デフォーカス量の情報等）である。取得処理の詳細については後述する。各画素値が被写体距離に置換された画像データであることから、距離画像と称される事がある。あるいは距離マップとも称する。リフォーカス可能範囲算出部（以下、単に範囲算出部という）２０４は、撮像部２０１がリフォーカス可能画像を生成した際の光学特性情報を取得する。範囲算出部２０４は光学特性情報に基づき、リフォーカス可能な距離範囲（以下、リフォーカス範囲という）の情報を算出する。

同期情報生成部２０５は、リフォーカス画像との同期をとるための同期情報を生成してメタデータ生成部２０６へ送る。メタデータ生成部２０６は、被写体距離取得部２０３からの被写体距離情報と、範囲算出部２０４からのリフォーカス範囲の情報と、同期情報生成部２０５からの同期情報を取得してメタデータを生成する。

映像解析部２０７は、外部装置１０３，１０４からの映像解析設定情報を受け付けて、リフォーカス画像生成部２０２から転送された画像を解析する。映像解析部２０７は、以下の機能を有する。
・映像上に設定された通過検知線を横切る人数のカウント機能。
・指定した物体が移動したかどうかの検知機能。
・指定した領域に動体が侵入するかどうかを検出する動体検知機能。
これらはインテリジェント機能による被写体の動作等に関する検知機能の例示であり、その他には、検知オブジェクトの画像座標や大きさの取得機能等がある。

閲覧権限テーブル設定部（以下、単に設定部という）２０８は、映像解析部２０７の解析結果に応じて、オブジェクトの閲覧権限の設定または変更を行う。閲覧権限テーブルは、外部装置１０３，１０４の閲覧権限と、リフォーカス画像生成部２０２で生成した画像内のマスク対象となるオブジェクト（マスク対象オブジェクト）のデータを保持するテーブルであり、管理情報として使用される。本実施形態では被写体の画像の秘匿処理としてマスク処理を説明する。設定部２０８は閲覧要求を受けた外部装置の権限に対応するマスク対象オブジェクト情報を通信部２０９へ送信する。

通信部２０９は外部装置１０３，１０４とデータの送受を行う。例えば、通信部２０９はＩＰネットワーク１０２を経由して、外部装置１０３，１０４からのリクエストコマンドを受信する。また、通信部２０９はＩＰネットワーク１０２を経由して、レスポンスを外部装置１０３，１０４に送信する。例えば、リフォーカス画像は、３０フレーム毎秒（３０ｆｐｓ）の動画ストリームとしてＩＰネットワーク１０２へ送出される。メタデータは、リフォーカス画像と同じ時間間隔で送信されるか、あるいはリフォーカス画像とは異なる時間間隔で送信される。メタデータとして同期情報が付加されているので、受信側装置で同期をとることが可能である。

次に図２（Ｂ）を参照して、外部装置１０３，１０４の内部構成例を説明する。
通信部２２１は撮像装置１０１とのデータの送受を行う。例えば、通信部２２１はＩＰネットワーク１０２を経由して、撮像装置１０１へのリクエストコマンドを送信する。また、通信部２２１はＩＰネットワーク１０２を経由して、撮像装置１０１からのレスポンスを受信する。通信部２２１は受信したレスポンスを制御部２２３に出力し、また画像や音声等のストリーミングデータを撮像装置１０１から受信する。

ユーザの操作入力を受け付ける入力部２２２は、ボタン、十字キー、タッチパネル、ポインティングデバイス等で構成される。受け付けた入力内容は入力部２２２が制御部２２３に通知する。制御部２２３は、外部装置１０３，１０４の各構成要素を統括的に制御する。例えば制御部２２３はＣＰＵ（中央演算処理装置）やメモリデバイス等を備える。また制御部２２３は、通信部２２１からの受信内容であるメタデータや、座標、被写体距離等のマスク対象オブジェクト情報を取得する。

リフォーカス画像生成部２２４は、制御部２２３から出力されるメタデータとマスク対象オブジェクト情報に基づいてリフォーカス画像の再生成を行う。リフォーカス画像生成部２２４は、外部装置１０３，１０４のマスク対象オブジェクト情報に応じてピント量を調整し、特定のオブジェクトの視認性を変更する。

表示部２２５は、ＬＣＤ（液晶ディスプレイ）、有機ＥＬ（Electroluminescence）ディスプレイ等で構成され、ユーザに対して情報を表示する。具体的には、表示部２２５はインテリジェント機能（検知機能）に係る各種設定画面の表示を行い、また撮像装置１０１からのストリーミングデータに基づいて再生成した映像や各種メッセージ等を表示する。なお、本実施形態では図２の撮像装置１０１および外部装置１０３，１０４を例示したが、これらの構成に限らず、音声入力部や音声出力部を撮像装置１０１および外部装置１０３，１０４に設けてもよい。

次に図３の模式図を参照して、撮像部２０１の構成について説明する。図３は被写体側から撮像光学系３０１、マイクロレンズアレイ３０２、撮像素子３０３を示している。マイクロレンズアレイ３０２は撮像素子３０３の前面側（被写体側）に位置し、多数のマイクロレンズを集積して形成される。被写体からの光は、撮像光学系３０１と各マイクロレンズを通過して、撮像素子３０３の各画素の光電変換部に入射する。不図示の被写体面の位置と角度とに応じて撮像素子３０３の互いに異なる画素へ入射する光が光電変換されて、リフォーカス可能画像が形成される。マイクロレンズアレイ３０２は、不図示の被写体面上の異なる位置を通過した光が同一の画素へ入射することを防ぐように機能する。その結果、撮像素子３０３は被写体面上の同一の位置を複数の画素によって撮像する。

撮像部２０１においてリフォーカス範囲は、撮像光学系３０１のＦナンバー値や製造時に定まる画素ピッチΔｘを用いて算出可能である。範囲算出部２０４はリフォーカス範囲を算出して出力する。また、各画素に対応する被写体距離については、リフォーカス可能画像のデータから視差画像を生成し、各画素の位相差を利用して算出することが可能である。また、距離画像については、Ｔｉｍe Ｏｆ Ｆｌｉｇｈｔ方式や、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式等により、不図示の距離画像取得手段を用いて取得することもできる。Ｔｉｍe Ｏｆ Ｆｌｉｇｈｔ方式や、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式により距離画像を取得する場合には、赤外線照明を用いて赤外線を照射することで画素ごとの距離情報を取得できる。被写体距離取得部２０３は被写体距離情報を出力する。

次に図４から図６を参照して、設定部２０８の処理について説明する。図４は処理例を示すフローチャートである。図５は閲覧権限テーブルを例示し、図６は配信映像の表示例を示す。

まず、図４のＳ４０１で設定部２０８は閲覧権限テーブルの初期設定を行う。閲覧権限テーブルの初期設定例を図５（Ａ）に示す。閲覧権限、マスク対象オブジェクト、インテリジェント検知オブジェクトのうち、第１および第２欄については、外部装置１０３，１０４の権限に応じてマスク対象オブジェクトが設定されている。第３欄はインテリジェント検知オブジェクトであり、インテリジェント機能による検知オブジェクトを示す。この時点ではまだ何も検知されていないため、設定されていない。権限については、Ｓ１からＳ４のレベルで定義されている。Ｓ１は一番高い権限であり、マスク対象オブジェクトがない（全てのオブジェクトが閲覧可能）ことを意味する。Ｓ４は一番低い権限であるため、全てのオブジェクトがマスク対象となっていることを意味する。マスク対象オブジェクトとして、Ｓ２の権限に対して人物Ｃ、Ｓ３の権限に対して人物Ａおよび人物Ｂが設定されている。また、このマスク対象オブジェクトに対しては、被写体距離取得部２０３から取得した被写体距離情報を用いてマスク処理が行われる。よって、マスク対象オブジェクトよりも手前（カメラ側）のマスク対象でないオブジェクトに対して、マスクがかかってしまうという問題は起こらない。初期設定値に関しては、設定部２０８にてあらかじめ決まっているか、または後から管理者が変更可能である。また、閲覧権限と外部装置との対応付けに関しても、あらかじめ決まっているか、または後から管理者が変更可能である。

Ｓ４０２は、映像解析部２０７においてインテリジェント機能の検知があったかどうかの判断処理である。インテリジェント機能の検知について図６を参照して具体的に説明する。図６（Ａ）はインテリジェント機能の検知前に撮像部２０１が撮像した画像例を示す。図６（Ｂ）はインテリジェント機能の検知後に撮像部２０１が撮像した画像例を示す。図６（Ａ）に破線６０１で示す矩形領域に動体が侵入すると、その侵入が検知される。図６（Ｂ）は、被写体人物６０４が矩形領域に侵入した場合の画像例を示す。インテリジェント機能の検知が判断されると、図５の閲覧権限テーブルのインテリジェント検知オブジェクトの項目にオブジェクトが追加される。図４のＳ４０２でインテリジェント機能の検知があったと判断された場合、Ｓ４０３へ進み、インテリジェント機能の検知がないと判断された場合にはＳ４０４へ移行して処理を終える。

Ｓ４０３では、インテリジェント機能による検知オブジェクトを任意のユーザに対して表示するために、検知オブジェクトのマスク解除処理が実行される。マスク対象オブジェクトの変更後の閲覧権限テーブルを図５（Ｂ）に例示する。図６（Ｂ）にて、人物Ｃをインテリジェント機能により検知した場合を想定する。この場合、図５（Ｂ）では、図５（Ａ）に示す閲覧権限テーブルから、人物Ｃに対するマスク設定が変更される。つまり、インテリジェント検知オブジェクトの欄に人物Ｃが追加されており、Ｓ２の権限に対して、マスク対象がなくなり、全てのオブジェクトが閲覧可能となる。またＳ４の権限に対して、変更前には全てマスク対象であったが、人物Ｃに対するマスク解除され、人物Ｃの画像のみ閲覧可能となる。
Ｓ４０４では閲覧権限テーブルの設定を終了し、一連の処理を終了する。

インテリジェント機能により一度検知されたオブジェクト（図６の例では人物Ｃ）が再び検知されなくなった場合でも、検知した内容が保持されており、閲覧権限テーブルの変更は行われない。すなわち、インテリジェント機能で一回でも検知されたオブジェクトに対しては、検知領域を出た後でもマスクがかからず、検知オブジェクトに対してフォーカスを維持した状態となる。なお、インテリジェント機能で検知されたオブジェクトを、インテリジェント検知オブジェクトの項目から削除するタイミング、つまり初期設定に戻すタイミングは、例えば検知後に一定時間が経過した時点、または電源の再投入時点等である。

図６および図７を参照して、外部装置１０３，１０４におけるリフォーカス画像生成部２２４の処理について説明する。図７は処理例を示すフローチャートである。図６の画像例では、図５に示すＳ４の権限をもった外部装置を想定する。

Ｓ７０１で制御部２２３は、受信したマスク対象オブジェクトの読み出しを行う。図６の例では外部装置がＳ４の権限に設定されているため、Ｓ４の権限のテーブル情報が読み出される。Ｓ４は最も低い権限であるため、図６（Ａ）に示すインテリジェント機能の検知前には、全てのマスク対象オブジェクトである人物ＡからＣ（６０２、６０３、６０４）の画像にマスク処理が施される。また、図６（Ｂ）に示すインテリジェント機能の検知後には、人物Ｃ（６０４）に対するマスクが解除されるため、マスク対象オブジェクトとして人物Ａ（６０２）と人物Ｂ（６０３）の画像にマスク処理が施される。

Ｓ７０２で制御部２２３は、Ｓ７０１で読み出したマスク対象オブジェクトのオブジェクト情報を読み出す。オブジェクト情報には、座標や、被写体距離情報等が含まれる。Ｓ７０３で制御部２２３はオブジェクトの視認性の変更をリフォーカス画像生成部２２４に指示する。視認性の変更処理はライトフィールドデータを用いて行われる。ライトフィールドデータ処理では、図３の撮像素子３０３にて各画素の複数の光電変換部に各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）が検出される。マイクロレンズアレイ３０２の各マイクロレンズと撮像素子３０３の各画素との位置関係に応じて、マイクロレンズを介して各画素に入射した光線の入射方向（方向情報）が取得される。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ３０２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にある画素の各出力を合成することで得られる。ライトフィールドデータに含まれる光線情報と方向情報を取得し、光線の並べ替えと計算処理を行うこと（再構成）により、任意のフォーカス位置での画像データを生成することができる。

インテリジェント機能の検知前の図６（Ａ）では、被写体人物６０２、６０３、６０４に対して焦点がよく合っておらず、視認性の低い画像が表示されている。一方、インテリジェント機能の検知後の図６（Ｂ）では、被写体人物６０２と６０３に対しては焦点がよく合っておらず、視認性の低い画像となっているが、被写体人物６０４（人物Ｃ）に対しては焦点が合っており、視認性の良い画像となっている。

Ｓ７０４で制御部２２３は対象となる被写体の画像オブジェクトが全てマスクされたかどうかを判断する。マスクすべきオブジェクトが全てマスクされていると判断された場合、Ｓ７０５へ進み、未だマスクされていないオブジェクトがあると判断された場合には、Ｓ７０２へ戻って処理を続行する。Ｓ７０５ではマスク処理を終えて一連の処理を終了する。

本実施形態では、インテリジェント機能で特定のオブジェクトが検知された場合に、閲覧権限の内容を変更する処理が行われる。これにより、通常の設定では閲覧ができないユーザに対して、インテリジェント機能により検知されたオブジェクトの閲覧を行えるように処理が変更される。また、ライトフィールドデータを用いて撮像装置から被写体までの距離情報を取得することができる。よって、マスク対象となる被写体とは撮像装置からの距離が異なる、マスク対象でない別の被写体の画像に対してマスク処理が実行されてしまう可能性を低減できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、視認性を変更するリフォーカス画像生成部が外部装置ではなく、撮像装置に含まれる構成について説明する。図８（Ａ）は本実施形態の撮像装置１０１の内部構成を例示し、図８（Ｂ）は外部装置１０３，１０４の内部構成を例示するブロック図である。図８において、図２に示す構成と同様の部分については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同じである。

リフォーカス画像生成部８０１は撮像装置１０１の内部にあり、映像解析部２０７と閲覧権限テーブル設定部２０８の入力を受けて、オブジェクトの視認性の変更を行う。そして視認性を変更された画像データは通信部２０９へ出力される。外部装置１０３，１０４では、通信部２２１が受信した画像をそのまま表示部２２５の画面に表示する。
本実施形態では、視認性の変更処理を行うリフォーカス画像生成部を撮像装置が備えるので、外部装置はリフォーカス画像を生成する必要がなく、構成を簡単化できる。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、外部装置１０３，１０４の閲覧権限に応じて視認性の度合いを変更する。以下では、図９の閲覧権限テーブルを参照して説明する。

図９は、図５（Ａ）の初期設定時のテーブルに本実施形態を適用した場合の閲覧権限テーブルを示している。図９では、図５のテーブルに「ぼかし度合い」の項目が追加されている点が相違する。閲覧権限に応じて、「ぼかし度合い」を設定することができる。本実施形態にて「ぼかし度合い」は、「なし」、「低」、「中」、「高」の４段階で設定され、権限が低いほど「ぼかし度合い」が高くなる。フォーカス調整にてピント量を調整することにより、視認性の変更処理が行われる。例えば、「ぼかし度合い」が「高」に設定されている場合、ピント位置を大幅にずらし、「低」に設定されている場合にはピント位置を微小にずらす調整が行われる。

本実施形態では、外部装置の閲覧権限に応じて視認性の度合いが変更される。そのため、権限に応じて細かなぼかし設定を行うことができる。また、モザイク処理等を行わず、ピントのずれ情報を用いてぼかし設定を詳細に行えるので、被写体画像の視認性を閲覧権限に応じて変更可能である。

［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、オブジェクトの視認性を、インテリジェント検知領域（予め指定された領域）の境界線からの被写体の距離に応じて変更する。インテリジェント検知領域の境界線から遠い位置では、閲覧権限に応じたぼかし度合いに制御される。被写体が境界線に近づくにつれてぼかし度合いが小さく制御されるので、被写体を認識し易くなる。以下、図１０を参照して本実施形態の閲覧権限テーブルの設定方法について説明する。

図１０は、閲覧権限テーブルの初期設定が図９（第３実施形態）となっている場合において、人物Ｃがインテリジェント検知領域の境界線に近づいて来たために、「ぼかし度合い」の設定が「中」となった場合の閲覧権限テーブルを示している。この場合、設定部２０８はＳ４の権限に設定されている外部装置に対して、人物Ｃのぼかし度合いを「高」から「中」へと変更する。この変更処理では、マスク対象オブジェクトの権限に応じた「ほかし度合い」と、インテリジェント機能で検知したオブジェクトの「ぼかし度合い」とが比較され、「ぼかし度合い」が低い方、つまり画像をより良好に認識できる方の度合が選択される。例えば、Ｓ２の権限をもつ外部装置では、人物Ｃの権限に応じた「ぼかし度合い」が「低」であり、インテリジェント機能で検知したオブジェクトの「ぼかし度合い」が「中」である。このため、インテリジェント機能で人物Ｃが検知された後も、「ぼかし度合い」は「低」のままとなり、「中」に変更されることはない。

本実施形態では、被写体画像の視認性が、インテリジェント検知領域の境界線と被写体との距離に応じて変更される。そのため、インテリジェント検知領域の境界線に近づきそうな被写体に対してプライバシーを保護しつつ、視認性の高い設定を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば各実施形態では、撮像された画像に基づく被写体の動作の検知機能を撮像装置が有し、指定された領域への被写体の侵入等を検知する処理を行うが、その機能の一部または全部を外部の情報処理装置（サーバ等）が備える形態でもよい。また、外部装置と被写体画像の閲覧権限とを関連付けて管理する閲覧権限テーブルの設定部を撮像装置が備える実施形態を例示して説明した。これに限らず、閲覧権限テーブル等の管理情報を用いた管理機能の一部または全部を外部の情報処理装置が備える形態でもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
１０３，１０４ 外部装置
２２４，８０１ リフォーカス画像生成部
２０３ 被写体距離取得部
２０４ リフォーカス可能範囲算出部
２０７ 映像解析部
２０８ 閲覧権限テーブル設定部
３０１ 撮像光学系
３０２ マイクロレンズアレイ
３０３ 撮像素子

Claims (13)

1. 撮像装置と情報処理装置を備える撮像システムであって、
   前記撮像装置は、
   被写体を撮像する撮像手段と、
   前記被写体の距離情報を取得する取得手段と、
   前記情報処理装置と通信する第１の通信手段と、を有し、
   前記情報処理装置は、前記撮像装置と通信する第２の通信手段を有しており、
   前記撮像装置または前記情報処理装置は、
   撮像された画像から被写体の動作を検知する検知手段と、
   前記情報処理装置と前記被写体の画像の閲覧権限とを関連付けて管理情報として管理する管理手段と、
   前記管理情報を取得し、撮影後にリフォーカス可能な画像データを生成する画像生成手段と、を有し、
   前記管理手段は、前記検知手段により検知された第１の被写体の前記距離情報を取得して前記閲覧権限の内容を変更し、前記第１の被写体の画像に対して秘匿処理を解除し、前記検知手段により検知されず、かつ前記第１の被写体とは前記距離情報が異なる第２の被写体の画像に対して秘匿処理を行うことを特徴とする撮像システム。
2. 情報処理装置と通信する機能を有する撮像装置であって、
   被写体を撮像する撮像手段と、
   前記被写体の距離情報を取得する取得手段と、
   撮像された画像から被写体の動作を検知する検知手段と、
   前記情報処理装置と前記被写体の画像の閲覧権限とを関連付けて管理情報として管理する管理手段と、
   前記管理情報を取得し、撮影後にリフォーカス可能な画像データを生成する画像生成手段と、を備え、
   前記管理手段は、前記検知手段により検知された第１の被写体の前記距離情報を取得して前記閲覧権限の内容を変更し、前記第１の被写体の画像に対して秘匿処理を解除し、前記検知手段により検知されず、かつ前記第１の被写体とは前記距離情報が異なる第２の被写体の画像に対して秘匿処理を行うことを特徴とする撮像装置。
3. 前記管理情報は、前記閲覧権限の情報と、秘匿処理の対象である被写体の情報、前記第１の被写体の情報を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像手段は、撮像光学系と、マイクロレンズアレイと、該マイクロレンズアレイの複数のマイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子を備え、
   前記画像生成手段は、被写体からの光の強度分布および入射方向の情報を有するライトフィールドデータを用いて前記リフォーカス可能な画像データを生成することを特徴とする請求項２または３に記載の撮像装置。
5. 前記管理手段は、前記画像生成手段により、前記第１の被写体に対して焦点が合っており、かつ前記第２の被写体に対して焦点が合っていない画像データを生成することで前記秘匿処理を行うことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
6. 前記画像生成手段は前記秘匿処理にて、前記閲覧権限に対応するぼかし度合いにより視認性が変更された画像データを生成することを特徴とする請求項５に記載の撮像装置
7. 前記検知手段は、指定された領域に動体が侵入した場合に当該動体を前記第１の被写体として検知することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
8. 前記管理手段は、前記指定された領域の境界線と前記被写体との距離を前記検知手段から取得して前記閲覧権限の内容を変更し、前記画像生成手段により前記被写体の画像の視認性が変更された画像データを生成することを特徴とする請求項７に記載の撮像装置。
9. 前記画像生成手段は、前記第１の被写体が前記境界線に近づいた場合、前記第１の被写体が前記境界線から離れている場合に比べて前記第１の被写体の画像の視認性を高くした画像データを生成することを特徴とする請求項８に記載の撮像装置。
10. 前記管理手段は、前記第１の被写体が前記検知手段によって検知されなくなった場合でも、変更された前記閲覧権限の内容を保持することを特徴とする請求項２から９のいずれか１項に記載の撮像装置。
11. 前記管理手段は、前記第１の被写体が前記検知手段によって検知されなくなった場合でも、前記第１の被写体の画像に対して秘匿処理を解除した状態を維持することを特徴とする請求項２から１０のいずれか１項に記載の撮像装置。
12. 撮像装置と通信する機能を有する情報処理装置であって、
    前記撮像装置から被写体の画像および距離情報を取得する取得手段と、
    前記被写体の画像から当該被写体の動作を検知する検知手段と、
    前記情報処理装置と前記被写体の画像の閲覧権限とを関連付けて管理情報として管理する管理手段と、
    前記管理情報を用いて、撮影後にリフォーカス可能な画像データを生成する画像生成手段と、を備え、
    前記管理手段は、前記検知手段により検知された第１の被写体の前記距離情報を取得して前記閲覧権限の内容を変更し、前記第１の被写体の画像に対して秘匿処理を解除し、前記検知手段により検知されず、かつ前記第１の被写体とは前記距離情報が異なる第２の被写体の画像に対して秘匿処理を行うことを特徴とする情報処理装置。
13. 互いに通信する撮像装置と情報処理装置を備える撮像システムにて実行される制御方法であって、
    前記撮像装置が被写体を撮像するステップと、
    前記撮像装置または情報処理装置の検知手段が撮像された画像から被写体の動作を検知するステップと、
    前記撮像装置または情報処理装置の取得手段が前記被写体の距離情報を取得するステップと、
    前記撮像装置または情報処理装置の管理手段が前記情報処理装置と前記被写体の画像の閲覧権限とを関連付けて管理情報として管理する管理ステップと、
    前記撮像装置または情報処理装置の画像生成手段が前記管理情報を取得し、撮影後にリフォーカス可能な画像データを生成する画像生成ステップと、を有し
    前記管理ステップにて前記管理手段は、前記検知手段により検知された第１の被写体の前記距離情報を取得して前記閲覧権限の内容を変更し、前記第１の被写体の画像に対して秘匿処理を解除し、前記検知手段により検知されず、かつ前記第１の被写体とは前記距離情報が異なる第２の被写体の画像に対して秘匿処理を行うことを特徴とする撮像システムの制御方法。
    
    
    
    

Images