JP2011101161A - 撮像装置、その制御方法、再生装置およびプログラム - Google Patents

Abstract

【課題】手間をかけることなく、撮影場面に応じて最適な保護を撮影画像内の被写体に施すことができる撮像装置を提供する。
【解決手段】撮像部１１で撮影が開始されると、制御部１５は、画像解析部１３に対し、画像処理部１２で画像処理された撮影画像の撮影画角内に存在する被写体を認証させる（Ｓ２）。制御部１５は、画像解析部１３に対し、認証した被写体の判断パラメータに従った被写体情報を判断情報蓄積部３２に蓄積させる（Ｓ３）。撮影が停止されると、制御部１５は、画像解析部１３に対し、蓄積された被写体情報から各被写体のプライバシー保護レベルを算出させる（Ｓ５）。制御部１５は、画像解析部１３からのプライバシー保護情報を付属情報（メタデータ）として、混合器１４により画像処理部１２からの画像情報に付加し、記録媒体１８に記録する（Ｓ６）。
【選択図】図７

Description

本発明は、画像を撮影して記録する撮像装置、その制御方法、再生装置およびプログラムに関する。

近年、デジタルカメラやデジタルビデオカメラで撮影した動画像や静止画像がインターネットを通じて公開されている。しかし、主被写体とは別に写り込んでしまった個人や物などが画像処理されることなく、このような動画像や静止画像は、そのままアップロードされている。この結果、このような動画像や静止画像に登場する被写体に対し、プライバシーの侵害となるおそれがあった。

これに対し、撮影画像に登場する被写体のプライバシーを保護する技術として、予め顔情報データベースを準備しておき、そのデータベースに一致しない顔が検出された場合、その顔にモザイクなどの画像処理を施すという技術が知られている（特許文献１参照）。

特開２００４−６２５６０号公報

しかしながら、上記従来の技術では、あらかじめ顔情報をデータベースに登録しておく必要があるので、事前の準備に手間がかかるという問題があった。また、撮影場面によってはモザイク等の画像処理をかけたくない被写体になることがあるにも関わらず、モザイク等の画像処理がかかってしまうという問題があった。

そこで、本発明は、手間をかけることなく、撮影場面に応じて最適な保護を撮影画像内の被写体に施すことができる撮像装置、その制御方法、再生装置およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像を撮影して記録する撮像装置において、撮影画像から被写体を認識する認識手段と、前記認識手段によって認識された被写体の情報を蓄積する蓄積手段と、前記蓄積手段によって蓄積された被写体の情報に基づき、前記認識手段によって認識された被写体の保護情報を取得する取得手段と、前記保護情報を前記撮影画像の付属情報として出力する出力手段とを有し、前記撮影画像に前記付属情報を関連付けて記録することを特徴とする。

本発明の請求項１に係る撮像装置は、蓄積された被写体の情報に基づき、認識された被写体の保護情報を取得し、この保護情報を撮影画像の付属情報として出力し、撮影画像に付属情報を関連付けて記録する。これにより、手間をかけることなく、撮影場面に応じて最適な保護を撮影画像内の被写体に施すことができる。この結果、意図せずに写りこんでしまった他人のプライバシーを保護することができ、動画や静止画などの画像公開の文化に重要な役割を果たすことができる。

請求項２に係る撮像装置によれば、再生時に適切に画像処理を施すことができる。

請求項３に係る撮像装置によれば、主たる被写体とその他の被写体がどのような登場関係にあるのかを判断することができる。例えば、基準となる主たる被写体に対してかけ離れた数値が算出される被写体がある場合、それはその被写体と主たる被写体との関係が薄いと判断することができる。

請求項４に係る撮像装置によれば、被写体同士の比較ではなく、撮影画像における被写体の占有状態から、絶対値的に保護情報を判断することができる。

請求項５に係る撮像装置によれば、画像情報の再生時、保護情報からプライバシーの保護が必要な被写体に対してだけ画像処理を施すことができる。

請求項６に係る撮像装置によれば、保護が必要な被写体であるか否かの判別が容易となる。

請求項７に係る撮像装置によれば、被写体の顔部分をプライバシー保護対象として捉えることができる。

請求項８に係る撮像装置によれば、ユーザの操作性を向上させることができる。

請求項９に係る撮像装置によれば、例えば、ホームページ上へのアップロード時に適切に画像処理を施すことができる。

第１の実施形態における撮像装置１０の撮影に係わる部分の構成を示すブロック図である。 画像解析部１３の内部の構成を示す図である。 判断パラメータに応じたプライバシー保護レベルを示すプライバシー保護用の判断テーブルである。 撮像装置１０で再生される動画像および撮影・記録時の動画像を表示する表示画面の例を示す図である。 撮影時間に対する判断パラメータの変化を示すグラフである。 被写体ごとにプライバシー保護レベルが算出されたプライバシー保護用の判断テーブルである。 撮影動作手順を示すフローチャートである。 撮像装置１０の撮影画像の再生に係わる部分の構成を示すブロック図である。 再生動作手順を示すフローチャートである。 プライバシー保護情報をもとにプライバシー保護機能を使用した場合の再生画像を表示する表示画面を示す図である。 第２の実施形態における絶対値的な判断方法を説明する図である。

本発明の撮像装置、その制御方法、再生装置およびプログラムの実施の形態について図面を参照しながら説明する。本実施形態の撮像装置は、動画像や静止画像を撮影して記録するとともに、再生することが可能な撮像装置に適用される。

［第１の実施形態］
図１は第１の実施形態における撮像装置１０の撮影に係わる部分の構成を示すブロック図である。撮像装置１０は、撮像部１１、画像処理部１２、画像解析部１３、混合器１４、制御部１５、表示部１６、操作部１７、記録媒体１８などを備える。撮像部１１は撮影画像を取り込む。画像処理部１２は、撮像部１１から得られた画像情報を処理する。画像解析部１３は、画像情報からプライバシー保護をかけるべき被写体を抽出する。混合器１４は、画像処理部１２から出力される情報に画像解析部１３からの情報を付加する。制御部１５は各部デバイスに命令を出す。表示部１６は動作状況や画像を表示する。操作部１７はユーザからの操作を受け付ける。記録媒体１８は動画像や静止画像を記録する。

このような構成を有する撮像装置１０において、画像を撮影する際の処理の流れについて簡単に説明する。なお、図中の矢印は、撮影時における信号あるいは情報の流れを示す。撮像部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子、画像を拡大・縮小するためのズームレンズ、画像の焦点を合わせるフォーカスレンズなどで構成され、映し出される光学的な情報を電気的な情報に変換する役割を持つ。特に図示していないが、撮像部１１には音声マイクなども含まれる。この音声マイクを用い、撮像部１１は、画像と合わせて音声情報を取得する取得部としても働く。

撮像部１１から出力される画像や音声の情報は画像処理部１２に入る。画像処理部１２は、画像の画質補正処理を行うと共に、画像や音声の情報を圧縮（エンコード）する機能を持つ。また、画像処理部１２は、画像や音声以外の情報も付加する機能を持つ。特に図示していないが、例えば、ＧＰＳ（Global Positioning System）機能が装備されている場合、撮影した場所や時間などの情報を取得することができる。また、明るさや被写物によって撮像装置の動作パラメータが変わる場合、その設定情報なども取得することができる。これらの情報は、画像処理部１２に集約され、付属情報（メタデータ）として映像や音声の情報と一緒に保存された後、再生時に利用される。

画像解析部１３は、画像処理部１２の処理と合わせて動作する。画像解析部１３では、プライバシー保護をかけるべき被写体を抽出するための処理が行われ、その保護される被写体の情報が付属情報として出力される。この付属情報は主にプライバシーを保護するための情報であり、この情報も再生時に利用される。

画像処理部１２と画像解析部１３から出力された情報は、混合器１４で合成されて記録媒体１８に記録される。記録媒体１８は、光ディスクとしてのＤＶＤ（Digital Versatile Disc）、磁気記録媒体としてのＨＤＤ（Hard disc Drive）、半導体メモリを用いたＳＳＤ（Solid State Drive）などに相当する。

動画撮影や静止画撮影、撮影モードや再生モード、撮影の開始や停止などの動作モードの切り替えは、ユーザが操作部１７を操作することによって行われる。操作部１７は、ユーザが直接操作できる部分であり、機械的なボタンスイッチや切り替えスイッチなどのインターフェース部分である。ユーザが操作部１７を操作することで、操作部１７から制御部１５に信号が送られる。制御部１５は、この信号に基づき、各デバイスを制御する。

制御部１５は、ＣＰＵ（Central Processing Unit）を持つマイクロコンピュータであり、撮像装置１０の頭脳として働く。制御部１５は、ユーザの命令を各デバイスに送るだけでなく、動作モードに応じたシステムの制御なども合わせて行う。撮影画像や動作状態などは表示部１６に表示される。表示部１６として、一般的にＬＣＤ（Liquid Crystal Display）などが用いられる。

つぎに、画像解析部１３で行われる処理の概要を説明する。図２は画像解析部１３の内部の構成を示す図である。画像解析部１３は、被写体認識部３１、判断情報蓄積部３２、プライバシー保護レベル算出部３３、付属情報生成部３４などから構成される。被写体認識部３１は、画像における被写体を検出する部分であり、人物や動物などの、背景とは異なる動的な被写体を識別する部分である。なお、被写体認識部３１には、後述する顔認識機能、色認識機能や形状認識機能が含まれる。

判断情報蓄積部３２には、図３に示すプライバシー保護用の判断テーブルにおける、プライバシー保護に関連するパラメータが準備されている（以後、これを判断パラメータと定義する）。図３は判断パラメータに応じたプライバシー保護レベルを示すプライバシー保護用の判断テーブルである。ここでは、判断パラメータとして、顔データ精度、顔検出持続時間、顔検出枠の大きさ、画角内滞在度、フレームアウト回数、被写体の大きさ、被写体までの距離などの判断要素が示されている。これらの判断パラメータは、判断条件に従って、プライバシー保護レベルとして、「１」〜「５」の値に分けられる。具体的に、顔データ精度が正確でないほど、プライバシー保護レベルは「高」となる。また、顔検出持続時間が短いほど、プライバシー保護レベルは「高」となる。また、顔検出枠の大きさが小さいほど、プライバシー保護レベルは「高」となる。また、画角内滞在度が低いほど、プライバシー保護レベルは「高」となる。また、フレームアウト回数が多いほど、プライバシー保護レベルは「高」となる。また、被写体の大きさが小さいほど、プライバシー保護レベルは「高」となる。また、被写体までの距離が短いほど、プライバシー保護レベルは「高」となる。

判断情報蓄積部３２は、撮影画像内において各判断パラメータが時間に応じてどのように変わっていくかという情報を蓄積していく働きを行う（以後、この情報をサンプリング情報と定義する）。

プライバシー保護レベル算出部３３は、判断情報蓄積部３２から得られたサンプリング情報を利用し、図３に示すプライバシー保護用の判断テーブルに対し、プライバシー保護が必要であるか否かの程度を設定する。以後、この程度をプライバシー保護レベルと定義する。プライバシー保護レベル算出部３３は、各被写体のプライバシー保護レベルをまとめ、付属情報として付加できる形式の情報に変換する（以後、このようにまとめて変換されたプライバシー保護レベルのことをプライバシー保護情報と定義する）。

付属情報生成部３４は、このプライバシー保護情報を出力する。この出力されたプライバシー保護情報は、画像情報と合成される。

つぎに、実際の動画像を用いて、画像解析部１３で行われる処理について説明する。図４は撮像装置１０で再生される動画像および撮影・記録時の動画像を表示する表示画面の例を示す図である。同図（ａ）は撮像装置１０で撮影された動画像を再生しているときの表示画面を示す。表示画面５５０には、動画像が表示されている。この表示画面５５０は、撮像装置１０で再生される場合、表示部１６に表示される。表示画面５５０には、被写体５５１、５５２、状態表示５５３などが表示されている。また、状態表示５５３として、動作状態やタイムコードなどが表示されている。ここでは、再生状態が示されている。

なお、図中の矢印は、時間的な流れの方向を示しており、図示されている表示画面の左から右に行くに従って、時間が進むことを意味する。以後、同様の図においては、図中の左から右へ時間が流れているものとする。図４（ａ）の状況として、被写体５５１は画面中央に静止状態で立っている。一方、被写体５５２は被写体５５１の後方を走り抜けているような状況にある。

同図（ｂ）は同図（ａ）の動画像を撮影しているときの表示画面を示す。近年のデジタルビデオカメラやデジタルカメラでは、前述した顔認識機能が付属しており、本実施形態の撮像装置においてもこの機能が付属している。この顔認識機能により、表示画面５５０には、顔検出枠５６１、５６２などが表示されている。

同図（ｂ）では、被写体５５１に関して、終始顔認識枠が表示されており、顔を認識し続けている状態にあることがわかる。一方、後方を走り抜ける被写体５５２に関しては、登場してもしばらく顔認識されず、途中で一旦顔認識することができるものの、すぐにフレームアウトしてしまうという状態にあることがわかる。

また、図４（ｂ）を用いて、本実施形態の撮像装置を説明すると、画像解析部１３は、一連の動画像に対し、まず、被写体認識部３１により、この動画像に被写体５５１および被写体５５２が登場することを検出する。さらに、画像解析部１３は、背景に対して動的に存在しているものを検出し、この検出と合わせて顔認識や色認識など様々な方法で被写体を認識していく。

そして、画像解析部１３は、このように認識されたそれぞれの被写体の登場状態が、図３に示すプライバシー保護用の判断パラメータに対し、時間が進むにつれてどのように変わっていくかを、判断情報蓄積部３２でサンプリング情報として蓄積していく。

プライバシー保護レベル算出部３３は、これらサンプリング情報を利用して各被写体のプライバシー保護レベルを算出する。最後に、付属情報生成部３４は、画像情報の付属情報として付加されるプライバシー保護情報を出力する。

ここで、判断情報蓄積部３２で行われる動作を、プライバシー保護用の判断パラメータ（図３参照）を用いて説明する。撮像装置１０に顔検出機能などが備わっている場合、プライバシー保護レベルを設定するための判断パラメータとして、顔情報に関するものを準備することができる。これにより、被写体の顔部分をプライバシー保護対象として捉えることができる。

図５は撮影時間に対する判断パラメータの変化を示すグラフである。同図（ａ）は各種の判断パラメータの中から顔データ精度を一例として示す。図５（ａ）では、図４（ａ）の一連の動画像に対し、手前に立っている被写体５５１と後方を走り抜ける被写体５５２のサンプリング情報が示されている。

また、図５（ａ）に示すグラフの縦軸は顔データ精度を表す。その横軸は撮影時間を表す。また、このグラフには、被写体５５１の顔データ精度サンプリング値６７３、および被写体５５２の顔データ精度サンプリング値６７４が示されている。

図４（ｂ）を参照すると、被写体５５１については、終始顔検出されており、この顔の情報が時間の経過とともに蓄積されていく。従って、図５（ａ）では、被写体５５１の顔データ精度サンプリング値６７３は右肩上がりとなり、精度が良くなっていることがわかる。

一方、後方を走り抜ける被写体５５２は、横を向いており、顔検出されてもすぐに画角外にフレームアウトしてしまう。このため、図５（ａ）では、被写体５５２の顔データ精度サンプリング値６７４は、顔検出されると上がるものの、全体的に低い状態である。

また、被写体の画角内の滞在時間やフレームアウト回数なども判断パラメータとして使用することができる。被写体認識部３１は、顔だけではなく色や形などでも被写体を認識する。図５（ｂ）では、判断パラメータとして画角内滞在度のサンプリング情報が示されている。

図５（ｂ）に示すグラフの縦軸は画角内滞在度を表す。その横軸は撮影時間を表す。また、このグラフには、被写体５５１の画角内滞在度サンプリング値６８３、および被写体５５２の画角内滞在度サンプリング値６８４が示されている。

図４（ｂ）を参照すると、被写体５５１は終始画角内に滞在しているので、図５（ｂ）では、被写体５５１の画角内滞在度サンプリング値６８３は横ばいのデータとなっている。一方、被写体５５２は、画角外にいたが、画角内に一時的に入って、そして画角外に抜け出ているので、被写体５５２の画角内滞在度サンプリング値６８４は途中だけ高くなるようなデータとなる。

その他、ズームレンズやフォーカスレンズの位置検出や、被写体５５１と被写体５５２のそれぞれの画像の合焦具合などを利用することで、被写体の大きさや、被写体までの距離なども検出することができる。これらの情報もプライバシー保護用の判断パラメータとして使用することができる。勿論、判断パラメータとしては、図３に示したもの以外にも考えられ、画像や音声から得られる情報は、全て判断パラメータとして利用することが可能である。

このようにして蓄積されたサンプリング情報を用いて、プライバシー保護レベル算出部３３は、各被写体のプライバシー保護レベルを算出して決定する。ここで、プライバシー保護レベルを算出するために、図３に示す判断テーブルを使用することは前述したとおりである。また、プライバシー保護レベルの算出には、相対値的な方法と絶対値的な方法を用いることができる。つまり、基準となる被写体に対してその他の被写体の状態がどの程度であるかを判断する判断方法と、画角全体（画面全体）に対して各被写体の状態がどの程度であるかを判断する判断方法とが適用可能である。これらの方法の違いは比較基準の違いによる。

相対値的な方法では、比較基準が時々刻々と変化することが特徴である。一方、絶対値的な方法では、比較基準が変化せず固定していることが特徴である。まず、前者の相対値的な方法により判断する場合について説明する。

図５（ａ）を用いて説明すると、被写体５５１は、顔データ精度が高いので、この動画像において、撮影者が積極的に撮影したい被写体である可能性が高い。そこで、被写体５５１を主被写体（主たる被写体）と考え、基準となる被写体に設定する。被写体５５１を主被写体として扱うので、被写体５５２はその他の被写体（第三者の被写体）ということになる。

被写体５５１を基準としたことにより、被写体５５２の顔データ精度がどの程度低いのかという数値を算出することができる。例えば、プライバシー保護レベルの「５」から「１」を、それぞれ顔データ精度の１００％から８１％、８０％から６１％、６０％から４１％、４０％から２１％、２０％から０％に割り当てたとする。

ある時間において、被写体５５１の顔データ精度を１００％とした場合、被写体５５１の顔データ精度のサンプリング情報に対する、被写体５５２の顔データ精度のサンプリング情報が比較により算出される。その数値が２０％である場合、図６（ａ）、（ｂ）に示すように、被写体５５１のプライバシー保護レベルは「１」、被写体５５２のプライバシー保護レベルは「５」となる。図６は被写体ごとにプライバシー保護レベルが算出されたプライバシー保護用の判断テーブルである。同図（ａ）は被写体５５１の場合を示し、同図（ｂ）は被写体５５２の場合を示す。

この相対的な方法は、複数の被写体が登場する場合に有効であり、主被写体とそれ以外の被写体の相対関係を利用するので、この方法には、主たる被写体とその他の被写体がどのような登場関係にあるのかを判別しやすいというメリットがある。例えば、基準となる被写体に対してかけ離れた数値が算出される被写体がある場合、それはその被写体と主被写体との関係が薄いことを意味する。従って、その被写体は、意図せずに写りこんでしまった被写体である可能性が高く、プライバシー保護されるべき被写体であると考えられる。

この方法で全ての時間におけるプライバシー保護レベルを算出し、それを平均化することで最終的なプライバシー保護レベルが決まってくる。なお、この相対的な方法は、図５（ｂ）に示す画角内滞在度についても同じように適用できる。

このような相対値的な方法を用いて、平均化したプライバシー保護レベルを算出すると、被写体５５１については、図６（ａ）に示すように、全体的にプライバシー保護レベルは低く算出される。一方、被写体５５２については、図６（ｂ）に示すように、プライバシー保護レベルが高めに算出される。最終的に、撮影画像の付属情報として付加されるプライバシー保護情報は、プライバシー保護レベルにおいて、例えば「５」から「１」を点数と見立て、その点数の平均を算出した値として得られる。

具体的に、図６（ａ）、（ｂ）の点数を平均してみると、被写体５５１の平均点は１．４３点となり、被写体５５２の平均点は４．４３点となる。この平均点が高いほど、意図せずに写りこんでしまった被写体であり、プライバシー保護されるべき被写体である可能性が高い。逆に、この平均点が低いほど、撮影者が積極的に撮影した被写体であると考えることができる。これにより、保護が必要な被写体であるか否かの判別が容易となる。なお、平均点を算出することなく、プライバシー保護レベルの合計値をプライバシー保護情報として、この合計値からプライバシー保護が必要な被写体か否かを判断するようにしてもよい。また、本実施形態では、複数の判断パラメータによる複数のプライバシー保護レベルからプライバシー保護情報が得られたが、１つの判断パラメータ（判断要素）による１つのプライバシー保護レベルからプライバシー保護情報を得るようにしてもよい。

このような数値をプライバシー保護情報として付属情報生成部３４から出力し、画像情報に付加しておくことで、動画像の再生時や、インターネット上のホームページなどに動画像をアップロードする際の画像処理に利用することができる。なお、記録媒体に記録された動画像のアップロードは、撮像装置から直接に行われてもよいし（送信手段）、パソコン等を介して行われてもよい。

また、被写体があるにも関わらず被写体認識部３１で認識できない場合、そのプライバシー保護レベルは鑑賞時に被写体として認識できないレベルであるということになるので、他人が見たとしても、プライバシーは保護できていると考えられることを特筆しておく。

図７は撮影動作手順を示すフローチャートである。この処理プログラムは制御部１５内のＲＯＭに格納されており、制御部１５内のＣＰＵによって実行される。制御部１５は、操作部１７から所定の操作が行われると、撮像部１１に対して所望の撮影を開始させる（ステップＳ１）。

制御部１５は、画像解析部１３に対し、撮像部１１で撮影され、画像処理部１２で画像処理された撮影画像の撮影画角内に存在する被写体を認証させる（ステップＳ２）。

そして、制御部１５は、画像解析部１３に対し、認証した被写体の判断パラメータに従った被写体情報を判断情報蓄積部３２に蓄積させる（ステップＳ３）。

制御部１５は、操作部１７からユーザの操作によって撮影が停止されたか否かを判別する（ステップＳ４）。撮影が停止されていない場合、制御部１５は、ステップＳ２に戻って同様の処理を行う。

一方、撮影が停止されると、制御部１５は、画像解析部１３に対し、蓄積された被写体情報から各被写体のプライバシー保護レベルを算出させる（ステップＳ５）。画像解析部１３は、算出した各被写体のプライバシー保護レベルからプライバシー保護情報を算出する。

制御部１５は、画像解析部１３からのプライバシー保護情報を付属情報（メタデータ）として、混合器１４により画像処理部１２からの画像情報に付加し、記録媒体１８に記録する（ステップＳ６）。この後、制御部１５は本処理を終了する。なお、画像情報に付属情報を関連付ける際、画像情報に付属情報を付加して１つのファイルとしてもよいし、別々のファイルとして記録するようにしてもよい。

これにより、本実施形態の撮像装置のような、プライバシー保護機能を持った再生機で、このプライバシー保護情報が付加された画像が再生されると、適切なプライバシー保護処理が働き、他人のプライバシーを保護することが可能となる。

つぎに、このプライバシー保護情報を使用して再生する場合について説明する。図８は撮像装置１０の撮影画像の再生に係わる部分の構成を示すブロック図である。まず、記録媒体１８に記録済みの撮影画像を再生する際の処理の流れについて説明する。なお、図中の矢印は、再生時における信号あるいは情報の流れを示す。

ユーザが操作部１７を操作し、表示部１６に表示される所望の画像を選択すると、制御部１５から発せられる命令に従って、画像処理部１２は、記録媒体１８から圧縮（エンコード）された画像情報を読み出す。

画像処理部１２は、プライバシー保護情報が付加された画像を再生する機能を有し、読み出された画像情報を伸張（デコード）して再生を開始する。再生画像は表示部１６に表示され、ユーザはその内容を確認することができる。なお、特に図示していないが、撮像装置１０は外部出力端子などを備えてもよく、この外部出力端子に接続されたＴＶなどの外部表示機器で鑑賞することも可能である。

また、画像処理部１２で伸張された画像には、撮影時に画像情報と一緒に記録された、撮影した場所や時間の情報、撮像装置の設定情報などが付属情報（メタデータ）として、含まれている。これら情報は再生時の追加情報として表示部１６に表示される。

図９は再生動作手順を示すフローチャートである。この処理プログラムは制御部１５内のＲＯＭに格納されており、制御部１５内のＣＰＵによって実行される。制御部１５は、操作部１７から所定の操作が行われると、画像処理部１２に対し、記録媒体１８から圧縮された画像情報を読み出させる（ステップＳ１１）。

制御部１５は、画像処理部１２に対し、読み出された画像情報にプライバシー保護情報が含まれているか否かを判別させる（ステップＳ１２）。プライバシー保護情報が含まれていない場合、制御部１５は、ステップＳ１５の処理に進む。

一方、プライバシー保護情報が含まれている場合、制御部１５は、画像処理部１２に対し、プライバシー保護が必要な被写体であるか否かを判別させる（ステップＳ１３）。プライバシー保護が必要な被写体でない場合、制御部１５は、ステップＳ１５の処理に進む。

一方、プライバシー保護が必要な被写体である場合、制御部１５は、画像処理部１２により、プライバシー保護が必要な被写体に対し、モザイク処理、ぼかし処理、マーク画像の重畳処理等の画像処理を施す（ステップＳ１４）。

そして、制御部１５は、ステップＳ１４で画像処理が施された画像情報の再生動作を行い、表示部１６に再生画像を表示する（ステップＳ１５）。この後、制御部１５は本処理を終了する。なお、ステップＳ１２でプライバシー保護情報が含まれていない場合、あるいはステップＳ１３でプライバシー保護が必要な被写体でない場合、ステップＳ１５では、画像処理が施されることなく、画像情報の再生動作が行われる。

図１０はプライバシー保護情報をもとにプライバシー保護機能を使用した場合の再生画像を表示する表示画面を示す図である。撮像装置１０では、記録媒体１８から読み出された情報にプライバシー保護情報が入っている場合、画像処理部１２はプライバシー保護情報を検出することができる。

前述した例の場合、被写体５５１ではプライバシー保護レベルの平均点が１．４３点、被写体５５２ではプライバシー保護レベルの平均点が４．４３点という情報が撮影画像に含まれている。画像処理部１２は、このプライバシー保護情報を検出すると、前述したステップＳ１３において、ある閾値以上の点数がついた被写体をプライバシー保護が必要な被写体であると判断する。

例えば、３点以上の被写体は、プライバシー保護対象であると設定されている場合、画像処理部１２は、その被写体に対しては著しく解像度を落とす、モザイク処理、ぼかし処理、マーク画像の重畳処理等の画像処理を施す。図１０では、被写体５５２はプライバシー保護が必要な被写体であり、その顔の部分には画像処理８１１が施されている。これにより、プライバシー保護が必要な被写体に対してだけ画像処理を施すことができる。

なお、プライバシー保護が必要な被写体であるという情報を、プラバシー保護情報とともにあるいは代わりに記録媒体に記録するようにしてもよい。この場合、画像情報の再生時、プライバシー保護情報からプライバシー保護が必要な被写体であるか否かを判断する処理が不要となり、再生時の処理が簡単になる。

また、プライバシー保護機能の有無や、プライバシー保護を機能させる閾値レベルを、ユーザが任意に設定することも可能である。また、このプライバシー保護機能を働かせた状態で再生動作などを行う場合、表示画面５５０にその状態を知らせるプライバシー保護マーク８１２などを表示して鑑賞者に知らせてもよい。

このように、第１の実施形態の撮像装置によれば、手間をかけることなく、撮影場面に応じて最適なプライバシー保護を撮影画像内の被写体に施すことができる。

［第２の実施形態］
前記第１の実施形態では、相対値的な判断方法、すなわち被写体同士を比較し、プライバシー保護レベルを判断する方法を示した。しかし、プライバシー保護用の判断テーブル（図３参照）におけるいくつかの判断パラメータについては、被写体同士の比較ではなく、撮影画角（撮影画像）における被写体の占有状態から、絶対値的にプライバシー保護レベルを判断することもできる。第２の実施形態では、絶対値的な判断方法について説明する。なお、第２の実施形態の撮像装置の構成および動作は前記第１の実施形態と同様である。

図１１は第２の実施形態における絶対値的な判断方法を説明する図である。図１１（ａ）は顔検出枠の撮影画角に対する大きさを表す。図１１（ａ）の左図に示すように、被写体５５１、５５２にそれぞれ顔検出枠５６１、５６２が表示された場合、右図に示すように、これらの顔検出枠５６１、５６２を占有面積として考えることもできる。つまり、撮影画角の面積９２１に対し、顔検出枠５６１、５６２の占有面積はそれぞれ面積９２２、９２３となる。なお、ここでは、「面積」という用語を使用したが、撮像装置におけるＣＣＤ等の撮像素子の「画素数」に置き換えて考えてもよい。

近年のフルハイビジョン画質などでは、水平方向に１９２０個、垂直方向に１０８０個の画素が配列されている。この場合、１９２０×１０８０個の画素によって構成される大きさが撮影画角の面積と考えることができる。

同様に、面積９２２、９２３についても占有される画素の数を算出することが可能である。撮影画角の面積９２１を基準とした場合、この基準に対する顔検出枠の面積が大きければ大きいほど、撮影者が積極的に撮影した顔であるということになる。逆に、小さければ小さいほど、意図せずに写りこんでしまった顔である可能性が高い。

例えば、画角の面積９２１を１００％とすると、面積９２２は撮影画角の面積に対して３０％、面積９２３は撮影画角の面積に対して５％に算出できたものとする。顔を画角一杯に拡大して表示することは少ないので、プライバシー保護レベル「１」から「５」に対し、１００％〜４１％、４０％〜３１％、３０％〜２１％、２０％〜１１％、１０〜０％と重みをつけて分割し、それぞれを割り当てておく。このように設定すると、被写体５５１のプライバシー保護レベルは「３」、被写体５５２のプライバシー保護レベルは「５」であると判断することができる。

同様に、図１１（ｂ）は被写体の大きさを表す。被写体認識部３１は、背景に対して動的な被写体を認識する。図１１（ｂ）の左図には、そのときの認識領域が示されている。認識領域９３１、９３２は、被写体５５１、５５２の大きさを示すことになる。この場合も、前述と同様に、撮影画角の面積９３３と被写体の面積９３４、９３５と考えることができる。

この画角に対する被写体の面積が大きければ大きいほど、撮影者が積極的に撮影した被写体であると考えられるので、プライバシー保護レベルは低くなる。逆に、面積が小さければ小さいほど、意図せずに写りこんでしまった被写体である可能性が高いので、プライバシー保護レベルは高くなる。

このように、第２の実施形態の撮像装置によれば、撮影画角に対する占有面積による絶対値的な判断方法を用いてプライバシー保護が必要な被写体を判別することができる。また、撮影画角に対する占有面積による絶対値的な判断方法と、前述した被写体同士の比較による相対値的な判断方法を合わせて使用することで、より正確にプライバシー保護が必要な被写体の判別を行うことが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上記実施形態の一部を適宜組み合わせてもよい。

特に、撮影時に本発明の機能を使うことについて詳述してきたが、この機能を持っていない撮像装置で撮影された画像コンテンツに対しても、本発明の機能を実施することも可能である。また、本発明の機能を使用することで、既に撮影してしまった画像コンテンツにプライバシー保護を施すための処理を施すことも可能である。

また、プライバシー保護レベルの算出に、ユーザの意図を含ませてもよく、判断パラメータへの重み付けや、手動でプライバシー保護したい被写体を選択するような仕組みにしてもよい。また、複数の判断パラメータのうち、ユーザが必要とする判断パラメータを選択できるようにしてもよい。また、判断パラメータに基づくプライバシー保護情報と比較される閾値を、ユーザが任意に設定できるようにしてもよい。

このような機能により、作業者が意識しなくとも、各被写体に対してプライバシー保護レベルが算出され、プライバシー保護情報が付加されるので、再生時やホームページ上へのアップロード時に適切な画像処理が施される。また、結果として、意図せずに写りこんでしまった他人のプライバシーを保護することができ、動画や静止画などの画像公開の文化に重要な役割を果たす機能であると考えられる。

また、上記実施形態では、プライバシー保護の対象として、被写体の顔の部分を検出し、顔の部分に対し、モザイク処理、ぼかし処理、マーク画像の重畳処理等の画像処理を施す場合を示したが、プライバシー保護の対象としては、これに限られない。例えば、色検出機能や形状検出機能を用いて特定の色や形を有する部分を検出し、これらの部分をプライバシー保護の対象として画像処理を施すようにしてもよい。

また、上記実施形態では、撮影画像は動画像である場合を示したが、静止画像であってもよいことは勿論である。

また、上記実施形態では、撮像素子としてＣＣＤ素子が用いられたがＣＭＯＳ素子が用いられてもよいことは勿論である。

また、表示部としては、液晶ディスプレイに限らず、有機ＥＬディスプレイ、表面電界ディスプレイ（ＳＥＤ）、プラズマディスプレイなどを用いてもよい。また、表示部として、バックライト方式のＬＣＤパネルを用いているが、有機ＥＬディスプレイなどの自発光型の表示手段を用いてもよい。

また、本発明は、撮像装置として、デジタルカメラの他、監視カメラなどにも適用可能である。さらには、本発明は、撮像装置を有し、タッチパネルを用いたパーソナルコンピュータやＰＤＡといった機器に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ 撮像装置
１２ 画像処理部
１３ 画像解析部
１５ 制御部
３１ 被写体認識部
３２ 判断情報蓄積部
３３ プライバシー保護レベル算出部
３４ 付属情報生成部

Claims (12)

1. 画像を撮影して記録する撮像装置において、
   撮影画像から被写体を認識する認識手段と、
   前記認識手段によって認識された被写体の情報を蓄積する蓄積手段と、
   前記蓄積手段によって蓄積された被写体の情報に基づき、前記認識手段によって認識された被写体の保護情報を取得する取得手段と、
   前記保護情報を前記撮影画像の付属情報として出力する出力手段とを有し、
   前記撮影画像に前記付属情報を関連付けて記録することを特徴とする撮像装置。
2. 前記撮影画像を再生する再生手段と、
   前記付属情報に基づき、前記再生手段によって再生される撮影画像内の被写体に画像処理を施す画像処理手段とを有することを特徴とする請求項１記載の撮像装置。
3. 前記取得手段は、
   前記認識手段によって認識された被写体のうち、主たる被写体を選択する選択手段を有し、
   前記選択手段によって選択された主たる被写体の前記蓄積手段によって蓄積された情報と、他の被写体の前記蓄積手段によって蓄積された情報とを比較し、この比較の結果から前記保護情報を取得することを特徴とする請求項１記載の撮像装置。
4. 前記取得手段は、前記撮影画像の大きさと、前記認識手段によって認識された前記撮影画像内の被写体の大きさとを比較し、この比較の結果から前記保護情報を取得することを特徴とする請求項１記載の撮像装置。
5. 前記保護情報に基づき、保護が必要な被写体であるか否かを判別する判別手段を有することを特徴とする請求項１記載の撮像装置。
6. 前記取得手段は、前記認識手段によって認識された被写体に対し、少なくとも１つの判断要素による値を算出し、前記算出された判断要素による値を前記保護情報として取得し、
   前記判別手段は、前記算出された判断要素による値が閾値以上である場合、前記保護が必要な被写体であると判別し、前記算出された判断要素による値が閾値に達しない場合、前記保護が必要な被写体でないと判別することを特徴とする請求項５記載の撮像装置。
7. 前記認識手段によって認識された被写体の顔を検出する顔検出手段を有し、
   前記蓄積手段は、前記被写体の情報として、前記顔検出手段によって検出された顔の情報を蓄積することを特徴とする請求項１記載の撮像装置。
8. ユーザによる前記判断要素の選択および前記閾値の設定が可能であることを特徴とする請求項１記載の撮像装置。
9. 前記撮影画像を送信する送信手段と、
   前記付属情報に基づき、前記送信手段によって送信される撮影画像内の被写体に画像処理を施す画像処理手段とを有することを特徴とする請求項１記載の撮像装置。
10. 請求項１乃至９のいずれか１項に記載の撮像装置によって記録された前記撮影画像を再生する再生手段と、
    前記付属情報に基づき、前記再生手段によって再生される撮影画像内の被写体に画像処理を施す画像処理手段とを有することを特徴とする再生装置。
11. 画像を撮影して記録する撮像装置の制御方法において、
    撮影画像から被写体を認識する認識ステップと、
    前記認識ステップで認識された被写体の情報を蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された被写体の情報に基づき、前記認識ステップで認識された被写体の保護情報を取得する取得ステップと、
    前記保護情報を前記撮影画像の付属情報として出力する出力ステップと、
    前記撮影画像に前記付属情報を関連付けて記録する記録ステップとを有することを特徴とする撮像装置の制御方法。
12. 画像を撮影して記録する撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、
    前記制御方法は、
    撮影画像から被写体を認識する認識ステップと、
    前記認識ステップで認識された被写体の情報を蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された被写体の情報に基づき、前記認識ステップで認識された被写体の保護情報を取得する取得ステップと、
    前記保護情報を前記撮影画像の付属情報として出力する出力ステップと、
    前記撮影画像に前記付属情報を関連付けて記録する記録ステップとを有することを特徴とするプログラム。

Images