JP2008017224A

JP2008017224A - 撮像装置、撮像装置の出力制御方法及びプログラム

Info

Publication number: JP2008017224A
Application number: JP2006187104A
Authority: JP
Inventors: Kazunori Kita; 一記喜多
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-07-06
Filing date: 2006-07-06
Publication date: 2008-01-24

Abstract

【課題】撮影した画像に多くの関連した情報を付加して簡単な操作で出力できるものとしながら、同時に個人情報やプライバシーに関わる情報の発信を確実に阻止する。
【解決手段】被写体像を撮影する撮影レンズ群17、ＣＣＤ18を含む撮像系と、撮影で取得した画像情報を当該画像情報に関連した複数項目の関連情報と対応付けて１レコードとして記録する記録媒体89と、記録したレコードを装置外部へ出力する外部入出力Ｉ／Ｆ97及び外部入出力端子27と、出力を制限する関連情報の項目と制限内容とを指定する操作入力部104 及び入力回路96と、レコードの出力に際し、指定内容に基づいて複数項目の関連情報及び画像情報の少なくとも一つを制限したレコードを出力させる制御回路83とを備える。
【選択図】図４

Description

本発明は、予め撮影条件を指定したシーンプログラム撮影機能を有するデジタルカメラ等に好適な撮像装置、撮像装置の出力制御方法及びプログラムに関する。

従来、写真や撮影画像のデータはカメラの撮影処理や画像信号処理を制御するために重要な情報源であった。そのため、歴史の古いカメラメーカーでは、各種カメラマン等が撮影した膨大な写真データベースや撮影頻度データ等を元に、撮影シーン毎に最適な撮影条件が設定できるようにカメラの制御部を設計し、あるいは被写体輝度と被写体距離の頻度データ等をカメラに内蔵して撮影シーンの推定機能を設け、あるいは被写体輝度から最も頻度の高い被写体距離を推測して、最適と思われる合焦位置や露光条件、ホワイトバランスなどの撮影処理を行なうようにカメラを設計する場合もあった。

しかるに、銀塩フィルムを用いたカメラ（以下「銀塩カメラ」と称する）に代わって、画像情報を電子データの形で記録して保存することができるデジタルカメラが主流となった昨今では、銀塩カメラで撮影した写真と異なり、カメラユーザの特性、撮影目的、撮影対象や撮影条件、利用頻度など多くの要因が異なるものとなる。

加えて、時の流れに連れて消費者であるデジタルカメラユーザの好みや望ましい画質も変化するため、銀塩カメラ時代の写真の履歴データがあったとしても、デジタルカメラでの撮影や新しいカメラユーザの嗜好に合わせて情報を収集し更新し続ける必要がある。

一方で、パーソナルコンピュータやカメラ機能付きの携帯電話機、インターネット等の普及に伴い、カメラから個人の撮影画像や撮影情報をアップロードして特定のサーバ装置などに収集することも技術的には可能となった。

しかしながら、個人情報やプライバシーにも関わる情報であることなど解決しなければならない問題もあり、個人情報を含む撮影情報を収集する場合にはその体制や漏洩防止策を厳しく管理する必要がある。

また、カメラメーカーが所有する画像や、ユーザからの投稿等による譲渡画像のみをデータベースに利用するものとした場合、サンプル数が少なく、統計データの信頼性が低下し、あるいはカメラユーザの新しい傾向をカバーしきれないという不具合を生じることになる。

これら収集された多くの画像を効率よく検索する手段として、その画像コンテンツの「特徴」や特定のシーンを指し示す「しおり」等を付加しておき、これらを直接の検索対称とすることでコンテンツ検索に変える方法がある。

これらのメタデータの記述方法等を定めた各種のメタデータ記述規格も、汎用用途ではＤｕｂｌｉｎＣｏｒｅやＭＰＥＧ７（ＩＳＯ／ＩＥＣ１５９３８，ＭｕｌｔｉｍｅｄｉａＣｏｎｔｅｎｔＤｅｓｃｒｉｐｔｉｏｎＩｎｔｅｒｆａｃｅ）、ニュース・ＴＶ放送等のコンテンツではＳＭＰＴＥやＥＢＵのＰ／Ｍｅｔａ、ＴＶ−Ａｎｙｔｉｍｅ、ＸＭＬＮｅｗｓ、ＮｅｗｓＭＬなど各種標準化が進んでいる。

また特許文献では、例えば撮影時の被写体距離、レンズ焦点距離、ストロボ光源情報やフィルム処理情報、露出不足画像の補正必要情報などの撮影情報を着脱自在な記録媒体に記録するようにした「外部記憶装置に情報を記録するカメラ」の技術が記載されている。（特許文献１）
ＭＰＥＧ７は、ＭＰＥＧ１，２，４のような動画データの圧縮符号化の規格とは異なり、マルチメディア・コンテンツに対するメタデータの表記方法に関する標準規格であり、コンテンツのタイトルや政策関連情報、コンテンツの内容など、人間の認識レベルに近い記述ツールから、映像コンテンツの視覚オブジェクトの色、形状、模様、動きなど、信号処理で自動的に得られる逓レベルの特徴記述ツールまで表記方法が提供されている。

このようにＭＰＥＧ７は、他のＳＭＰＴＥやＥＢＵのＰ／Ｍｅｔａ、ＴＶ−Ａｎｙｔｉｍｅなど特定用途向けの他のメタデータ記述規格と異なり、アプリケーションや取扱い形態、コンテンツの形態については規定していないので、様々な用途やコンテンツに利用できる。
特開平０２−３０６２２８号公報

しかしながら、一般ユーザがデジタルカメラで撮影を行なった場合に、パーソナルコンピュータ等で特徴データを逐一記述したり、あるいは特徴抽出作業を行なうのに上記ＭＰＥＧ７の技術を用いることは非常に煩雑な作業が必要で、現実的ではない。

一般のデジタルカメラでは、撮影日時や画像サイズ、露出条件などの撮影情報を、画像データと共にＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅｉｍａｇｅｆｉｌｅｆｏｒｍａｔ）ヘッダ等に記録できるものは多いが、そのままでは画像の内容や特徴に関する情報が少ないため、多数の画像から画像内容で検索するのには有効でなく、さらに多くの情報を付加する必要がある。

しかして、上述したように、個人情報やプライバシーにも関わる情報を含むその他の多くの情報を画像データに付加して発信することも考えられるが、その場合に、それらの情報を制限するに際して、制限すべき項目は個々のユーザ毎の判断に委ねられる部分が多く、一律に規定することができない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮影した画像に多くの関連した情報を付加して簡単な操作で出力できるものとしながら、同時に個人情報やプライバシーに関わる情報の発信を確実に阻止することが可能な撮像装置、撮像装置の出力制御方法及びプログラムを提供することにある。

本発明の一態様は、被写体像を撮影する撮像手段と、この撮影手段での撮影で取得した画像情報を当該画像情報に関連した複数項目の関連情報と対応付けて１レコードとして記録する記録手段と、この記録手段で記録したレコードを装置外部へ出力する出力手段と、この出力手段での出力を制限する関連情報の項目と制限内容とを指定する指定手段と、上記出力手段でのレコードの出力に際し、上記指定手段での指定内容に基づいて複数項目の関連情報及び画像情報の少なくとも一つを制限したレコードを上記出力手段により出力させる出力制御手段とを具備したことを特徴とする。

上記本発明の一態様によれば、撮影した画像に多くの関連した情報を付加して簡単な操作で出力できるものとしながら、指定した内容に応じて個人情報やプライバシーに関わる情報の発信を確実に阻止することが可能となる。

以下本発明をコンパクトタイプのデジタルカメラに適用した場合の実施の一形態について図面を参照して説明する。

図１は本発明に係るデジタルカメラ１０の主にその外観構成を示すもので、図１（Ａ）が正面図、図１（Ｂ）が左側面図、図１（Ｃ）が背面図である。

このデジタルカメラ１０の正面、左端上部に撮影光学系受光窓１１が配置される他、同正面の略中央上部にストロボ発光部１２、同正面の左端に沿ってグリップ部１３が配置される。

また、デジタルカメラ１０の上面、右端側には、電源スイッチ１４及びシャッタスイッチ１５が配置される。

図１（Ｂ）は、このデジタルカメラ１０内部の撮影光学系の構成を透視して示すものである。このデジタルカメラ１０は、撮影系に屈折光学系を採用するものとし、上記撮影光学系受光窓１１より入射した光像は、ミラー（またはプリズム）１６で４５°反射されてこのデジタルカメラ１０の筐体に平行な光束とされた後、撮影レンズ群１７を介した後に撮像素子であるＣＣＤ１８上で結像される。

撮影レンズ群１７は、インナーフォーカス方式及びインナーズーム方式を採用しており、撮影光軸に沿って適宜所定のレンズが移動することによりズーム角度及びフォーカス位置を変化させるものとしている。

また、デジタルカメラ１０の背面には、基本モードである撮影モードと再生モードとを切換えるモード切替スイッチ１９、ズームスイッチ２０、リング状のカーソルキー２１、同カーソルキー２１の中央に位置するエンターキー２２、ディスプレイ切替キー２３、メニューキー２４の各種操作キーが配置されると共に、バックライト付きのカラー液晶パネルでなる表示部２５が配置される。

この表示部２５は、撮影モード時には上記ＣＣＤ１８で結像されている画像を他の各種撮影条件の情報等と共にスルー表示する電子ファインダとして機能する一方で、再生モード時には選択した画像を表示するモニタ表示部として機能する。

また、デジタルカメラ１０の筐体底面には、記録媒体であるメモリカード及び電源であるリチウムイオン充電池パックを収納するための収納蓋２６が設けられると共に、例えばＵＳＢコネクタによる外部入出力端子２７が配設される。

図２は、上記デジタルカメラ１０に代わる、本実施の形態の他のデジタルカメラ１０′の外観構成を例示するものである。図２（Ａ）は左後方からの背面構成を示す図、図２（Ｂ）は同背面側の各種媒体収納構成を示す図である。

前面側に撮影レンズ部３１、マイクロホン３２を備えるデジタルカメラ１０′は、その左側面にバックライト付きのカラー液晶パネルでなる表示部３３を備える。この表示部３３は、その基部が互いに直交する２軸に沿ってそれぞれ所定角度範囲内で回動可能となることで、非使用時には画面をデジタルカメラ１０′内面側に向けて収納可能となると共に、使用時には引き起こしてユーザの好みに応じ、図２（Ａ）に示す如く画面を任意の方向に向けることが可能となる。

この表示部３３も、上記デジタルカメラ１０の表示部３３と同様に撮影モード時には電子ファインダとして、再生モード時にはモニタ表示部として機能する。

デジタルカメラ１０′の背面には、その上側より、スピーカ３４、ズームスイッチ３５、撮影スイッチ３６、リング状のカーソルスイッチ３７、該カーソルスイッチ３７の中央に位置した再生スイッチ３８、電源／モード切替スイッチ３９、外部入出力端子４０，４１が配設される。

これらのうち、スピーカ３４を除く各スイッチ３５〜３９、及び外部入出力端子４０，４１は、デジタルカメラ１０′の筐体背面側を形成する開閉蓋４２の外面に形成されるもので、この開閉蓋４２は図２（Ｂ）に示すようにデジタルカメラ１０′本体に対して片開きで開閉することができる。この開閉蓋４２を開けた状態で、図示する如く共に記録媒体であるハードディスクユニット４３とメモリカード４４とをそれぞれ所定の位置に着脱可能となる。

図３は、上記デジタルカメラ１０の概念的なシステム構成を示すものである。同図で、上記電源スイッチ１４、シャッタスイッチ１５、モード切替スイッチ１９、ズームスイッチ２０、カーソルキー２１、エンターキー２２、ディスプレイ切替キー２３、及びメニューキー２４を含む操作入力部５１でのキー操作信号が撮影・記録制御部５２、撮影条件設定部５３、特徴抽出・記述設定部５４、及び送信情報設定部７７に与えられる。

撮影・記録制御部５２は、撮影部５５、信号処理部５６、画像データメモリ５７、特徴抽出部５８に対して撮影条件や動作タイミング等を制御することで撮影とその撮影に伴って得られる画像データの記録とを制御する。

撮影部５５は、上記撮影レンズ群１７及びＣＣＤ１８を含み、撮影によるデジタル値の画像データを得て信号処理部５６へ出力する。

信号処理部５６は、撮影部５５から与えられる画像データに所定のプロセス処理等を施した上でバッファメモリとして機能する画像データメモリ５７へ出力する。

この画像データメモリ５７に保持された画像データは必要により上記特徴抽出部５８と画像・動画像圧縮／符号化部５９に読出される。

画像・動画像圧縮／符号化部５９は、例えば画像データが静止画像であればＪＰＥＧ、動画像であればＭＰＥＧの規格に従ってデータ圧縮と符号化等を行ない、得た符号化データとしての画像データを多重化部６０及び上記特徴抽出部５８へ出力する。

上記特徴抽出・記述設定部５４は、操作入力部５１でのキー操作信号と上記撮影条件設定部５３から与えられる撮影条件とに従って特徴抽出を行なう要素とその記述方法とを設定し、上記特徴抽出部５８及び特徴データ符号化部６１へ送出する。

特徴抽出部５８は、上記特徴抽出・記述設定部５４で設定された特徴情報に基づき、上記画像・動画像圧縮／符号化部５９が出力するデータ圧縮を施した画像データに対して特徴抽出処理を行なって処理結果である「特徴抽出Ａ」を得る一方で、上記画像データメモリ５７が出力する、データ圧縮前の画像データに対しても特徴抽出処理を行なって処理結果である「特徴抽出Ｂ」を得る、というように特徴抽出処理を特徴抽出・記述設定部５４から設定される特徴情報の数に応じて実行し、それらの処理結果を特徴データ符号化部６１、比較回路６２へ出力する。

特徴データ符号化部６１は、特徴抽出部５８で抽出された特徴量のデータを符号化して特徴記述データとした上で上記多重化部６０及び更新記録制御部６３へ出力する。

多重化部６０は、画像・動画像圧縮／符号化部５９から与えられる画像データと、特徴データ符号化部６１から与えられる特徴記述データとを多重化して関連付けた上でメモリ制御部６４へ出力する。

メモリ制御部６４は、このデジタルカメラ１０の記録媒体である画像データメモリ６５に画像データと特徴記述データとを関連付けて最大その容量に応じた分だけ記録する。この画像データメモリ６５に記憶された画像データ及び特徴記述データは、必要により外部入出力部６６によってこのデジタルカメラ１０の外部の装置、例えば図示しないパーソナルコンピュータ等に読出される。

上記更新記録制御部６３は、特徴データ符号化部６１からの特徴記述データを用い、すでに特徴記述データに基づいて撮影シーンと撮影条件とを記憶する撮影履歴データ記憶部６７の内容を更新設定する。

この撮影履歴データ記憶部６７の記憶内容は、上記比較回路６２及び送信データ選別部７６へ適宜読出される。

比較回路６２は、特徴抽出部５８から与えられる（撮影により得た）画像データから抽出した特徴量のデータと統計記憶部６７に記憶される特徴量のデータとを比較し、その比較結果を上記撮影条件設定部５３へ出力する。

また、上記画像データメモリ６５の記憶する画像データは、画像変換部７４により必要により一部が変換され、画像データに関連する各種情報は送信データ選別部７５により必要により一部の項目が制限された後に外部入出力部６６より外部へ出力される。

上記送信データ選別部７６は、撮影履歴データ記憶部６７から与えられる撮影履歴データの一部を必要により制限した上で外部入出力部６６より外部へ出力させる。

送信情報設定部７７は、上記画像変換部７４、送信データ選別部７５、及び送信データ選別部７６での各種データの変換、制限の内容を操作入力部５１での操作に対応して設定する。

一方で、上記画像データメモリ６５及び撮影履歴データ記憶部６７の各記憶内容はそれぞれ、外部入出力部６６を介して外部から入力される内容によって適宜書き換えられる。

しかるに、書き換えられた画像データメモリ６５の内容は、再生制御部６８からの指示を受けたメモリ制御部６４により取り出され、多重分離部６９により画像データと特徴記述データとに分離されて、画像データは画像・動画像伸張／復号化部７０へ、特徴記述データは特徴データ複合化部７１へそれぞれ送出する。

画像・動画像伸張／復号化部７０は、上記画像・動画像圧縮／符号化部５９でのデータ圧縮とは全く逆の手順で、データ圧縮、符号化されている画像データを伸長して復号化し、上記再生制御部６８へ出力する。

この再生制御部６８は、送られてきた画像データを画像データメモリ５７に一旦記憶させた上でこれを読出して表示制御部７２へ出力させる。

表示制御部７２は、上記再生制御部６８からの制御の下に、画像データメモリ５７から読出された画像データから表示データを作成し、表示部７３を表示駆動して当該画像を表示させる。この表示部７３は、上記表示部２５とその駆動回路とで構成する。

次に図４により上記デジタルカメラ１０の具体的な回路構成を、外部機器との接続等も併せて例示する。同図は、上述した図３の概念的なシステム構成とは多少接続関係等が異なる。

同図で、撮影レンズ群１７はその一部のレンズがレンズドライバ８０に駆動されて光軸中の位置を移動させ、撮影光像をＣＣＤ１８に結像させる。このＣＣＤ１８で得られる画像信号が映像信号処理部８１に送られ、デジタル化された後に各種プロセス処理を経て画像メモリ８２及び制御回路８３に送られる。

また、音声録音時及び動画撮影時にはマイク８４により入力された音声信号がアンプ８５で増幅された後にＡ／Ｄ変換回路８６でデジタル化され、音声メモリ８７に保持される。

制御回路８３は、画像メモリ８２に保持された画像データ及び音声メモリ８７に保持された音声データを読出し、圧縮符号化・伸長復号化８８で所定のデータ圧縮処理を施した後にメモリカード等の着脱自在な記録媒体８９に記録させる。

一方で、制御回路８３は上記画像メモリ８２から読出した画像データ及び音声メモリ８７から読出した音声データを特徴抽出／認識処理部９０へも送出する。

この特徴抽出／認識処理部９０は、シーン・撮影条件の履歴データメモリ９１に記憶される内容に基づいて画像データ、音声データの特徴抽出を行ない、抽出結果のデータファイルを上記圧縮符号化・伸長復号化８８に送出して、元の画像データ、音声データに併せて記録媒体８９に記録させる。

シーン・撮影条件の履歴データメモリ９１の内容は、適宜上記制御回路８３により更新設定される。

制御回路８３は、プログラムメモリ９２に固定的に記憶されている動作プログラムに基づき、データメモリ９３に適宜必要なデータの書込み／読出しを行ないながら画像と音声の記録／再生動作を含むこのデジタルカメラ１０全体の制御動作を実行するものであり、他に撮影制御部９４、表示制御部９５、入力回路９６、外部入出力インタフェース９７、ハードディスクインタフェース（ＨＤＤ・ＩＦ）９８、及びＤ／Ａ変換回路９９とも接続される。

撮影制御部９４は、測距センサ１００で得られるセンサ出力から測光／測距部１０１が出力する測距データと制御回路８３からの制御信号とに基づき、上記レンズドライバ８０、ＣＣＤ１８、及び映像信号処理部８１での撮影動作を制御する。

表示制御部９５は、制御回路８３より与えられる表示データに基づいて上記表示部２５を表示駆動することで、この表示部２５を撮影時には電子ファインダとして、再生時には表示モニタとして機能させる。

入力回路９６は、上記電源スイッチやシャッタスイッチ等の各種キースイッチからなる操作入力部１０４からの操作信号を受付けて制御回路８３に送出する。

外部入出力インタフェース９７は、上記外部入出力端子２７と制御回路８３との間で各種規格に従ったデータ等を送受する。

ハードディスクインタフェース９８は、上記図２で示したデジタルカメラ１０′のように、記録媒体としてメモリカードのみならずハードディスクユニット４３を装着する場合に制御回路８３との間での仲介を行なうものであり、装着されたハードディスクユニット４３は上記記録媒体８９の容量を拡大するものとして機能する。

Ｄ／Ａ変換回路９９は、音声データの再生時に、制御回路８３から与えられるデジタルＬ音声データをアナログ化するもので、出力した音声信号はアンプ１０２で適宜増幅された後にデジタルカメラ１０の背面側に配置されたスピーカ１０３により拡声放音される。

なお、上記外部入出力端子２７には、例えば図示する如く外部機器としてのパーソナルコンピュータ（ＰＣ）１１０がライン接続される。

このパーソナルコンピュータ１１０は、予めこのデジタルカメラ１０用のドライバソフトウェアをインストールしておくことでデジタルカメラ１０との接続時に、記録媒体８９に記録されている画像／音声データと撮影データ、及び特徴記述データ等を自動的にアップロードすることが可能となる他、上記シーン・撮影条件の履歴データメモリ９１の記憶内容も適宜更新設定可能となる。

すなわち、パーソナルコンピュータ１１０は、それぞれゲートウェイ（ＧＷ）を介してインターネット１１１経由で、例えばこのデジタルカメラ１０のメーカが運営するサーバ装置１１２と接続し、デジタルカメラ１０用のバージョンアップ用ファームウェアやシーン・撮影条件の統計データ等、各種データをダウンロードし、デジタルカメラ１０に更新設定させる。

サーバ装置１１２では、インターネット１１１を介して予めユーザ会員登録した不特定多数のパーソナルコンピュータから送られてくる画像データと特徴抽出データ等を画像データベース（ＤＢ）１１３に蓄積記憶し、デジタルカメラの機種など各種の分類に基づいた統計データを算出して記憶しておき、その内容を当該ユーザ会員の所有するパーソナルコンピュータに配信する。

次いで上記実施の形態の動作について説明する。

図５乃至図７は、上記デジタルカメラ１０での電源投入後からの全般的な処理内容を示すもので、その制御動作は主として制御回路８３がプログラムメモリ９２に記憶された動作プログラムに基づいて実行する。

その当初には、まず基本モードが撮影モードとなっているか否かをモード切替スイッチ１９の操作位置により判断する（ステップＡ０１）。

撮影モードである場合には、撮影モードを選択した上で（ステップＡ０２）、次にオート撮影モードまたはシーン識別モードが設定されているか否かを前回電源を切断した時点での記憶設定の内容により判断する（ステップＡ０３）。

オート撮影モードまたはシーン識別モードが設定されていると判断した場合には、直ちに測光処理と前回電源を切断した時点でのズーム位置に復帰する処理とを実行した上で（ステップＡ０４，Ａ０５）、測光処理により得た被写体輝度とズーム処理によるレンズ焦点距離等を検出する（ステップＡ０６）。

次いで、その時点で得られる画像データから画像の特徴量を抽出する（ステップＡ０７）。この特徴量の抽出処理の詳細な内容については、後に詳述する。

抽出した特徴量と上記シーン・撮影条件の履歴データメモリ９１に記憶される撮影履歴の統計データとにより、撮影シーンを自動選択する（ステップＡ０８）。

なお、上記ステップＡ０３でオート撮影モードまたはシーン識別モードが設定されていないと判断した場合には、次いで予め設定された複数のシーンプログラムのうちの１つを選択するシーン別撮影モードが設定されているか否かを判断する（ステップＡ０９）。

ここで、シーン別撮影モードは設定されていないと判断した場合には、その他のモードでの処理を行なうが（ステップＡ２６）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。

一方、上記ステップＡ０９でシーン別撮影モードが設定されていると判断した場合には、ユーザの操作に応じて撮影シーンを選択する処理を実行した上で（ステップＡ１０）、その選択した撮影シーンの内容に従ってあらためて測光処理とズーム処理とを実行し（ステップＡ１１，Ａ１２）、測光処理により得た被写体輝度とズーム処理によるレンズ焦点距離等を検出する（ステップＡ１３）。

上記ステップＡ０８またはＡ１３の処理後、その時点で選択されている撮影シーンに対応する撮影条件データをシーン・撮影条件の履歴データメモリ９１から読出す（ステップＡ１４）。

この読出した撮影条件のデータに従い、ＡＦ（自動合焦）を行なう範囲を設定した上でフォーカスエリアの選択も含む当該範囲内でのＡＦ処理を実行する（ステップＡ１５）。

次に選択された撮影シーンに応じて露出条件、ホワイトバランス（ＷＢ）、ストロボ発光部１２の発光条件などの撮影条件を設定する（ステップＡ１６）。

こうしてストロボの発光条件を除き、設定した撮影条件上でＣＣＤ１８を介して得られるその時点の画像データを撮影条件の情報と共に表示部２５にてスルー表示しながら（ステップＡ１７）、シャッタスイッチ１５による撮影指示の操作または他のキースイッチ操作があるのを待機する（ステップＡ１８）。

ここで、シャッタスイッチ１５以外のキースイッチが操作された場合には、その操作されたキースイッチに応じたキー処理を行ない（ステップＡ２４）、そのキー処理結果に応じた表示処理を行なった上で（ステップＡ２５）、操作されたキーに応じた処理位置に復帰する。

また、上記ステップＡ１８でシャッタスイッチ１５が操作されたと判断すると、その操作に対応して上記設定した条件でストロボを発光処理するのと同期して撮影処理を実行し（ステップＡ１９）、撮影により得た画像データを圧縮符号化・伸長復号化８８でデータ圧縮、符号化してこのデジタルカメラ１０の記録媒体８９に記録する（ステップＡ２０）
。

併せて、特徴抽出／認識処理部９０でデータ圧縮前の画像データから特徴データを抽出し、撮影条件の特徴データと共に元の画像データに関連付け、具体的には識別子は別にして同一のファイル名を付与するようにして記録媒体８９に記録する（ステップＡ２１）。

その後、撮影により記録した画像データと撮影条件等の情報とを表示部２５にて一定時間、例えば２秒間だけレビュー表示する（ステップＡ２２）。

最後に、撮影シーンと被写体距離、レンズ焦点距離、露出条件、ホワイトバランス設定値、ストロボ発光条件などの特徴量、撮影条件等の履歴データをシーン・撮影条件の履歴データメモリ９１に追加記憶した上で、静止画像と動画、音声メモ等の撮影モード別に再度集計処理し（ステップＡ２３）、以上で撮影に係る一連の処理を終えたものとして、次の撮影に備えるべく上記ステップＡ１８からの処理に戻る。

また、上記ステップＡ０１で電源投入当初に基本モードが撮影モードではないと判断した場合には、次いで外部機器としてのパーソナルコンピュータ１１０との通信を行なう通信モードであるか否かを判断する（ステップＡ２７）。

ここで該通信モードでもないと判断した場合には、その他のモードでの処理を行なうが（ステップＡ２６）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。

また、上記ステップＡ２８で通信モードであると判断した場合には、当該部位武器機能パーソナルコンピュータ１１０等との同期確率等を含む接続処理を行なった上で（ステップＡ２８）、認証処理を行なう（ステップＡ２９）。

この認証処理としては、パーソナルコンピュータ１１０側がデジタルカメラ１０の機種名、製造番号等のデータで予め登録されている内容により真正性判断を行なう。

上記認証処理を経てデータの送受が許可されると、次に画像データの送信を許可する設定が予めなされているか否かを判断する（ステップＡ３０）。

ここで許可する設定がなされていると判断すると、次いで個人情報や顔画像などユーザのプライベートな情報を保護する機能が設定されているか否かを判断する（ステップＡ３１）。

プライベートな情報を保護する機能が設定されていないと判断した場合、画像データとこの画像データに関連する撮影データ、特徴記述データ等の各種付加情報とをそのままパーソナルコンピュータ１１０内の電子アルバム等に送信する（ステップＡ３２）。

一方、上記ステップＡ３１でプライベートな情報を保護する機能が設定されていると判断した場合には、記録媒体８９に記憶されている撮影データ、特徴記述データに対し、設定条件に基づいた編集処理を行なうことで、送信するデータの内容を制限する（ステップＡ３３）。

次いで、記録媒体８９に記憶されている画像データに対しても、設定された条件に基づいて当該部位のマスク処理、及びモザイク処理等の画像処理を施す（ステップＡ３４）。

そして、上記ステップＡ３３で内容を編集した撮影データ及び特徴記述データと、上記ステップＡ３４で画像処理を施した画像データとを、共に内容を制限した一連のデータとしてパーソナルコンピュータ１１０内の電子アルバム等に送信する（ステップＡ３５）。

上記ステップＡ３２またはステップＡ３５での送信処理後、あるいは上記ステップＡ３０で画像データの送信を許可する設定が予めなされていないと判断した場合には、次いでこのパーソナルコンピュータ１１０がその時点でインターネット１１１経由でサーバ装置１１２とも接続しているか否かを判断する（ステップＡ３６）。

このとき、サーバ装置１１２と接続されていないと判断した場合には、以上でこのパーソナルコンピュータ１１０との接続を終了するものとして設定処理を実行し（ステップＡ４３）、上記ステップＡ０１からの処理に戻る。

また、上記ステップＡ３６でパーソナルコンピュータ１１０がその時点でサーバ装置１１２と接続されていると判断した場合には、次いで事前のユーザ設定により撮影履歴の収集を許可する状態となっているか否かを判断する（ステップＡ３７２）。

ここで許可する状態となっていると判断した場合にのみ、上述した撮影情報や撮影履歴情報を暗号化してパーソナルコンピュータ１１０経由でサーバ装置１１２へ送信する（ステップＡ３８）。

その後、サーバ装置１１２から送られてくる当該デジタルカメラ１０用の制御ソフトウェアの更新プログラムデータを受信し（ステップＡ３９）、受信した内容によりプログラムメモリ９２の更新設定処理を行なう（ステップＡ４０）。

次いでシーン・撮影条件の履歴データメモリ９１に記憶している履歴データの更新分をサーバ装置１１２から受信し（ステップＡ４１）、受信した内容により履歴データメモリ９１の更新設定処理を行なう（ステップＡ４２）。

以上でこのパーソナルコンピュータ１１０との接続を終了するものとして設定処理を実行し（ステップＡ４３）、上記ステップＡ０１からの処理に戻る。

次に、このデジタルカメラ１０において各種設定を行なう設定モード時の動作について、図８及び図９のフローチャートと、図１０乃至図１３の操作画面例とを用いて説明する。

設定モードは、上記メニューキー２４とカーソルキー２１の上または下方向のキー操作により選択するもので、その処理当初に設定モードが設定されているか否かを確認のために判断し（ステップＢ０１）、設定されていない場合にはその他のモードでの処理を行なうが（ステップＢ０２）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。

上記ステップＢ０１で設定モードが設定されていることを確認すると、次いで特徴抽出の設定モードであるか否かを判断する（ステップＢ０３）。

ここでも、特徴抽出以外の設定モード、例えば画像サイズや画質の設定を行なう場合についてはそれぞれそのモードでの処理を行なうが（ステップＢ０４）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。

しかして、特徴抽出の設定モードであると判断すると、設定状態の表示など、設定モードでの表示処理を行なう（ステップＢ０５）。

図１０（Ａ）は、表示部２５での「特徴抽出・識別」の設定画面を例示するもので、その先頭に位置する「抽出被写体にＡＦ」なる項目名が併せて表示されている状態を示す。

このような表示状態から、メニューキー２４の上または下方向のキーとエンターキー２２との操作によって、「特徴抽出による撮影方法の選択」「特徴データの記録の設定」「特徴抽出方法の選択」「特徴データの記述様式の選択」「個人情報の送信」「撮影履歴のアップロード送信の許可」のいずれかであるかを順次判断する（ステップＢ０６〜Ｂ１２）。

選択された項目が「特徴抽出による撮影方法の選択」であった場合、ステップＢ０６でこれを判断し、操作に応じて特徴抽出するか否か、また特徴抽出による撮影処理の種別を選択する（ステップＢ１３）。

図１０（Ｂ）は当該項目中のさらに各種小項目を例示するもので、ここでは「（特徴抽出の）ＯＦＦ（抽出しない）」「被写体の特徴記録」「被写体を識別・分類」「撮影シーンを自動選択」「抽出被写体にＡＦ」「抽出被写体を追尾」‥‥「抽出個数をカウント」等の項目名を例にとって列挙している。

また、選択された項目が「特徴データの記録の設定」であった場合、ステップＢ０７でこれを判断し、操作に応じて特徴データを付加して記録するか否かを設定する（ステップＢ１４）。

また、選択された項目が「特徴データの選択」であった場合、ステップＢ０８でこれを判断し、操作に応じて、抽出したい特徴項目または特徴量を選択した上で（ステップＢ１５）、それら選択された特徴項目、特徴量に基づいて、特徴抽出方法を選択する（ステップＢ１６）。

また、選択された項目が「特徴抽出方法の選択」であった場合、ステップＢ０９でこれを判断し、操作に応じて、オートまたはカスタム設定の特徴抽出方法を選択する（ステップＢ１７）。

図１１（Ａ）は、この「特徴抽出方法」を選択している状態を示すものであり、この項目を選択することでさらに図１１（Ｂ）に示すように「撮影シーン」や「色の抽出」「輪郭の抽出」「テクスチャ抽出」「動きの抽出」「配置の抽出」等、各種詳細なカスタム設定を行なうことができる点を例示している。

また、選択された項目が「特徴データの記述様式の選択」であった場合、ステップＢ１０でこれを判断し、操作に応じて、送付先別に送付する特徴データ及び特徴記述様式を選択する（ステップＢ１８）。

また、選択された項目が「個人情報の送信」であった場合、ステップＢ１１でこれを判断し、操作に応じて、記録されている画像データ、撮影データ、及び特徴記述データの少なくとも１つを外部出力を許可するデータとして選択する（ステップＢ１９）。

次いで、上記先端設定した内容に基づき、画像データの出力形式を選択したか否かを判断する（ステップＢ２０）。

ここで、画像データの出力形式を選択したと判断した場合にのみ、操作に応じて画像データの必要部分にマスク処理もしくはモザイク処理を施すか否かを選択する（ステップＢ２１）。

図１２（Ａ）は、この「個人情報の送信設定」を選択している状態を示すものであり。この項目を選択することで、さらに図１２（Ｂ）に示すように「個人情報の保護」「撮影画像の送信」「受信画像の送信」「秘匿画像の変換」「撮影日時・場所」「撮影条件の送信」「特徴データの送信」等、各種詳細なカスタム設定を行なうことができる点を例示している。

これらの項目の選択に際しては、その内容の組合せにより１つの項目の設定に対してそれに関連した他の項目も自動的に設定されるものとしてもよく、そうすることでユーザの指定操作をより簡略化してユーザの負担を軽減できる。

また、選択された項目が「撮影履歴のアップロード送信の許可」であった場合、ステップＢ１２でこれを判断し、操作に応じて、サーバ装置１１２にアップロード送信する特徴データ、撮影条件、及び特徴記述様式等の撮影履歴及び特徴記述様式を選択する（ステップＢ２２）。

図１３（Ａ）は、この「撮影履歴情報の（アップロード）送信」の許可選択を行なう状態を示すものであり、この項目を選択することでさらに図１３（Ｂ）に示すようなアップロード先のサーバのＵＲＬ、特徴記述様式、暗号化の有無とアップロードする具体的な内容（「画像データ」「撮影日時」「撮影場所」「撮影条件」「色の分布」「輪郭形状」「テクスチャ」「動き」等）とを個々に選択する。

なお、上記ステップＢ１２で「撮影履歴のアップロード送信の許可」の項目の選択でもないと判断した場合には、その他のキー処理を行なう（ステップＢ２３）。

上記ステップＢ０６〜Ｂ１２での各選択結果に基づいた設定処理を実行した後、その設定結果に対応した表示内容の更新等の処理を行なった上で（ステップＢ２４）、設定モード以前の処理に復帰する。

次に、このデジタルカメラ１０とパーソナルコンピュータ１１０、及びインターネット１１１を介したサーバ装置１１２との接続構成について説明する。

図１４は、撮影シーンや撮影条件の撮影履歴情報の集計機能や画像検索機能をデジタルカメラ１０の外部であるサーバ装置１１２側が有する場合の機能構成について例示するものである。

同図で、デジタルカメラ１０側のファームウェアＰ１０上で動作するアプリケーションプログラムとして、カメラ制御プログラムＰ１１とＰＣ転送プログラムＰ１２とが存在し、記録媒体８９に記録される画像データ及びそれらに関連付けられた特徴記述データと、プログラムメモリ９２及びデータメモリ９３に記憶されたプログラムデータ、撮影条件等の統計データの内容をパーソナルコンピュータ１１０との間で送受する。

このデジタルカメラ１０と例えばＵＳＢ接続されるパーソナルコンピュータ１１０では、基本ソフトであるＯＳ（オペレーティングシステム）Ｐ１１０上で動作するＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）ブラウザＰ１１１とデジタルカメラ１０専用のドライバソフトの一部であるカメラ転送ソフトＰ１１２とが必要なアプリケーションプログラムとして少なくとも存在する。

このパーソナルコンピュータ１１０とインターネット１１１経由で接続されるサーバ装置１１２の機能構成は図示する通りである。

すなわちこのサーバ装置１１２では、デジタルカメラ１０を所有する会員の認証等を行なうＣＧＩ（ＣｏｍｍｏｎＧａｔｅｗａｙＩｎｔｅｒｆａｃｅ）プログラムＰ２０１、画像データと特徴記述データの登録等を行なうＣＧＩプログラムＰ２０２、及び画像データ等の検索等を行なうＣＧＩプログラムＰ２０３を中心とし、これらをＨＴＭＬ文書及びＸＭＬ文書を格納する文書データベースＤ２０４を介してこのサーバ装置１１２全体の統括制御を行なうサーバソフトＰ２０５に接続して構成する。

ＣＧＩプログラムＰ２０１は、認証ソフトＰ２０６を介して会員登録データベースＤ２０７の記憶内容を参照することで会員の認証、新規登録、抹消等の処理を行なう。

ＣＧＩプログラムＰ２０２は、画像登録ソフトＰ２０８、記述言語エンコーダＣ２０９を介して画像データを記憶する画像データベースＤ２１０、特徴記述データを記憶する特徴記述データベースＤ２１１への登録、更新を行なう。

これら画像データベースＤ２１０、特徴記述データベースＤ２１１の記憶内容は、検索ソフトＰ２１２、記述言語デコーダＣ２１３により上記ＣＧＩプログラムＰ２０３に読出される。

一方で、撮影シーン及び撮影条件の集計ソフトＰ２１４が上記特徴記述データベースＤ２１１に対して直接アクセスして特徴記述データを読出し、上記上記記述言語デコーダＣ２１３を介して特徴記述データを得ることで集計処理を行なうもので、その集計結果は配信データベースＤ２１５にシーン・撮影条件の統計データとして更新記憶される。

この配信データベースＤ２１５にはまた、カメラプログラムの更新データも記憶されるもので、これらの記憶内容が上記サーバソフトＰ２０５により読出され、インターネット１１１を介してユーザのパーソナルコンピュータ１１０経由でデジタルカメラ１０に送出される。

図１５及び図１６は、上記図１４で示した機能構成における、デジタルカメラ１０からサーバ装置１１２への画像データ、特徴記述データのアップロード、及びサーバ装置１１２からデジタルカメラ１０への統計データのダウンロードの処理内容を示すものである。

その当初にデジタルカメラ１０はパーソナルコンピュータ１１０との間で通信接続処理を実行して接続状態を確立する（ステップＣ０１，Ｄ０１）。

このときデジタルカメラ１０とパーソナルコンピュータ１１０は相互に相手側の仕様や容量情報を得る（ステップＣ０２，Ｄ０２）。

その後、パーソナルコンピュータ１１０の発する機器認証データの送信要求にデジタルカメラ１０が応えて当該機器認証データを測距センサ１００へ送信し、パーソナルコンピュータ１１０が受信すると（ステップＤ０３，Ｃ０３）、デジタルカメラ１０では続けて画像データを送信するか否かを判断する（ステップＣ０４）。

ここでは、デジタルカメラ１０側でユーザが任意に画像データ、撮影条件データ、及び特徴記述データの選択を行なうものとするもので、ユーザにより選択された画像データ、撮影条件データ及び特徴記述データが少なくとも１つ以上ある場合にのみ、その詳細な内容は後述するが、上記「個人情報の送信設定」で指定された制限設定に基づいて画像データ、撮影条件データ、特徴記述データをそれぞれ編集処理し（ステップＣ０５）、その編集後の画像データ、撮影条件データ、特徴記述データをパーソナルコンピュータ１１０に対して送信する（ステップＣ０６）。

これを受けたパーソナルコンピュータ１１０では、受信した画像データを所定のアルバムフォルダに保存設定した後（ステップＤ０４）、サーバ装置１１２からの自動更新を行なう自動更新モードがオンに設定されているか否かを判断する（ステップＤ０５）。

ここで、オン設定されていると判断した場合にのみ、接続要求をインターネット１１１を介してサーバ装置１１２へ送信する（ステップＤ０６）。

サーバ装置１１２では、会員登録しているパーソナルコンピュータ１１０からの接続要求をインターネット１１１経由で常時受付けており、接続要求を受信した時点でこれを判断し（ステップＥ０１）、当該パーソナルコンピュータ１１０に対して機器認証データを要求する（ステップＥ０２）。

サーバ装置１１２からの機器認証データの要求を受信したパーソナルコンピュータ１１０は（ステップＤ０７）、上記ステップＤ０３でデジタルカメラ１０から受信した機器認証データをサーバ装置１１２に対して送信する（ステップＤ０８）。

サーバ装置１１２は、パーソナルコンピュータ１１０から送られてきた機器認証データにより認証ソフトＰ２０６が上記会員登録データベースＤ２０７に記憶している会員登録データの内容と照合することで認証処理を実行し（ステップＥ０３）、その認証結果から接続要求を送ってきたパーソナルコンピュータ１１０が正当なユーザ会員の使用するものであるか否かを判断する（ステップＥ０４）。

ここで、認証結果からパーソナルコンピュータ１１０が正当なユーザ会員の使用するものではないと判断した場合には、接続不可である旨の応答を行ない（ステップＥ０６）、以後当該パーソナルコンピュータ１１０からの要求を一切拒否する一方で、正当なユーザ会員の使用するものであると判断した場合には、接続許可応答を当該パーソナルコンピュータ１１０に対して返信する（ステップＥ０５）。

パーソナルコンピュータ１１０では、この接続許可応答の有無によりサーバ装置１１２側での認証が成功したか否かを判断する（ステップＤ０９）。

認証が成功しなかったと判断した場合にパーソナルコンピュータ１１０は、そのままサーバ装置１１２との通信接続を終了するかどうかを判断し（ステップＤ１７）、終了すると判断した時点でサーバ装置１１２との接続を切断する処理を実行し（ステップＤ１８）、以上で一連の処理を一旦完了する。

また、上記ステップＤ０９でサーバ装置１１２側での認証が成功したと判断した場合にパーソナルコンピュータ１１０は、サーバ装置１１２に対して更新情報などのインデックス情報を要求し、サーバ装置１１２から要求に応答して送られてくるインデックス情報を受信する（ステップＤ１０，Ｅ０７）。

こうしてサーバ装置１１２からインデックス情報を受信したパーソナルコンピュータ１１０は、次にデジタルカメラ１０に対して撮影履歴情報の送信を要求する（ステップＤ１１）。

デジタルカメラ１０は、パーソナルコンピュータ１１０からの撮影履歴情報の送信要求に対し、予めユーザの設定により撮影履歴の送信が許可されているか否かを判断し（ステップＣ０７）、許可されていると判断した場合にのみ、送信するように設定されている撮影履歴情報を送信する（ステップＣ０８）。

これを受けたパーソナルコンピュータ１１０は、サーバ装置１１２に対してデジタルカメラ１０の撮影履歴情報を転送する（ステップＤ１２）。

サーバ装置１１２では、パーソナルコンピュータ１１０を介してデジタルカメラ１０の撮影履歴情報の受信があるか否かを判断し（ステップＥ０８）、あると判断した場合にのみ、その後に送られてくる撮影履歴情報を一旦配信データベースＤ２１５に登録、保持した上で（ステップＥ０９）、集計ソフトＰ２１４により撮影条件、特徴データ等を撮影モード別に集計し、その集計結果により配信データベースＤ２１５の内容を更新記憶させる（ステップＥ１０）。

パーソナルコンピュータ１１０では、上記ステップＤ１２での撮影履歴情報の転送処理後に、デジタルカメラ１０用の更新プログラムがあるか否かを上記サーバ装置１１２から受信したインデックス情報により判断し（ステップＤ１３）、更新プログラムがあると判断した場合にのみ、サーバ装置１１２に対してその更新プログラムのダウンロード要求を送信する（ステップＤ１４）。

サーバ装置１１２ではパーソナルコンピュータ１１０からの更新プログラムの要求があるか否かを判断し（ステップＥ１１）、あると判断した場合には、当該更新プログラムを配信データベースＤ２１５から読出してサーバソフトＰ２０５によりパーソナルコンピュータ１１０側へ送信する（ステップＥ１２）。

その後にサーバ装置１１２は、パーソナルコンピュータ１１０からの要求の有無に拘わらず、同じく配信データベースＤ２１５に記憶している撮影シーン、撮影条件等の統計データを読出してパーソナルコンピュータ１１０へ送信し（ステップＥ１３）、以上で一連のパーソナルコンピュータ１１０との接続を完了するものとして、一旦パーソナルコンピュータ１１０との接続を切断する処理を実行し、次に他のパーソナルコンピュータからの接続要求があるのを待機する。

パーソナルコンピュータ１１０は、上記ステップＤ１４でのダウンロード要求の送信後、これに応答してサーバ装置１１２から送られてくる更新プログラムをデジタルカメラ１０に転送し（ステップＤ１５）、さらにその後にサーバ装置１１２から送られてくる撮影条件等の統計データもデジタルカメラ１０へ転送する（ステップＤ１６）。

このデジタルカメラ１０への転送処理後、あるいは上記ステップＤ１３でデジタルカメラ１０用の更新プログラムがないと判断した場合、まだデジタルカメラ１０に関するサーバ装置１１２との通信接続が必要であるか否かにより通信接続を終了するか否かを判断し（ステップＤ１７）、必要であると判断した場合には上記ステップＤ０４からの処理に戻る一方で、必要ないと判断した場合にはサーバ装置１１２、デジタルカメラ１０との相互確認の上で接続を切断する処理を実行し（ステップＤ１８）、一連の処理を完了して次の処理に備える。

デジタルカメラ１０では、上記ステップＣ０８で撮影履歴情報を送信する処理の有無に拘わらず、その後にパーソナルコンピュータ１１０から更新プログラムの受信があるか否かを判断する（ステップＣ０９）。

ここで、あると判断した場合にはさらに、パーソナルコンピュータ１１０から送られてくる更新プログラムを受信し（ステップＣ１０）、続けて撮影条件等の統計データも受信した後に（ステップＣ１１）、受信した内容に基づいてプログラムメモリ９２、及びデータメモリ９３の内容を更新設定する（ステップＣ１２）。

これらステップＣ１０〜Ｃ１２の処理の実行の有無に拘わらず、さらにパーソナルコンピュータ１１０を介してのサーバ装置１１２との通信接続が必要であるか否かにより通信接続を終了するか否かを判断し（ステップＣ１３）、必要であると判断した場合には上記ステップＣ０４からの処理に戻る一方で、必要ないと判断した場合にはパーソナルコンピュータ１１０との相互確認の上で接続を切断する処理を実行し（ステップＣ１４）、一連の処理を完了して次の処理に備える。

また、上記図１３での機能構成、及び図１４及び図１５での処理内容は、サーバ装置１１２側で撮影シーンや撮影条件の撮影履歴情報の集計機能や画像検索機能を行なう場合について示したものであるが、デジタルカメラ１０の内部で集計や画像の検索等を行なう場合の機能構成は、例えば図１７に示すようになる。

すなわち、図１７は集計機能や検索機能をデジタルカメラ１０側に設けた場合の機能構成を例示するものである。

デジタルカメラ１０では、ファームウェアＰ１０上で動作するアプリケーションプログラムとしてＰＣ転送ソフトＰ２１及び検索集計ソフトＰ２２が存在し、パーソナルコンピュータ１１０から送られてきたメタデータ等はＰＣ転送ソフトＰ２１で受信された後、記述言語デコーダＣ２３によってデコードされた後に検索集計ソフトＰ２２に渡される。

検索集計ソフトＰ２２は、統計データＤ２５、メタデータメモリＤ２６、及び画像データメモリＤ２７を統括管理し、画像データの検索や特徴記述データの集計等を行なうもので、上記図４に示したハードウェアとしての回路構成上では統計データＤ２５はシーン・撮影条件の統計データメモリ９１に、メタデータＤ２６及びメタデータＤ２６は特徴抽出／認識処理部９０に記憶される。

また、パーソナルコンピュータ１１０から送られてきたがデータはＰＣ転送ソフトＰ２１で受信した後に画像データデコーダＣ２４でデコードされ、画像データＤ２７として保持、記憶される。

パーソナルコンピュータ１１０は、デジタルカメラ１０とサーバ装置１１２とを仲介するものとして、ＯＳＰ１１０上でＷＷＷブラウザＰ１２１及びカメラ転送ソフトＰ１２２が動作する。

このパーソナルコンピュータ１１０とインターネット１１１を介して接続されるサーバ装置１１２では、サーバソフトＰ２３１がＭＰＥＧ７等のメタデータを記憶する特徴記述データベースＤ２３２と、画像データベースＤ２３３を管理し、併せて特徴記述データベースＤ２３２から必要によりインデックスデータＤ２３４を読出し、パーソナルコンピュータ１１０を介してデジタルカメラ１０側へ送信する。

次に、図１８を用いて画像データから特徴量を抽出する特徴抽出処理と抽出した特徴データの記録処理の流れについて説明する。

撮影を行なう前に、撮影に直接関連した撮影条件の設定操作（図では「設定操作（１）」と称する）と、その他の設定項目の設定操作（図では「設定操作（２）」と称する）とを施しておく。

撮影を指示する操作、具体的には撮影モード下での上記シャッタスイッチ１５の操作により撮影条件Ｓ０１を特定した状態での撮影処理Ｓ０２が実行され、撮影画像Ｓ０３のデータと撮影条件などの撮影情報Ｓ０４とが得られる。

図１９（Ａ）は、撮影により得られる撮影情報の内容を例示するもので、ここではＥｘｉｆ（Ｅｘｃａｎｇｅｉｍａｇｅｆｉｌｅｆｏｒｍａｔ）やＤＰＯＦ（ＤｉｇｉｔａｌＰｒｉｎｔＯｒｄｅｒＦｏｒｍａｔ）の規格に従ったものとしている。

撮影により得た画像データＳ０３に対し、画像の圧縮／符号化Ｓ０５と特徴抽出Ｓ０６とが行なわれ、符号化された画像データと画素数を大幅に間引いたサムネイル画像とが画像データファイルＳ１１の主要素として記録されると共に、上記撮影情報もヘッダ情報の一部として該画像データファイルＳ１１に加えられる。

また、上記撮影には直接関連しない事前の設定操作（２）による設定項目Ｓ０７から、特徴抽出を行なう抽出項目Ｓ０８、特徴データ付加のオン／オフ設定Ｓ０９、及び特徴データの記述様式Ｓ１０が選択される。

このうち、抽出項目Ｓ０８は上記撮影情報Ｓ０４によりその内容が加減操作されるものであり、該抽出項目Ｓ０８及び特徴データ付加のオン／オフ設定Ｓ０９が上記特徴抽出Ｓ０６に関与する。

この特徴抽出Ｓ０６においては、詳細な内容は後述するが、圧縮／符号化前の画像データＳ０３及び圧縮／符号化後の画像データに対し、上記抽出項目Ｓ０８及び特徴データ付加のオン／オフ設定Ｓ０９によって複数の特徴量を抽出処理するもので、処理結果である抽出物Ａ，Ｂ，…が纏めて特徴抽出データＳ１２として、特徴データの記述符号化処理Ｓ１３に供される一方で、撮影シーン等の識別等Ｓ１５として参照される。

特徴データの記述符号化処理Ｓ１３では、予め定められた複数の記述様式Ａ，Ｂ，‥‥から指定された１つを用い、特徴データＳ１２を記述化した上で符号化し、特徴記述コードＳ１４として上記画像データファイルＳ１１に付加設定する。

図１９（Ｂ）は、この特徴記述コードＳ１４の内容を例示するもので、ここでは記述様式としてＭＰＥＧ７（ＩＳＯ／ＩＥＣ１５９３８）規格を用いた場合を示している。

画像データファイルＳ１１においては、この特徴記述コードＳ１４は拡張ヘッダ情報の一部として付加されるものとする。

特徴データは、ユーザ操作により選択された方法（記述様式）に従って、例えば特徴データをＤＣＦやＥｘｉｆなど画像ファイルのヘッダ情報や拡張データとして、もしくは上述したＭＰＥＧ７規格に準じたメタデータ記述ファイル、あるいはＳＭＰＴＥのＭｅｔａｄａｔａ規格、ＥＢＵによるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ規格、Ｗ３ＣによるＳＭＩＬ規格、あるいはＤｕｂｌｉｎＣｏｒｅとＲＤＦによるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいはＸＭＬなどの汎用記述言語に準じた記述ファイル、あるいはこれらをバイナリデータ等に変換した記述データファイル等から、任意に選択して記録／出力することができるものとする。

例えば、最も古くから書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎＣｏｒｅ（１９８５）では、タイトル（ｔｉｔｌｅ）、概要記述（ｄｅｓｃｒｉｐｔｉｏｎ）、出版社（ｐｕｂｌｉｓｈｅｒ）、作者（ｃｒｅａｔｏｒ）、著作権（ｒｉｇｈｔｓ）、年月日（ｄａｔｅ）、種別（ｔｙｐｅ）、様式（ｆｏｒｍａｔ）、‥‥など１５の基本属性（ＤｕｂｌｉｎＣｏｒｅＭｅｔａｄａｔａＥｌｅｍｅｎｔＳｅｔ：ＤＣＭＥＳ）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（ＲｅｓｏｕｒｃｅＤｅｓｃｒｉｐｔｉｏｎＦｒａｍｅｗｏｒｋ）のスキーマなどを用いて記述する。

その他の各種メタデータ記述規格でも、放送映像用やビットストリーム映像用、ネットワーク配信用など用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様にこのような書誌情報の多くを記述することができる。

マルチメディア用のメタデータ記述規格ＭＰＥＧ７のＭＰＥＧ７Ｖｉｓｕａｌでは、画像や映像データ、音声などの各種特徴を記述できる記述子（Ｄｅｓｃｒｉｐｔｏｒ）と記述書式（ＤｅｓｃｒｉｐｔｉｏｎＳｈｅｍｅ）等も詳細に定義されている。

例えば、色やテクスチャ、輪郭形式などの特徴を表すために以下のような記述子が用意されており、これらに準じて記述してもよい。すなわち
Ｃｏｌｏｒｓｐａｃｅ：色空間を指定する記述子、
Ｃｏｌｏｒｑｕａｎｔｉｚａｔｉｏｎ：
色空間の量子化方法を指定する記述子、
Ｄｏｍｉｎａｎｔｃｏｌｏｒ：
任意形状領域における代表色を表す記述子、
Ｓｃａｌａｂｌｅｃｏｌｏｒ：
色特徴をＨＳＶ色空間におけるヒストグラムで表す記述子、
Ｃｏｌｏｒｌａｙｏｕｔ：
色の分布をＤＣＴ係数で表す記述子、
Ｃｏｌｏｒｓｔｒｕｃｔｕｒｅ：
色の分布における偏りの程度を表す記述子、
Ｈｏｍｏｇｅｎｅｏｕｓｔｅｘｔｕｒｅ：
テクスチャの特徴を画像強度と周波数空間上のエネルギ分布により表す記述子、
Ｔｅｘｔｕｒｅｂｒｏｗｓｉｎｇ：
テクスチャの特徴を均一性、粒度、方向性の３要素で表す記述子、
Ｅｄｇｅｈｉｓｔｏｇｒａｍ：
エッジ特徴の分布をヒストグラムで表す記述子、
Ｒｅｇｉｏｎｓｈａｐｅ：
領域の形状特徴を表す記述子、
Ｃｏｎｔｏｕｒｓｈａｐｅ：
領域の閉輪郭線の形状特徴を表す記述子。など
図２０及び図２１は、画像から抽出された特徴データの記述例を示すものであり、画像全体から輪郭線により領域を区分して徐々に細分化することで種々の特徴データを得ることができるのがわかる。

図２０（Ａ）は元となる画像データを示し、図２０（Ｂ）がその画像全体に対する特徴データ、図２０（Ｃ），（Ｄ）と図２０（Ｅ），（Ｆ）が１次領域区分した画像とその記述データ、図２１（Ｇ）〜（Ｋ）と図２１（Ｌ）〜（Ｐ）が２次領域区分した画像とその記述データを示す。

同様に図２０（Ｑ）は元となる画像データを示し、図２０（Ｒ）がその画像全体に対する特徴データ、図２０（Ｓ），（Ｔ）と図２０（Ｕ），（Ｖ）が１次領域区分した画像とその記述データを示す。、
また、図２２（Ａ）、図２２（Ｂ）及び図２３は、いずれも抽出された特徴データの記述例を示すもので、図２２（Ａ）はＭＰＥＧ７、図２２（Ｂ）はＸＭＬ、図２３はＳＭＩＬの各記述様式を用いている。

図２４は、上記のようにして例えばデジタルカメラ１０の記録媒体８９（あるいはハードディスクユニット４３）に記録された画像データファイルの階層構造を例示するものである。

同図で、このデジタルカメラ１０のリムーバブルディスク媒体としての最上階層のフォルダ「Ｒｏｏｔ」Ｆ０００の下に、フォルダ「ＤＣＩＭ」Ｆ００１、フォルダ「ＡＬＢＵＭ」Ｆ００２、フォルダ「ＭＩＳＣ」Ｆ００３、及びファイル「ＩＮＤＥＸ．ＰＶＭ」Ｆ００４とが存在するものとする。

上記フォルダ「ＤＣＩＭ」Ｆ００１は画像ファイルを格納するためのフォルダであり、その下にフォルダ「１００ＡＢＣＤ」Ｆ００５、「１０１ＡＢＣＤ」Ｆ００６、‥‥を有する。

上記フォルダ「ＡＬＢＵＭ」Ｆ００２は、再生プレイリスト等を格納するフォルダであり、その下にファイル「ＡＬＢＵＭ．ＰＶＭ」Ｆ００７等を有する。

上記フォルダ「ＭＩＳＣ」Ｆ００３は、ＤＰＯＦファイルを格納するフォルダであり、その下にファイル「ＡＵＴＯＰＲＩＮＴ．ＭＲＫ」Ｆ００８、ファイル「ＵＮＩＣＯＤＥ．ＭＲＫ」Ｆ００９、ファイル「ＡＵＴＯＸＦＥＲ．ＭＲＫ」Ｆ０１０、ファイル「ＡＵＴＯＰＬＡＹ．ＭＲＫ」Ｆ０１１、‥‥を有する。

上記「ＩＮＤＥＸ．ＰＶＭ」Ｆ００４は、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、このメディア全体の見出しのメタ情報記述ファイルである。

上記フォルダ「１００ＡＢＣＤ」Ｆ００５の下に、個々の画像ファイルであるファイル「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、ファイル「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３、‥‥と、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、フォルダ内画像の特徴記述データのファイルであるファイル「ＬＩＳＴ．ＰＶＭ」Ｆ０１４とが配置される。

上記ファイル「ＡＬＢＵＭ．ＰＶＭ」Ｆ００７も、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、プレイリスト記述データ等のファイルである
上記ファイル「ＡＵＴＯＰＲＩＮＴ．ＭＲＫ」Ｆ００８は自動プリントファイル、ファイル「ＵＮＩＣＯＤＥ．ＭＲＫ」Ｆ００９はユニコード文字列記述ファイル、ファイル「ＡＵＴＯＸＦＥＲ．ＭＲＫ」Ｆ０１０は自動送信ファイル、ファイル「ＡＵＴＯＰＬＡＹ．ＭＲＫ」Ｆ０１１は自動再生ファイルであり、いずれもＤＰＯＦ規格で規定されたファイルである。

図２５は、Ｅｘｉｆ規格に則ったＪＰＥＧ圧縮データファイルの構造例を示すもので、上記図２４のファイル「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、ファイル「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３等に相当する。

図２５（Ａ）が１枚分の静止画像を圧縮した、上記「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３に相当するＪＰＥＧデータファイルであり、そのうちのＥｘｉｆ規格の付属情報である第１アプリケーション・マーカセグメント「ＡＰＰ１」の構造を図２５（Ｂ）に示す。

さらに、この「ＡＰＰ１」中、情報タグであるＥｘｉｆＩＦＤ（１ｓｔＩＦＤ）の構造を図２５（Ｃ）に示す。

次いで、図２６により特徴抽出処理の詳細な処理内容について説明する。
この図２６は、上記図５のステップＡ０７のサブルーチンである。その処理当初に、まず処理対象となる画像ファイルを取込み（ステップＦ０１）、次に特徴抽出処理を行なう設定データを読込む（ステップＦ０２）。

抽出する特徴量が自動設定されたものであるか否かを判断し（ステップＦ０３）、自動設定されたものであれば当該画像の撮影情報を読込んだ後（ステップＦ０４）、撮影モードまたは撮影条件に基づいて、抽出する特徴量の種類を選択する（ステップＦ０５）。

また、上記ステップＦ０３で自動設定されていないと判断した場合には、それに代わってユーザが手動で設定した、抽出する特徴量の種類を選択する（ステップＦ０６）。

上記ステップＦ０５またはＦ０６の処理後、抽出する特徴の種別に応じて、前処理及び特徴抽出手段の内容を選択し（ステップＦ０７）、選択した前処理内容に従って第１段階での前処理、及び第２段階の前処理を順次実行する（ステップＦ０８，Ｆ０９）。

これら前処理は、上述した如く、抽出する特徴の量の内容によって決定されるものであり、第１段階の前処理としては例えば画像強調処理、鮮鋭化処理、雑音除去処理などがあり、また第２段階の前処理としては例えば２値化処理、正規化処理、回転処理、座標変換処理、細線化処理、膨張収縮処理などがある。

以下前処理のいくつかについて説明する。
（鮮鋭化、輪郭抽出）
一次微分フィルタもしくは二次微分フィルタの処理を用いて、画像の先鋭化処理、輪郭抽出処理を行なうことができ、またこのようなフィルタ処理により、特徴抽出の前処理における画像の鮮鋭化、輪郭抽出、エッジ抽出に利用できる。

被写体像の輪郭形状や外形パターン、面積などを特徴データに利用する場合には、特徴抽出したい画像データの輝度等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行なって、輪郭強調や外形抽出した画像に変換してから、特徴データ等抽出することが多い。

一般に、階調が変化する部分のエッジがぼけた画像ｆ(ｉ，ｊ)を
Δｘ_ｆ＝ｆ(ｉ＋１，ｊ)−ｆ(ｉ−１，ｊ)、
Δｙ_ｆ＝ｆ(ｉ，ｊ＋１)−ｆ(ｉ，ｊ−１)、
ｇ(ｉ，ｊ)＝√((Δｘ_ｆ)^２＋(Δｙ_ｆ)^２)、または
ｇ(ｉ，ｊ)＝｜Δｘ_ｆ｜＋｜Δｙ_ｆ｜
等の演算により、一次微分や勾配（Ｇｒａｄｉｅｎｔ）を求めると、階調が変化する勾配部分や輪郭を抽出できる。
あるいは、

または
▽^２ｆ(ｉ，ｊ＋１)
＝ｆ(ｉ＋１，ｊ)＋ｆ(ｉ−１，ｊ)
＋ｆ(ｉ，ｊ＋１)＋ｆ(ｉ，ｊ−１)−４ｆ(ｉ，ｊ)
等の演算により、さらに微分する二次微分（Ｌａｐｌａｃｉａｎ）処理を施し、その結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成することができ、結果としてぼけたエッジ部分を強調することができる。

エッジや輪郭の強調処理をソフトウェア処理で行なうためには、「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｌフィルタ」「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の一次微分の空間フィルタ処理、あるいは「Ｌａｐｌａｃｉａｎフィルタ」等の二次微分の空間フィルタ演算子等を用いることができる。

（２値化、平均化、輝度変換）
輝度ヒストグラムの変換処理などにより、中間階調の強調、２値化処理、所定の輝度領域の抽出などを行なうことができる。被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行なうことにより中間階調の強調や圧縮を行なうことができ、あるいは所定のしきい値との大小で２値化し、所定の輝度領域だけを抽出することができる。さらには、隣接する複数画素毎に輝度値や色差値を平均化して、パターンの単純化や情報量の圧縮を行なうことができる。

（膨張、収縮、細線化、線図形化）
輪郭形状から被写体の形状や特徴を判別するためには、まず形状を単純化して情報量を圧縮し、あるいは線図形化所定から判別処理するのが望ましい。

例えば２値化された画像の輪郭や、あるいは２値化された「１」の画素と「０」の画素との境界領域で「１」画素を（隣接する８近傍の）画素の１層分だけ外側に太くする、所謂「膨張（Ｅｘｐａｎｔｉｏｎ）」処理を行なうと、輪郭など境界部分の小さな孔や溝が取り除かれる。

逆に、１層分だけ細くする「収縮（Ｃｏｎｔｒａｃｔｉｏｎ）」処理により境界部分の突起や孤立点などを取り除くことができるので、上記膨張処理及び収縮処理を複数回組み合わせることで、凹部や凸部の除去、形状の単純化を行なうことができる。

また、２値化された画像から、線幅が１の中心線を抽出する、所謂「細線化（Ｔｈｉｎｎｉｎｇ）」処理により、骨状（スケルトン）の概略形状を求めることができる。

さらに、２値化された輪郭パターンの周囲をその外側と内側とからそれぞれ境界に沿ってたどり、境界部画素を「１」とし、残りの画素を「０」とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。

また、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近時」処理などを用いるものとしてもよい。

上述した２段階の前処理を終えた後、実際の特徴抽出処理を特徴抽出／認識処理部９０により実行する（ステップＦ１０）。
図２７は、この特徴抽出処理の具体的な処理手順を列挙したサブルーチンを部分的に示すものであり、第１乃至第ｘの特徴抽出処理を順次実施する。

すなわち、このステップＦ１０においては、第１の特徴抽出処理として色領域の抽出を行ない（ステップＧ０１）、次いで抽出した色領域に基づいた、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数、‥‥などの特徴記述データの作成を行なう（ステップＧ０２）。

併せて、第２の特徴抽出処理として輪郭形状の抽出を行ない（ステップＧ０３）、次いで抽出した輪郭形状に基づいた、形状評価値、フーリエ記述子、パワースペクトル、‥‥などの特徴記述データの作成を行なう（ステップＧ０４）。

併せて、第３の特徴抽出処理としてテクスチャの特徴抽出を行ない（ステップＧ０５）、次いで抽出したテクスチャに基づいた、輝度ヒストグラム、フーリエスペクトル、共起行列、自己相関関数、‥‥などの特徴記述データの作成を行なう（ステップＧ０６）。

併せて、第４の特徴抽出処理として位置・配置の特徴抽出を行ない（ステップＧ０７）、次いで抽出した位置・配置に基づいた、位置座標、ＤＣＴ係数、‥‥などの特徴記述データの作成を行なう（ステップＧ０８）。

以下、いくつかの予め決定した特徴抽出処理を行なった後、最後、第ｘの特徴抽出処理として動きの抽出を行ない（ステップＧ０９）、次いで抽出した動き量に基づいた、動きベクトル、強度分布、‥‥などの特徴記述データの作成を行なう（ステップＧ１０）。

予め決定されているすべての特徴抽出処理を終えた後に図２６の処理に戻り、認識処理を行なうか否かの判断を事前の設定内容に基づいて判断する（ステップＦ１１）。

ここで、認識処理を行なうと判断した場合には、さらに認識対象のテンプレートデータをシーン・撮影条件の統計データメモリ９１から読出し（ステップＦ１２）、読出したテンプレートデータによるテンプレートマッチング、または相関度、類似度、類似距離、差分和の算出などによる認識処理を実行する（ステップＦ１３）。

その後、抽出した特徴データ、及び上記ステップＦ１１で認識処理を行なうと判断した場合に続くステップＦ１３で得られる認識処理結果を圧縮符号化・伸長復号化８８へ出力し（ステップＦ１４）、以上でステップＡ０７での特徴抽出処理を終える。

次いで上記特徴抽出処理の各具体的な処理内容について以下にそのいくつかを詳述する。
図２８は、上記図２７のステップＧ０３に係る輪郭抽出処理と続くステップＧ０４に係る特徴記述データの作成の内容について示すものである。
その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＨ０１）、読込んだ画像データを輝度階調値または色差信号に基づいて複数領域に分割する（ステップＨ０２）。

図２９（Ａ）は、上記ステップＨ０１で読込んだ被写体の画像データをの一例を示すものであり、このような画像を読込んだ場合には上記ステップＨ０２で複数領域に分割することで、例えば図２９（Ｂ）に示す画像と図２９（Ｃ）に示す画像とが得られる。

こうして分割した複数の領域のうちの１つを種なる被写体として選択し（ステップＨ０３）、選択した領域の画像を２値化した上で（ステップＨ０４）、そのエッジを検出する（ステップＨ０５）。

上記図２９（Ｂ），（Ｃ）に示す２つの画像データのうち、図２９（Ｃ）に示した画像を選択して２値化した場合を図２９（Ｄ）に示し、そのエッジを検出した結果を図２９（Ｅ）に示す。

こうして得た輪郭線に対し、複数Ｎ辺の等辺多角形や折れ線等で近似した後（ステップＨ０６）、該輪郭線のＰ（Ｐｈａｓｅ）型記述子などフーリエ記述子を求めた上で（ステップＨ０７）、パワースペクトルを求める（ステップＨ０８）。

図２９（Ｆ）は、上記図２９（Ｅ）で示したエッジ検出結果に対し、折れ線近似した結果を示すものであり、当該輪郭線のフーリエ記述子を求めることで空間周波数に対するスペクトル正規価値を得てパワースペクトル化したものを図２９（Ｇ）に示す。

このパワースペクトルの低周波成分からｎ個の成分を取出し、データ圧縮して輪郭線特徴データとするもので（ステップＨ０９）、この求めた輪郭線特徴データを後の特徴記述データ作成時のためにデータメモリ９３に一時的に記憶しておく（ステップＨ１０）。

次いで、特徴量をシーン・撮影条件の履歴データメモリ９１に記憶済みのテンプレートデータと順次比較し、類似度を求める（ステップＨ１１）。

図３０は、輪郭線特徴データの比較対象となる、シーン・撮影条件の履歴データメモリ９１に予め記憶されたテンプレートデータの内容を例示するものである。

被写体の輪郭線特徴データを用い、各テンプレート毎にその類似度を求めた上で、最も類似度の値が高くなったテンプレートデータに対応する種類であるものと判定して、当該種類の特徴データを記述し（ステップＨ１２）、その特徴記述データを出力することで（ステップＨ１３）、以上でこの図２８のサブルーチン処理を終える。

図３１は、上記図２７のステップＧ０１に係る色領域の抽出処理後に続くステップＧ０２で実行される特徴記述データの作成処理中、代表色の抽出処理の内容について示すものである。
その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＩ０１）、読込んだ画像データを輝度階調値または色差信号に基づいて複数の輪郭領域に分割する（ステップＩ０２）。

分割した複数の輪郭領域に対し、面積の大きい順序、または画像中央のフォーカス枠に近い順序で１〜ｎ個の被写体領域を選択し（ステップＩ０３）、各分割領域毎のＲＧＢ別ヒストグラム分布Ｐｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)を求める（ステップＩ０４）。

次いで、求めたヒストグラム分布Ｐｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)がそれぞれ全体で総和が「１．０」となるように正規化した上で（ステップＩ０５）、各ヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の最頻値μ_ｒ，μ_ｇ、μ_ｂを求める（ステップＩ０６）。すなわち、
μ_ｒ＝Ｍａｘ(Ｐｒ(ｉ))、
μ_ｇ＝Ｍａｘ(Ｐｇ(ｉ))、
μ_ｂ＝Ｍａｘ(Ｐｂ(ｉ))。
である。

次に、該ＲＧＢヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の平均μを求める（ステップＩ０７）。すなわち、
μ_ｒ＝Σｉ・Ｐｒ(ｉ)、
μ_ｇ＝Σｉ・Ｐｇ(ｉ)、
μ_ｂ＝Σｉ・Ｐｂ(ｉ)。

そして、上記求めた平均を用いてＲＧＢヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の分散σ^２を求める（ステップＩ０８）。すなわち、
σ_ｒ ^２＝Σ(ｉ−μ_ｒ)^２・Ｐｒ(ｉ)、
σ_ｇ ^２＝Σ(ｉ−μ_ｇ)^２・Ｐｇ(ｉ)、
σ_ｂ ^２＝Σ(ｉ−μ_ｂ)^２・Ｐｂ(ｉ)。

こうして得た各領域のＲＧＢヒストグラムの最頻値または平均値を代表色とし、その代表色とＲＧＢの分散値を色の特徴データとして記述して出力することで（ステップＩ０９）、以上で図３１のサブルーチン処理を終了する。

図３２は、上記図３１と同様に図２７のステップＧ０１に係る色領域の抽出処理後に続くステップＧ０２で実行される特徴記述データの作成処理中、色の分布の抽出処理の内容について示すものである。
その当初に、特徴抽出／認識処理部９０は撮影した画像またはその撮影画像中の予め設定されている領域部分を読込み（ステップＪ０１）、読込んだ画像データを縦ｍ画素×横ｎ画素のブロック単位で分割して複数のブロック領域とする（ステップＪ０２）。

次いで各ブロック毎にその平均色を算出し（ステップＪ０３）、各ブロック毎に算出した平均色を原色系ＲＧＢ空間または輝度色差系ＹＣｂＣｒ空間でＤＦＴ（ＤｉｓｃｒｅｔｅＦｏｕｒｉｅｒＴｒａｓｆｏｒｍ：離散フーリエ変換）またはＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｓｆｏｒｍ：離散コサイン変換）により直交変換を施すことで空間周波数成分軸に変換して各係数を求める（ステップＪ０４）。

該直交変換した結果のＤＣ成分に近い側の低周波成分の係数をジグザグスキャンにより走査して一次元化し（ステップＪ０５）、この一次元化した各係数をそのまま量子化してデジタル符号化した数列を得る（ステップＪ０６）。

このデジタル符号化した数列を色分布の特徴データとして記述して出力することで（ステップＪ０７）、以上で図３２のサブルーチン処理を終了する。

次に、図示しないが画像データのＲＧＢ信号や輝度色差信号ＹＣｂＣｒ信号、あるいは色の３要素である色相／彩度／明度を表すＨＳＶ（またはＨＳＢ）データ等の変換を行なう場合について簡単に説明しておく。

ＲＧＢデータをＹＣｂＣｒデータに変換するためには、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ、
Ｃｂ＝−0.172×Ｒ−0.399×Ｇ＋0.511×Ｂ＋CENTER、
Ｃｒ＝0.511×Ｒ−0.428×Ｇ−0.083×Ｂ＋CENTER。
ＹＣｂＣｒデータをＲＧＢデータに変換するためには、
Ｒ＝Ｙ＋0.000×(Ｃb−CENTER)＋1.371×(Ｃr−CENTER)、
Ｇ＝Ｙ−0.336×(Ｃb−CENTER)−0.698×(Ｃr−CENTER)、
Ｂ＝Ｙ＋1.732×(Ｃb−CENTER)×0.000×(Ｃr−CENTER)。
ＲＧＢデータ(各０〜１)をＨＳＶ（またはＨＳＢ）データに変換するためには、
cmax＝maximum(R,G,B)、cmin＝minimum(R,G,B)とすると、
明度Ｖ＝cmax、
彩度Ｓ＝(cmax−cmin)/cmax、
（但し、cmax＝０のときはＳ＝０）、
色相Ｈ＝60°×((Ｇ−Ｂ)/(cmax−cmin))
(Ｒ＝cmaxの時)、
色相Ｈ＝60°×(２＋(Ｇ−Ｒ)/(cmax−cmin))
(Ｇ＝cmaxの時)、
色相Ｈ＝60°×(４＋(Ｒ−Ｇ)/(cmax−cmin))
(Ｂ＝cmaxの時)。
なお、Ｈ＜０の時はＨに３６０°を加え、またＳ＝０の時はＨ＝０とする。

次に図３３によりモーションＪＰＥＧファイル（ＡＶＩファイル）またはＭＰＥＧ（−１，２，４）ファイルを構成する被写体画像に対して行なう動きの特徴抽出処理について述べる。

この図３３は、図２７のステップＧ０９に係る動きの抽出処理と、それに続くステップＧ１０で実行される特徴記述データの作成処理の内容について示すものである。
その当初に、特徴抽出／認識処理部９０は時間的に連続した複数の画像を読込み（ステップＫ０１）、読込んだ各画像データを例えば縦ｍ画素×横ｎ画素のブロック単位で分割して複数のブロック領域とする（ステップＫ０２）。

各画像の各ブロックの輝度値または色差値を、時間的に直前に位置する画像とテンプレートマッチングし、その移動方向と移動量を抽出する（ステップＫ０３）。

各分割ブロック毎に移動方向と移動量を量子化して、各ブロックの動きベクトルを求めた上で（ステップＫ０４）、各画像、各ブロック毎の動きベクトル（移動方向及び移動量）を、動きの特徴データとして記述して出力することで（ステップＫ０５０７）、以上で図３３のサブルーチン処理を終了する。

なお、図示はしないが、特徴量の比較や類似図形の探索、相関度、テンプレートマッチングの類似度、絶対値差分和と距離の各要因についても説明しておく。

（特徴量の比較と類似図形の探索）
記憶されたテンプレート画像と被写体画像の類似度の判別や探索には、テンプレートマッチングなどのパターンマッチング方や、動きベクトル検出におけるブロックマッチング方が利用できる。

テンプレートマッチングにより特徴抽出領域の入力画像ｆ[ｉ，ｊ]の特徴データの中から、例えば(ｍ×ｎ)の記録された参照画像または特徴データｔ[ｋ，ｌ]に一致する画像の位置を検出する。参照画像の中心もしくは端点が、入力画像のある点(ｉ，ｊ)に重なるように置いて、点(ｉ，ｊ)を順にラスタ走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置の点(ｉ，ｊ)を、類似した被写体がある位置として求めることができる。

（相関度（相関関数））
入力画像ｆ[ｉ，ｊ]とテンプレート画像値参照画像ｔ[ｋ，ｌ]との相関度は、受信機のピアソンの相関係数（積率相関係数）Ｒなどで算出することができ、最も相関関数Ｒの値が大きくなる位置が、探索する類似被写体がある位置として求められる。

（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ[ｉ，ｊ]の中から、画像サイズ(ｍ×ｎ)の画像ｔ[ｋ，ｌ]を走査して探索する場合、類似度は次式で計算することができ、類似度Ｒ(ｉ，ｊ)が最も大きくなる走査位置の点(ｉ，ｊ)が、類似する被写体の位置として求まる。

これを上述の相関関数Ｒと同様に、平均値を差し引くなど正規化して用いても良い。
（絶対値差分和と距離）
上記の類似度Ｒ(ｉ，ｊ)では乗算であるために計算量が増えるので、２値化画像など、平均値を差し引いたり、正規化を省略できる場合などには上記類似度の計算に変えて、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ(ｉ，ｊ)を求め、これを評価関数として利用することができる。

この場合には、加減算だけで計算できるために演算を高速化することができるもので、距離Ｄ(ｉ，ｊ)が最も小さい点(ｉ，ｊ)がマッチング位置を表すものとなる。

次いで図３４により輝度ヒストグラムによるテクスチャ解析について述べる。
この図３４は、図２７のステップＧ０５に係るテクスチャの特徴抽出処理と、それに続くステップＧ０６で実行される特徴記述データの作成処理の内容について示すものである。

その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＬ０１）、読込んだ画像データから輝度ヒストグラムＰ(ｉ)を求める（ステップＬ０２）。

次いで、全体の総和が１．０となるように当該ヒストグラムを正規化した後（ステップＬ０３）、輝度ヒストグラムの平均値μと分散σ^２とを求める（ステップＬ０４，Ｌ０５）。すなわち、
μ＝Σｉ・Ｐ(ｉ)
σ^２＝Σ(ｉ−μ)^２・Ｐ(ｉ)
さらに、歪み度Ｓ（Ｓｋｅｗｎｅｓｓ）及び尖り度Ｋ（Ｋｕｒｔｏｓｉｓ）を求める（ステップＬ０６，Ｌ０７）。すなわち、。

Ｓ＝(Σ(ｉ−μ)^３・Ｐ(ｉ))／σ^３
Ｋ＝(Σ(ｉ−μ)^４・Ｐ(ｉ))／σ^４
こうして得た歪み度Ｓを特徴抽出データｆ１、尖り度Ｋを同データｆ２とし、共にテクスチャの特徴データとして記述して出力することで（ステップＬ０８）、以上で図３４のサブルーチン処理を終了する。

なお、上述したテクスチャの特徴抽出の方法の他にも、例えばフーリエスペクトルからテクスチャ解析する方法を用いるものとしてもよい。
この場合、離散２次元フーリエ変換したフーリエスペクトル
Ｆ(ｕ，ｖ)＝ΣΣｆ(ｘ，ｙ)Ｗ１^ｘｕＷ２^ｙｖ
（但し、Ｗ１＝ｅｘｐ(−ｊ２π/Ｍ)、
Ｗ２＝ｅｘｐ(−ｊ２π/Ｎ)。）
を求めることでＦ(ｕ，ｖ)のパワースペクトル
Ｐ(ｕ，ｖ)＝｜Ｆ(ｕ，ｖ)｜^２
を算出し、これを極座標形式のＰ(ｒ，θ)に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ(ｒ)、及び角度θの扇形領域内のエネルギーの和ｑ(θ)を求め、

そのヒストグラム分布のピーク、平均、分散などの統計量から、例えばＰ(ｒ)のピークによりテクスチャの「きめ」の大きさを、ｑ(θ)のピークによりテクスチャ画素の方向性など、テクスチャの特徴量を抽出して特徴データを抽出し、出力するようにしてもよい。

さらには、輝度の共起行列を用いてテクスチャの特徴を抽出するものとしてもよい。
すなわち、画像ｆ(ｘ，ｙ)において、画素ｆ(ｘ１，ｙ１)から距離ｄ、角度θの位置関係(ｄ，θ)にある画素ｆ(ｘ２，ｙ２)の輝度をｄ(１，２，‥‥)、θ（０度、４５度、９０度、１３５度など）を変えて順次求め、
（但し、ｄ＝ｍａｘ(｜ｘ１＝ｘ２｜，｜ｙ１−ｙ２｜)）
位置関係(ｄ，θ)にある２点の輝度がそれぞれ
ｆ(ｘ１，ｙ１)＝ｉ、
ｆ(ｘ２，ｙ２)＝ｊ
の対となる頻度（ヒストグラム）を集計して、輝度の共起行列Ｐ(ｉ，ｊ；ｄ，θ)を求め、正規化した共起行列
ｐ(ｉ，ｊ)＝Ｐ(ｉ，ｊ)/Σ_ｉΣ_ｊ(ｉ，ｊ)
から、全体の均一性を表す角２次モーメント（Ａｎｇｕｌａｒｓｅｃｏｎｄｍｏｍｅｎｔ）
ｆ１＝ΣΣ(ｐ(ｉ，ｊ))^２、
局所変化を表すコントラスト（Ｃｏｍｔｒａｓｔ）
ｆ２＝Σ(ｎ^２ｐ(ｉ，ｊ))
方向に関する相関（Ｃｏｒｒｅｌａｔｉｏｎ）
ｆ３＝ΣΣ(ｐ(ｉ，ｊ)ｐ(ｉ，ｊ)−μ^２)/σ^２
（但し、μ＝Σｐ(ｉ)＝１／ｇ(ｇ：階調数)、
σ＝√(Σ(ｐ(ｉ)−μ)/(ｇ−１))、
局所同質性を表す平方和（ＳｕｍｏｆＳｑｕａｒｅｓ）
ｆ４＝ΣΣ((ｉ−μ)^２ｐ(ｉ，ｊ))
複雑さの測度を表す逆差分モーメント（ＩｎｖｅｒｓｅｄｉｆｆｅｒｅｎｃｅＭｏｍｅｎｔ）
ｆ５＝ΣΣ(ｐ(ｉ，ｊ)/(１＋(ｉ−ｊ)))
などを求めて、テクスチャの特徴データとすることができる。

または、高次局所自己相関関数によりテクスチャの特徴量を抽出してもよい。
具体的には、各画素のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、値に画像、Ｑ画像を得て、設定された特徴に応じて（ｎ×ｎ）画素の複数のマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ(ｉ，ｊ)と掛け合わせ（論理積）、次のような特徴ベクトルＣ１〜Ｃ２５を求める。

Ｃ１＝Σ_ｉΣ_ｊ(ｆ(ｉ,ｊ))、
Ｃ２＝Σ_ｉΣ_ｊ(ｆ(ｉ,ｊ)ｆ(ｉ+1,ｊ))、
‥‥
Ｃ５＝Σ_ｉΣ_ｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ+1))、
Ｃ６＝Σ_ｉΣ_ｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ)ｆ(ｉ+1,ｊ))、
‥‥
Ｃ２５＝Σ_ｉΣ_ｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ+1)ｆ(ｉ+1,ｊ＋１))、
上記のＣ１〜Ｃ２５を加算（積和）して
Ｃｉ＝Ｃｉ/Σｊ(Ｃｊ)(ｉ,ｊ＝１,２,‥‥,２５)
とし、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、またはその統計量を、テクスチャの特徴データとして記述して出力するようにすればよい。

次に上記図１５のステップＣ０５での画像データに対する編集処理の途中で実行する、人間の認識処理として、近距離での顔部分の認識を行なう場合について図３５を用いて説明する。

図３５において、まず認識対象となる抽出画像データを取り込んだ後（ステップＭ０１）、画像データ中の輝度データＹもしくは色差データＣｂ，Ｃｒに基づいて輪郭抽出を行なう（ステップＭ０２）。

こうして得た輪郭を境界とする複数の領域に画像データを分割し（ステップＭ０３）、そのうちの１つの領域を対象領域として選択する（ステップＭ０４）。

この対象領域の画像に対し、原色データであるＲＧＢデータまたは色差データＣｂ，Ｃｒに基づいて、平均ＲＧＢ値または平均Ｃｂ，Ｃｒ値を算出し（ステップＭ０５）、算出した結果を上述したＨＳＶデータに変換する（ステップＭ０６）。

こうして得たＨＳＶデータの値に基づいて、当該領域が人間の肌色領域であるか否かを色相（Ｈ：Ｈｕｅ）が６°〜３８°の範囲内にあるか否かにより判断する（ステップＭ０７）。

すなわち、所定の色の領域を抽出する例として人間の肌色領域の抽出を考えた場合、人間の肌の分光反射率特性、または撮影画像の所定領域の代表色のＲＧＢデータまたはＨＳＶデータを元に肌色の領域や人間の肌や顔の領域を抽出できる。

図３６は、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データを取った例を示すものであり、図示する如く肌色の画像データの多くは、彩度は広い範囲で分布するが、色相環では約６°〜３８°の範囲内に分布することが知られている。

したがって、ＨＳＶデータから色相が約６°〜３８°の範囲内にあるか否かにより人間の肌色であるか否かを判断するものとする。

上記ステップＭ０７で当該領域が肌色の領域であると判断した場合にはさらに、その肌色の領域が顔の画像であるか否かを判断するために、領域中の画像データで眼のマスクパターンを設定して眼と瞳の領域を探索する（ステップＭ０８）。

図３７（Ａ）は、眼の領域抽出のためのマスクパターンデータを例示するものであり、これを参照パターンとして、テンプレートマッチング等を用いて探索する。

眼の領域が抽出できたか否かを判断し（ステップＭ０９）、抽出できた場合にはさらに眼の縦横比（細長さ）「ｂ／ａ」と眼と黒目の面積比「ｒ^２／ａｂ」とを算出する（ステップＭ１０）。

すなわち、眼を認識するための条件データとして、図３７（Ｂ）に示すように眼の幅を２ｂ、眼の高さを２ａ、黒目の直径を２ｒとした場合に、
眼の細長さ＝ｂ／ａ、
眼の面積Ｓ１≒πａｂ、
黒目の面積Ｓ２≒πｒ^２、
Ｓ２／Ｓ１＝ｒ^２／ａｂ
となるもので、まず眼の縦横比が所定の範囲内であるか否かを、次式
α１≦ｂ／ａ≦α２
（但し，α１，α２：定数。）
が成り立つか否かにより判断する（ステップＭ１１）。

ここで眼の縦横比が所定の範囲内であると判断した場合のみ、次いで眼と黒目の面積比も所定の範囲内であるか否かを、次式
β１≦ｒ^２／ａｂ≦β２
（但し，β１，β２：定数。）
が成り立つか否かにより判断する（ステップＭ１２）。

ここでも眼と黒目の面積比が所定の範囲内であると判断すると、次いで図３７（Ｃ）に示す右眼の幅ｗ１、右眼と左眼の間隔ｗ２、左眼の幅ｗ３を算出し（ステップＭ１３）、算出したｗ１，ｗ２，ｗ３が略等しいか否かを次式
ｗ１−δ≦ｗ２≦ｗ１＋δ
ｗ１−δ≦ｗ３≦ｗ１＋δ
が共に成り立つか否かにより判断する（ステップＭ１４）。

ここでこれら２つの色が成り立つと判断すると、当該領域は人間の顔であるものとして認識し（ステップＭ１５）、その認識した領域の位置座標を記憶する（ステップＭ１６）。

なお、ここでは用いないが、他にも上記図３７（Ｃ）で示す如く、眉下から鼻下までの長さｈ１と、鼻下からあご先までの長さｈ２とが略等しいか否かによっても、同様に人間の顔であるか否かの判断を行なうことができる。

また、上記ステップＭ０７，Ｍ０９，Ｍ１１，Ｍ１２，Ｍ１４のいずれかで該当しないと判断した場合には、当該領域は人間の顔ではないものと認識する（ステップＭ１７）。

しかして、ステップＭ１６またはＭ１７での処理後、次の領域を認識対象として選択し（ステップＭ１８）、次の未認識の領域を選択することができたか否かにより、すべての領域の認識処理を終えたか否かを判断する（ステップＭ１９）。

まだ未認識の領域を選択することができた場合には、同様に上記ステップＭ０４からの処理を行なう。

しかるにステップＭ０４〜Ｍ１９の処理を繰返し実行し、画像データを構成するすべての分割領域に対して同様の処理を実行し終えると、ステップＭ１９でこれを判断し、認識結果を特徴抽出／認識処理部９０から制御回路８３へ出力して（ステップＭ２０）、以上でこの図３５の処理を終了する。

なお、上記のようにして顔であると認識した領域に対しては、図３８に示すような手法によりその特徴量を抽出することができる。
すなわち図３８（Ａ）に示すように顔の輪郭画像に様々な形状のグラフを当てはめて顔部分の位置を検出する。
次いで、図３８（Ｂ）に示すように顔部分を切出し、顔の大きさを正規化し、顔の特徴点の位置、すなわち各を構成している造形物の各端点等の位置を検出する。
こうして検出した特徴点からも図３８（Ｃ）に示すようにウェーブレット変換等を施すことで周波数成分など被写体となった人物毎に個人の特徴量を抽出することができる。

次に、上述した画像データに対するマスク処理及びモザイク処理について説明する。
図３９（Ａ）に示すような入力画像ｆ（ｉ．ｊ）に対し、隣接する周囲の画素の値（輝度値または色差値）を用いて平均化する平均化フィルタ処理やメディアン（中央値）フィルタにより平滑化する場合について説明する。

すなわち、図３９（Ａ）に示す入力画像ｆ（ｉ．ｊ）に対し、図３９（Ｂ）に示す演算ｇ(ｉ，ｊ)を施して図３９（Ｃ）に示すように出力画像とする。上記図３９（Ｂ）の演算式中の係数Ａ_KLとして、図３９（Ｄ）に示すように当該画素位置のデータ内容を隣接する周囲の画素位置のデータ内容と等しいものとした第１の平均値フィルタを用いるものとしても良いし、図３９（Ｅ）に示すように当該画素位置のデータ内容を隣接する周囲の画素位置のデータ内容の２倍の重み付けを行なうものとした第２の平均値フィルタを用いるものとしても良い。

なお、上記係数Ａ_KLは次式
Ａ_KL＝Median(ｆ(i-1,j-1),ｆ(i-1,j),ｆ(i-1,j+1),
ｆ(i,j-1),ｆ(i,j),ｆ(i,j+1),
ｆ(i+1,j-1),ｆ(i+1,j),ｆ(i+1,j+1))
（但し、Median( )は( )内の値の中央値。）
で表される。

また、上記画素単位での周囲画素との平均化処理に代えて、縦複数画素×横複数画素のブロック単位で平均値を行なう、所謂モザイク処理を行なうものとしてもよい。

すなわち、図４０（Ａ）に示すように画像を複数画素×複数画素の画像ブロックに分割し、入力画像のブロックに対し、図４０（Ｂ）に示す如く画素値をブロック内の平均値に置換することで、図４０（Ｃ）に示すように出力画像とする。

上記画素値の平均化に関しては、画像ブロックのサイズによってはＤＣＴ処理で得られるＤＣ（直流）成分を用いることで演算処理を簡略化することができる。

図４０（Ｄ）に示す画像中の顔部分を抽出し、画像ブロック毎にモザイク処理を施した結果を図４０（Ｅ）に示す。

次に、画像データの変換と秘匿処理について説明する。
図４１は、人物画像の顔領域を抽出してモザイク処理合成する場合を例示する。図４１（Ａ）に示す原画像に対し、図４１（Ｂ）に示す如く肌色の領域で、且つ目鼻の位置する領域を顔画像として抽出する。

この抽出した結果に対し、顔の主な領域を上記図４０でも説明したように複数ブロックに分割し、各ブロック毎に画素値の平均化処理を施して、図４１（Ｃ）に示すようなモザイク化した画像を生成する。

最後に、生成したモザイク画像を元の画像上に合成することで、図４１（Ｄ）に示すように人物の特定が困難な画像データへの変換が実現される。

図４２は、人物画像の顔領域を抽出してマスク処理合成する場合を例示する。図４２（Ａ）に示す原画像に対し、図４２（Ｂ）に示す如く旗色の領域で、且つ目鼻の位置する領域を顔画像として抽出する。

この抽出した結果に対し、顔の目鼻の部分を遮蔽するようなマスク画像を図４２（Ｃ）に示すように生成する。最後に、生成したマスク画像を元の画像上に合成することで、図４２（Ｄ）に示すように個々の人物の特定が困難な画像データへの変換が実現される。

図４３は、所定の建造物や車、船、ヒコーキ、人物の顔等の領域を抽出してモザイク処理合成する場合を例示する。図４３（Ａ）に示す原画像に対しては、所定の建造物、車、及び複数の人物の顔を図４３（Ｂ）に示す如く抽出する。

この抽出した結果に対し、各領域を複数ブロックに分割し、各ブロック毎に画素値の平均化処理を施してモザイク化した画像を生成する。

最後に、生成したモザイク画像を元の画像上に合成することで、図４３（Ｃ）に示すように人物の特定が困難な画像データへの変換が実現される。

以上、図４１乃至図４３は、いずれも個人情報やプライバシー情報、著作権や肖像権などの可能性のある画像データを秘匿するべく、モザイク処理あるいはマスク処理を施した例である。

上記のように画像データの出力内容を制限するのみならず、画像データと共に出力する撮影データ、特徴記述データの内容を制限する場合についても説明する。

図４４（Ａ）は、Ｅｘｉｆの規格に則ったヘッダ情報の内容を例示するもので、画像の撮影時に自動的に作成され、画像データに添付される。
当該画像データを選択して外部出力する場合には、予めユーザが設定した内容に応じて自動的に実行される編集作業中でこのヘッダ情報中の個人情報、ファイル名、機器モデル名、日時、場所情報などを伏せ字（Ｘ）に変換するか、削除処理することで、図４４（Ｂ）に示すように個人情報等を含まないヘッダ情報を生成して、これを送信出力する。

図４５（Ａ）は、ＤｕｂｌｉｎＣｏｒｅ＆ＲＤＦ、ＭＰＥＧ７などによる特徴記述データの内容を例示するもので、画像の撮影時に特徴抽出／認識処理部９０によって自動的に作成され、画像データに対応する物として履歴データメモリ９１に格納されている。
当該画像データを選択して外部出力する場合には、予めユーザが設定した内容に応じて自動的に実行される編集作業中でこの特徴記述データ中の個人情報、ファイル名、機器モデル名、日時、場所情報などを伏せ字（Ｘ）に変換するか、削除処理することで、図４５（Ｂ）に示すように個人情報等を含まない特徴記述データを生成して、これを画像データ、撮影データと共に、送信出力する。

以上、図４４、図４５に示した如く、画像データのみならず、画像データに対応した付加情報に関しても、画像データ出力時に自動的に実行される編集作業により、個人情報等が漏洩してしまうのを未然に防止できる。

このように、撮影した画像の特徴抽出を行なってこれを元の画像データ、及びその撮影条件データと関連付けて記憶した上で、例えばパーソナルコンピュータ等の外部の情報処理装置を利用して、撮影条件と撮影結果との相関や撮影条件と撮影シーンとの相関などの分析を行なわせるべく外部出力する際に、画像データそのもの、及びそれに関連付けられる撮影条件データ、特徴記述データ等に含まれている個人情報やプライベートな内容等に関し、ユーザが出力したくない情報を予め任意に指定しておくことで、自動編集処理によりその出力を確実に制限することができ、安心してデータ出力と外部サーバ等へのアップロード収集に協力することができる。

なお、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。

さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の実施の一形態に係るデジタルカメラの主として外観構成を示す図。同実施の形態に係る他の外観構成を示す図。同実施の形態に係る概念的なシステム構成を示すブロック図。同実施の形態に係る具体的な回路構成と外部機器との接続とを示すブロック図。同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。同実施の形態に係る設定モード下での特徴抽出の処理内容を示すフローチャート。同実施の形態に係る設定モード下での特徴抽出の処理内容を示すフローチャート。同実施の形態に係る特徴抽出の設定画面を例示する図。同実施の形態に係る特徴抽出の設定画面を例示する図。同実施の形態に係る個人情報の送信設定画面を例示する図。同実施の形態に係る特徴抽出の設定画面を例示する図。同実施の形態に係る集計、画像検索機能をサーバ装置が有する場合の機能構成について例示するブロック図。同実施の形態に係る集計、画像検索を行なう際のデジタルカメラ、パーソナルコンピュータ及びサーバ装置間での処理内容を示すフローチャート。同実施の形態に係る集計、画像検索を行なう際のデジタルカメラ、パーソナルコンピュータ及びサーバ装置間での処理内容を示すフローチャート。同実施の形態に係る集計、画像検索機能をデジタルカメラが有する場合の機能構成について例示するブロック図。同実施の形態に係る画像データから特徴量を抽出する特徴抽出処理と抽出した特徴データの記録処理の流れについて説明する図。同実施の形態に係る図１８で得られる撮影情報と特徴記述コードとの内容を例示する図。同実施の形態に係る画像から抽出された特徴データの記述例を示す図。同実施の形態に係る画像から抽出された特徴データの記述例を示す図。同実施の形態に係る抽出された特徴データの記述例を示す図。同実施の形態に係る抽出された特徴データの記述例を示す図。同実施の形態に係る記録媒体に記録された画像データファイルの階層構造を例示する図。同実施の形態に係る圧縮データファイルの構造例を示す図。同実施の形態に係る図５の特徴量抽出のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る図２６の特徴抽出処理のサブルーチンの具体的な処理手順を列挙してその処理内容を示すフローチャート。同実施の形態に係る図２７の輪郭抽出処理のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る輪郭抽出とその抽出した輪郭による認識処理の内容を例示する図。同実施の形態に係る輪郭抽出とその抽出した輪郭による認識処理の内容を例示する図。同実施の形態に係る図２７の代表色抽出処理のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る図２７の色の分布の抽出処理のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る図２７の動きの抽出処理のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る図２７の輝度ヒストグラムによるテクスチャ解析のサブルーチンの処理内容を示すフローチャート。同実施の形態に係る図１５の画像データの編集処理の一部を構成する人間の顔の認識処理の内容を示すフローチャート。同実施の形態に係る顔画像における肌色の色相と彩度の分布を例示する図。同実施の形態に係る顔の領域の抽出データを例示する図。同実施の形態に係る顔の特徴点の抽出処理を例示する図。同実施の形態に係る画素の平均化処理の概念を説明する図。同実施の形態に係るモザイク処理の概念を説明する図。同実施の形態に係る画像データの変換処理内容を例示する図。同実施の形態に係る画像データの変換処理内容を例示する図。同実施の形態に係る画像データの変換処理内容を例示する図。同実施の形態に係るヘッダ情報出力時に実行される自動編集処理の内容を例示する図。同実施の形態に係る特徴記述データ出力時に実行される自動編集処理の内容を例示する図。

符号の説明

１０，１０′…デジタルカメラ、１１…撮影光学系受光窓、１２…ストロボ発光部、１３…グリップ部、１４…電源スイッチ、１５…シャッタスイッチ、１６…ミラー、１７…撮影レンズ群、１８…ＣＣＤ、１９…モード切替スイッチ、２０…ズームスイッチ、２１…カーソルキー、２２…エンターキー、２３…ディスプレイ切替キー、２４…メニューキー、２５…表示部、２６…収納蓋、２７…外部入出力端子、３１…撮影レンズ部、３２…マイクロホン、３３…表示部、３４…スピーカ、３５…ズームスイッチ、３６…撮影スイッチ、３７…カーソルスイッチ、３８…再生スイッチ、３９…電源／モード切替スイッチ、４０，４１…外部入出力端子、４２…開閉蓋、４３…ハードディスクユニット、４４…メモリカード、５１…操作入力部、５２…撮影・記録制御部、５３…撮影条件設定部、５４…特徴抽出・記述設定部、５５…撮影部、５６…信号処理部、５７…画像データメモリ、５８…特徴抽出部、５９…画像・動画像圧縮／符号化部、６０…多重化部、６１…特徴データ符号化部、６２…比較回路、６３…更新記録制御部、６４…メモリ制御部、６５…画像データメモリ、６６…外部入出力部、６７…撮影履歴データ記憶部、６８…再生制御部、７０…画像・動画像伸張／復号化部、７１…特徴データ複合化部、７２…表示制御部、７３…表示部、７４…画像変換部、７５…送信データ選別部、７６…送信データ選別部、７７…送信情報設定部、８０…レンズドライバ、８１…映像信号処理部、８２…画像メモリ、８３…制御回路、８４…マイク、８５…アンプ、８６…Ａ／Ｄ変換回路、８７…音声メモリ、８８…圧縮符号化・伸長復号化、８９…記録媒体、９０…特徴抽出／認識処理部、９１…シーン・撮影条件の統計データメモリ、９２…プログラムメモリ、９３…データメモリ、９４…撮影制御部、９５…表示制御部、９６…入力回路、９７…外部入出力インタフェース、９８…ハードディスクインタフェース（ＨＤＤ・ＩＦ）、９９…Ｄ／Ａ変換回路、１００…測距センサ、１０１…測光／測距部、１０２…アンプ、１０３…スピーカ、１０４…操作入力部、１１０…パーソナルコンピュータ（ＰＣ）、１１１…インターネット、１１２…サーバ装置、１１３…画像データベース（ＤＢ）、Ｐ１０…ファームウェア、Ｐ１１…カメラ制御プログラム、Ｐ１２…ＰＣ転送プログラム、Ｐ２１…ＰＣ転送ソフト、Ｐ２２…検索集計ソフト、Ｃ２３…記述言語デコーダ、Ｃ２４…画像データデコーダ、Ｄ２５…統計データ、Ｄ２６…メタデータ、Ｄ２７…画像データ、Ｐ１１０…ＯＳ、Ｐ１１１…ＷＷＷブラウザ、Ｐ１１２…カメラ転送ソフト、Ｐ２０１〜Ｐ２０３…ＣＧＩプログラム、Ｄ２０４…文書データベース、Ｐ２０５…サーバソフト、Ｐ２０６…認証ソフト、Ｄ２０７…会員登録データベース、Ｐ２０８…画像登録ソフト、Ｃ２０９…記述言語エンコーダ、Ｄ２１０…画像データベース、Ｄ２１１…特徴記述データベース、Ｐ２１２…検索ソフト、Ｃ２１３…記述言語デコーダ、Ｐ２１４…集計ソフト、Ｄ２１５…配信データベース、Ｐ２３１…サーバソフト、Ｄ２３２…特徴記述データベース、Ｄ２３３…画像データベース、Ｄ２３４…インデックスデータ。

Claims

被写体像を撮影する撮像手段と、
この撮影手段での撮影で取得した画像情報を当該画像情報に関連した複数項目の関連情報と対応付けて１レコードとして記録する記録手段と、
この記録手段で記録したレコードを装置外部へ出力する出力手段と、
この出力手段での出力を制限する関連情報の項目と制限内容とを指定する指定手段と、
上記出力手段でのレコードの出力に際し、上記指定手段での指定内容に基づいて複数項目の関連情報及び画像情報の少なくとも一つを制限したレコードを上記出力手段により出力させる出力制御手段と
を具備したことを特徴とする撮像装置。
上記出力制御手段は、複数項目の関連情報及び画像情報の少なくとも一つを加工した上で出力させることを特徴とする請求項１記載の撮像装置。
上記指定手段は、上記出力手段による出力先の機器、出力の目的、１レコード中の複数項目の組合せの少なくとも１つに応じて指定内容を可変することを特徴とする請求項１記載の撮像装置。
上記複数項目の関連情報は、撮影日時、撮影場所、撮影条件、装置機種、装置ユーザの個人情報の少なくとも２つを含み、
上記出力制御手段は、上記指定情報により指定されたる関連情報の複数項目の組合せに応じて関連情報の出力を制限する
ことを特徴とする請求項１記載の撮像装置。
被写体像を撮影する撮像工程と、
この撮影工程での撮影で取得した画像情報を当該画像情報に関連した複数項目の関連情報と対応付けて１レコードとして記録する記録工程と、
この記録工程で記録したレコードを装置外部へ出力する出力工程と、
この出力工程での出力を制限する関連情報の項目と制限内容とを指定する指定工程と、
上記出力工程でのレコードの出力に際し、上記指定工程での指定内容に基づいて複数項目の関連情報及び画像情報の少なくとも一つを制限したレコードを上記出力工程で出力させる出力制御工程と
を有したことを特徴とする撮像装置の出力制御方法。
撮像装置に内蔵されるコンピュータが実行するプログラムであって、
被写体像を撮影する撮像ステップと、
この撮影ステップでの撮影で取得した画像情報を当該画像情報に関連した複数項目の関連情報と対応付けて１レコードとして記録する記録ステップと、
この記録ステップで記録したレコードを装置外部へ出力する出力ステップと、
この出力ステップでの出力を制限する関連情報の項目と制限内容とを指定する指定ステップと、
上記出力ステップでのレコードの出力に際し、上記指定ステップでの指定内容に基づいて複数項目の関連情報及び画像情報の少なくとも一つを制限したレコードを上記出力ステップで出力させる出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。