JP2010062853A - 情報処理装置、方法およびプログラム - Google Patents

Abstract

【課題】 撮影者が画像撮影に際して取る動作に基づいて、より高精度に撮影者の意図を画像処理に反映可能にする。
【解決手段】ユーザ情報取得部１４１の取得したユーザ情報に基づいて、構図フラグのオンオフ、画像分類の付与などの付帯情報を画像に記録する。この付帯情報に基づいて、画像トリミング範囲の設定、エフェクトの付与、画像の台紙への配置などの各種画像処理を行う。
【選択図】 図１

Description

本発明は、撮影前に撮影者のとった動作に応じて各種画像処理内容を決定する装置、方法およびプログラムに関する。

特許文献１は、環境情報検出部を備えた画像記録装置に関し、周囲の温度・湿度・気圧などや撮影時のカメラの振動・シャッターボタンの押圧・撮影者の体温・脈拍・血圧などを記録し、これらの情報を基に画像の評価や検索を行う。

特許文献２では、撮影者の手ないし指の動きを検出し、これを基に撮影開始・ズーム・記録・再生の制御を行う。

特許文献３の画像出力システムは、画像の重要度を算出する重要度算出部と、重要度算出部が算出した重要度がより大きい画像を、より大きく表示又は印刷させる出力制御部とを備える。出力装置は、記録された画角の変化量が予め定められた変化量より大きい撮像画像をトリミングして出力する場合には、当該撮像画像のトリミングされて得られるトリミング画像が所定の大きさ以上となるよう、ユーザによるトリミング範囲を制限する。これにより、ユーザが意図的に広角で撮像した撮像画像を必要以上に小さくトリミングすることを未然に防ぐ。
特開２００６−８６８２３号公報 特開２０００−１３８８５８号公報 特開２００６−２８７９１１号公報

特許文献１は、画像の評価はされるが、これに応じた内容の画像処理が行われる訳ではない。特許文献２は、撮影者の動きを取得するが、これに応じた内容の画像処理が行われる訳ではない。

特許文献３のように、撮影時の条件をトリミング条件に反映させようとする従来技術は存在するが、特許文献３では、トリミング範囲が狭小化するのを単に防ぐだけである。逆に、ユーザが注目している領域を囲むトリミング範囲を小さとってもよい画像もあるであろうが、そのような場合の対応はできない。

本発明は、撮影者が画像撮影に際して取る動作に基づいて、より高精度に撮影者の意図を画像処理に反映可能にすることを目的とする。

本発明に係る情報処理装置は、画像の撮影開始以前における撮影者の動作に関する情報である撮影者情報を取得する撮影者情報取得部と、撮影者情報取得部の取得した撮影者情報に基づいて、画像に対する処理内容を決定する処理内容決定部と、を備え、撮影者情報は、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きのうち少なくとも１つを含む。

処理内容決定部は、撮影者情報が構図確認はあったことを示す情報を含む場合、画像の所定位置を基準に所定のアスペクト比の画像処理範囲を設定し、撮影者情報が構図確認はなかったことを示す情報を含む場合、画像の主要被写体を基準に所定のアスペクト比の画像処理範囲を設定する。

画像処理範囲は、トリミング範囲または画像合成範囲を含む。

画像が撮影に失敗した画像であるか否かを判定する失敗画像判定部を備え、処理内容決定部は、撮影者情報が構図確認はあったことを示す情報を含み、かつ失敗画像判定部が失敗画像であると判定した場合、画像を処理内容の決定候補から除外する。

構図確認はあったことを示す情報は、撮影装置の表示画面への目線検知、撮影装置の近傍での人体検知、特定の内容の音声認識、撮像装置の特定の姿勢、またはズーム操作、合焦操作、輝度調整その他の撮影条件の入力操作検知を含む。

画像の注目部分を決定する注目部分決定部を備え、処理内容決定部は、注目部分決定部が決定した画像の注目部分に基づいて画像に対する処理内容を決定する。

画像の注目部分の指定を受け付ける注目部分指定部を備え、処理内容決定部は、注目部分指定部が指定を受け付けた画像の注目部分に基づいて画像に対する処理内容を決定する。

注目部分決定部は、合焦被写体および撮影装置から合焦被写体までの距離と同一距離にある被写体のうち少なくとも一方を注目部分に決定する。

撮影者が注目している被写体を識別する注目被写体識別部を備え、注目部分決定部は、注目被写体識別部が識別した被写体を注目部分に決定する。

撮影者情報取得部の取得した撮影者情報に基づいて、画像に対する分類を付与する分類部を備え、処理内容決定部は、分類部が画像に付与した分類に基づいて画像に対する処理内容を決定する。

処理内容決定部の決定した処理内容に従って画像を処理する処理部を備える。

処理は、トリミング、画像の台紙への配置、画像同士の合成および画像へのエフェクトの付与のうち少なくとも１つを含む。

本発明に係る情報処理方法は、コンピュータが、画像の撮影開始以前における撮影者の動作に関する情報である撮影者情報を取得するステップと、コンピュータが、撮影者情報取得部の取得した撮影者情報に基づいて、画像に対する処理内容を決定するステップと、を含み、撮影者情報は、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きのうち少なくとも１つを含む。

この情報処理方法をコンピュータに実行させるための情報処理プログラムも本発明に含まれる。

この発明によると、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間、撮影開始までの撮影装置の動きに基づいて、撮影者の想定する画像の重要度や注目点を把握し、それに応じて適切な画像処理を行うことができる。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ、モードダイヤル等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムは記憶部１１９のＲＯＭに記憶される。

撮像部１０２は、ズームレンズおよびフォーカスレンズを含む撮像レンズ、撮像レンズを駆動するモータ、ＣＰＵ１１２の指令に従ってモータを駆動するモータドライバ、撮像レンズの結像した被写体像を受光して光電変換し、アナログ画像信号として出力する固体撮像素子を含む。

いま、モードダイヤルによって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像部１０２から順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。

撮像部１０２は、Ａ／Ｄコンバータ、ゲイン調整回路、画像信号処理回路、ホワイトバランス補正回路、ガンマ補正回路、ＹＣ処理回路、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段を含み、ＣＰＵ１１２からのコマンドに従って画像信号を処理し、デジタル画像データに変換する。

撮像部１０２から出力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、記憶部１１９のＶＲＡＭに格納される。

一方、画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算部１２６から送られた１画面分の分割領域（例えば６４分割）の画像データの内、十字キーで任意に設定された被写体中心付近のエリア（例えば４エリア）の平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度に記憶部１１９に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦するレンズ位置を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する（コントラストＡＦ）。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。

撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭに順次書き込まれ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。

ここで、レリーズスイッチが半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチが全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチの全押しに応動して取得された記録用の画像データは、画像記憶部１３２に格納される。

画像記憶部１３２に格納されたＹ／Ｃ信号は、ＣＰＵ１１２によって所定のフォーマット（例えばExif（Exchangeable Image File Format））に従って圧縮された後、外部記録媒体にファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたパソコン２００ａやプリンタ２００ｂやＰＤＡなどの各種電子機器２００に送信することもできる。

プリンタ２００ｂは、カメラ１０やパソコン２００ａから受信した静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントする。所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイや記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成された画像プリントの出力先は、特定のものに限定されない。本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。

モードダイヤルによって動画撮影モードが設定されたときには、レリーズスイッチの全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチを押下すると動画記録動作が停止する。レリーズスイッチを押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばＭＰＥＧ４形式によって画像記憶部１３２に記憶される。

モードダイヤルにより再生モードが選択されると、画像記憶部に記憶されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。この読み出された画像圧縮データは、ＣＰＵ１１２によって非圧縮のＹＣ信号に伸長され、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０に画像が表示される。

表示部１１０は、カメラ１０に内蔵されたＬＣＤ、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッター速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、表示部１１０に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。

画像記憶部１３２は、撮影で得た画像データ（静止画、動画）を保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。

ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ、十字キー、電源スイッチ、モードダイヤル、情報位置指定キーあるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。

カメラ１０の電源が電源スイッチでオンされる度に、カメラボディ内部に装着される電池からなる図示しない主要電源から、デジタルカメラ１０の各回路に電源が供給される。

通信インターフェース７６は、パソコンンやプリンタなどの各種情報処理機器と接続可能であり、ＣＰＵ１１２からのコマンドに従い、データの送受信を行う。

動き検出回路２１は、加速度センサ、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、操作部１１３、特にレリーズスイッチへの押圧力を検知する圧力検出部、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部を備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報ならびに各動きの検知が開始した時刻、各動きの検知が終了した時刻、各動きの検知が持続した時間を含む。

サブ撮像部２０は、カメラ１０の筐体前面に設けられて被写体の撮影に用いられる撮像部１０２とは異なり、筐体前面に設けられて撮影者自身の撮影（以下、セルフ撮影と呼ぶ）を行なう。また、サブ撮像部２０は、ユーザが表示部１１０の画面のどこを注視しているかを検出する装置であり、検出した情報はＣＰＵ１１２に入力される。被検眼の視線方向を検出するには、被検眼の前眼部に光線を投射し、角膜或いは水晶体による反射像を光電変換素子によって検出することで実現される。被検眼の視線方向を検出する装置は周知であり、例えば、特許第２８７２２９２号に開示された技術を適用できる。

測距部８１は、例えば、撮像部１０２の撮影範囲にある被写体に対して発光部から光を発し、被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を算出する三角測距センサを採用できる。あるいはＴＯＦ（タイムオブフライト）原理を応用したセンサや、複眼カメラの距離画像（３Ｄ画像）を利用するなど、被写体の測距を行う手段であれば各種の公知技術を採用できる。

表示部１１０にはタッチパネル１１４が積層されている。ユーザが指やペンなどで表示部１１０の対応部分を押下すると、その押下位置を示す情報がＣＰＵ１１２に出力される。

ＣＰＵ１１２には、音声処理回路８４を介してスピーカ８５が接続されている。音声処理回路８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音や、動画とともに記録された音声を出力する。

マイク１７から取得されたアナログ音声信号は、動画撮影モードの場合、音声処理回路８４によって増幅後デジタルデータに変換されるとともに、所定の圧縮記録形式（ＭＰＥＧ４など）で圧縮されるなどのデータ処理がなされ、取得した画像とともに画像記憶部１３２に記憶される。静止画撮影モードであっても、本撮影指示前後の音声を記録することは可能である。また、画像記憶部１３２に記憶された音声の他、記憶部１１９に予め記憶された操作音、シャッタ音、ＡＦの合焦音などの各種報知音データは、音声処理回路８４によってデコードやアナログ音声信号変換や増幅などのデータ処理がなされた後に、スピーカ３５に出力される。スピーカ８５は、音声処理回路８４から出力されたアナログ音声信号に従って音声を出力する。

ＲＴＣ（リアルタイムクロック）１５は、現在日時情報を出力する。この現在時刻情報は、撮像部１０２による記録用画像の撮影日時情報として、画像とともに記録することができる。

音声認識回路５４は、マイク１７から直接取得された音声、あるいは画像記憶部１３２に記憶された音声データのうちＣＰＵ１１２から指定された音声データが表す音声に対して音声認識を行い、認識結果をテキストデータとして出力する音声認識処理を行う。音声認識回路５４には、音声データベース７４が接続されており、音声データベース７４には、音声認識処理時にパターンマッチングのために参照されるパターンデータが記憶されている。音声認識回路５４は、音声データベース７４に記憶されているパターンデータを参照して音声認識を行う。音声データベース７４には、例えば「はい、チーズ」や「はい、笑って！」や「撮りますよ」といった、撮影の開始を知らせる様々な音声パターンが登録されている。

ＧＰＳ受信機１２０は、ＧＰＳ衛星からの電波を受信して軌道からの距離を測定することにより、カメラ１０の現在位置情報を得る。この現在位置情報は、撮像部１０２による記録用画像の撮影位置情報として、画像とともに（例えばメタ情報やヘッダ情報として）画像記憶部１３２に記憶することができる。

赤外線センサ１５０は、表示部１１０や操作部１１３の近傍に存在している物体の熱を感知し、発熱体の存在を検知すると、その旨をＣＰＵ１１２に通知する。検知の閾値はＣＰＵ１１２の指令に応じて任意に設定でき、例えば人の体温３６°Ｃとすることができる。赤外線センサ１５０は、ＣＣＤのような赤外線帯域に感度を有する撮像素子を備えていてもよく、この場合、発熱体を被写体としたサーモグラフィーを作成してもよい。

図２は、カメラ筐体裏面におけるサブ撮像部２０、赤外線センサ１５０、マイク１７、通電部１２１の１対の電極１２１ａ・１２１ｂの設置位置の一例を示す。これらの各種装置は、表示部１１０の周辺に設けられている。

再び図１を参照すると、ユーザ情報取得部１４１は、画像処理の基礎となるユーザ情報を取得する。例えば、ユーザ情報は、ＧＰＳ受信機１２０からの位置情報、赤外線センサ１５０の発熱体検知の有無、動き検出回路２１の検出した動きを示す動き情報、通電部１２１による人体通電検知の有無、ＲＴＣ１５からの撮影日時情報、操作部１１３やタッチパネル１１４の操作内容情報、ＣＰＵ１１２からの構図情報、被写体情報、画質情報、音声認識回路５４からの認識音声情報、あるいはそれらをメタ情報やヘッダ情報として記録した画像ファイルなどが挙げられる。

通電部１２１は、カメラ筐体に設けられているが、カメラ筐体上では互いに絶縁された１対の電極の一方から、数百マイクロアンペア程度の微弱電流を出力する。もし、双方の電極がともに人体に触れていれば、電極の一方から出力された微弱電流は他方に到達する。通電部１２１は、微弱電流の通電の有無を検知し、これを通電情報としてＣＰＵ１１２に出力する。電極は、カメラ１０で撮影を行うときに通常撮影者が把持する部分、例えば筐体左右側面に１つずつ（縦撮りの場合は上下側面に１つずつ）に設けられる。通電情報は、ユーザがカメラ１０を両手で構えておりカメラ１０が撮影準備状態にあるか、あるいは単に片手で持ち運んでいるだけかを判断する情報の１つとして用いられる。この情報は、画像の付帯情報として記録してもよい。

画像解析部１４５は、画像記憶部１３２の画像を解析し、その結果に応じて、構図情報、被写体情報、画質情報を作成し、出力する。構図情報は、人物の有無、主要被写体（典型的には合焦被写体のことを指すが、顔検出のあった被写体でも可）の位置を含む。被写体情報は、顔領域の位置、サイズ、人物名などを含む。なお、構図解析、被写体抽出、顔検出、画質解析については、各種の公知技術を用いればよい（例えば、本出願人による特開２００７−９７０９０号公報、特許公開２００５−３５４６０６号公報）。これらの情報は、画像の付帯情報として記録してもよい。

画質情報は、ボケ・ブレの有無や、目瞑りの有無などを示す失敗画像情報を含む。ブレの検出については、従来の手ブレ検出と同様、動き検出回路２１の検出した加速度ベクトルのサイズが所定の閾値を超えた場合に手ブレありと判断する。ボケの検出については、例えばエッジ検出に基づいて行うことができる（例えば、本出願人による特開２００５−１２２７２１号公報）。目瞑りの有無の判定についても公知技術を用いることができる（例えば、本出願人による特開２００７−４９６３１号公報）。

操作内容情報は、撮影モード設定からシャッターボタン半押しまでの間に入力された操作の内容を含む。操作内容情報は、操作部１１３またはタッチパネル１１４への操作入力があるごとに、ＣＰＵ１１２によって記憶部１１９に記憶される。これらの情報は、画像の付帯情報として記録してもよい。

画像分類部１４２は、ユーザ情報取得部１４１の取得した情報に基づいて、画像記憶部１３２の画像を分類し、その結果を示す分類情報を各画像に対応づけて画像記憶部１３２に記憶する。画像処理条件決定部１４３は、各画像に対応づけられた付帯情報、例えば構図情報、操作情報、カメラ１０の位置情報、撮影までの経過時間情報、カメラ１０の動き情報、カメラ１０の姿勢情報、画像の分類情報に基づいて、各画像の画像処理条件を決定する。画像処理部１４４は、画像処理条件決定部１４３の決定した画像の画像処理条件に基づいて、当該画像に画像処理を施す。画像処理とは、トリミング、テンプレート合成、テキスト合成を含む。

なお、デジタルカメラ１０とは、要するに被写体光を画像データとして取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。

記憶部１３２には、画像データに合成される文字情報やテンプレートデータが格納されており、画像処理部１４４は、操作部１１３からの選択操作に応じて所望の画像に所望のデータを合成する。

図３は第１実施形態に係る撮像処理の概略を示すフローチャートである。この処理は撮影モードの設定に応じて開始する。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。

Ｓ１では、撮像前に構図を確認する動作が検知されたか否かを判断する。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ３に進む。ここでＹｅｓの判断が下される場合とは、例えば、サブ撮像部２０から出力された撮像信号から顔画像（特に、記憶部１１９に予め記憶された撮影者の顔特徴量と同一の顔特徴量を有する顔画像を検出したこと）、赤外線センサ１５０が発熱体を検知したこと、通電情報が出力されたこと、あるいはそれらのうちの２つ以上を組み合わせた条件のいずれか１つを満たした場合、もしくは全てを満たした場合である。

Ｓ２では、記憶部１１９の「構図フラグ」をオンに設定する。撮影時にユーザが表示部１１０の前に顔を近づけてスルー画をチェックしたり、設定操作を行おうとして指を表示部１１０に近づければ、構図を重視した撮影を行おうとしていると推測される。この場合は、「構図フラグ」をオンにする。逆に、構図を確認する動作が何も検知されなければ、構図を重視しない撮影を行おうとしていると推測されるから、「構図フラグ」をオフのままにする。

Ｓ３では、撮像前に構図を確認する旨を示す操作が入力されたか否かを判断する。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ５に進む。ここでＹｅｓの判断が下される場合とは、例えば、メニューから撮像前に構図を確認する旨の項目が操作部１１３から選択されたことの他、構図の確認に関係がある所定の操作、例えばズームレンズの駆動、合焦評価値算出領域の指定、顔検出ＡＦのオンオフ設定、画面明るさ調整などが操作部１１３から入力されたこと、あるいはその２つ以上を組み合わせた条件のいずれか１つを満たした場合、もしくは全てを満たした場合である。

Ｓ４では、記憶部１１９の「構図フラグ」をオンに設定する。撮影時にユーザが、ズーム、ピント、輝度調整などの各種撮影条件の設定操作をしていれば、構図を重視した撮影を行おうとしていると推測される。この場合、「構図フラグ」をオンにする。逆に、撮影条件の設定操作が何もなければ、構図を重視しない撮影（非常に急いでいるか、あるいは何気ない撮影）を行おうとしていると推測されるから、「構図フラグ」をオフのままにする。

構図フラグは、当該画像を記録した画像ファイルの付帯情報（ヘッダ情報やタグ情報やメタ情報）として記録しておけば、画像とともに電子機器２００に出力できる。

カメラ１０あるいは電子機器２００は、画像ファイルの付帯情報に記録された構図フラグのステータスに応じて、当該画像ファイルに記録された画像に対する画像処理を実行する。

例えば、図４（ａ）（ｂ）のような画像データＩ１、Ｉ２が、ある画像ファイルに記録されているとする。

図５に示すように、パソコン２００ａ（あるいはカメラ１０やプリンタ２００ｂ）は、画像データＩ１に対応する構図フラグがオフの場合、エッジ検出などで主要被写体を検出した上、主要被写体を包含しかつプリンタ２００ｂのプリントアスペクト比に合致した縦横比の画像トリミング領域を当該画像データＩ１に設定する。そして、図６のように、その画像トリミング領域内の部分画像を切り出し、ハードディスクなどの記憶媒体にプリント用画像として保存する。これは、構図フラグがオフなら、撮影者は構図を重視しておらず、オリジナルの画像の構図を必ずしも保持しないままトリミングしてもユーザの希望に沿うと考えられるからである。

一方、図示は省略するが、パソコン２００ａは、画像データＩ１に対応する構図フラグがオンの場合、画像データＩ１の所定部分（典型的には中央部分）を包含しかつプリンタ２００ｂのプリントアスペクト比に合致した縦横比の画像トリミング領域を設定し、その画像トリミング領域内の部分画像を切り出し、ハードディスクなどの記憶媒体にプリント用画像として保存する。これは、構図フラグがオンなら、撮影者は構図を重視しており、オリジナルの画像の構図をなるべく保持したトリミングがユーザの希望に沿うと考えられるからである。

あるいは、カメラ１０、パソコン２００ａ、プリンタ２００ｂが、画像Ｉ１とＩ２を同一の台紙に配置した際、両画像に重複が生じたとする。この場合、重複部分においてどちらの画像を優先的に出力するかを決定する必要があるが、この決定に際して「構図フラグ」を用いる。例えば、画像Ｉ１の構図フラグが「オン」であり、画像Ｉ２の構図フラグが「オフ」であれば、両画像の重複部分において、画像Ｉ１の出力を画像Ｉ２よりも優先させる（図７参照）。

画像Ｉ１の構図フラグ＝画像Ｉ２の構図フラグ＝「オフ」である場合、どちらも構図が重視されておらず両画像の優劣がつかないので、重複部分において、画像Ｉ１・Ｉ２のうち任意の一方の画像の出力を他方よりも優先させる。

画像Ｉ１の構図フラグ＝画像Ｉ２の構図フラグ＝「オン」である場合、どちらも構図が重視されており両画像の優劣がつかないので、重複部分を解消させるよう警告を表示部１１０に表示するか、強制的に画像Ｉ１・Ｉ２の位置を引き離して重複部分を解消させる。あるいは、重複部分において、画像Ｉ１・Ｉ２のうち任意の一方の画像の出力を他方よりも優先させてもよい。

あるいは、カメラ１０、パソコン１００ａあるいはプリンタ２００ｂは、画像の構図フラグに応じて、プリント注文画像の候補から、失敗画像情報のある画像を除外する。

例えば、カメラ１０は、画像Ｉ１の構図フラグ＝「オフ」である場合、画角外れ（例えば図４（ｂ）の犬の体が半分しか写っていないような場合）や、画像解析部１４５による画像解析の結果、ボケやブレや被写体の目つぶりなどのいわゆる失敗撮影の発生が失敗画像情報に基づいて判定されても、候補から除外せず、この画像をプリンタ２００ｂへ出力するプリント画像として、操作部１１３からの選択を許容する。

一方、カメラ１０は、画像Ｉ１の構図フラグ＝「オン」であり、失敗撮影の状態が生じていると判定された場合、候補から除外し、この画像をプリンタ２００ｂへ出力するプリント画像として、操作部１１３からの選択を無効化するか、選択されても無視する。

これは、構図フラグ＝「オン」で構図を重視しているのに失敗画像を撮ってしまった場合、その画像はプリントする価値に乏しいと考えられるからである。逆に、構図フラグ＝「オフ」で構図を重視していなければ、失敗画像と判定された場合であっても、その画像は撮影時の雰囲気を確認するのに十分であり、プリントする価値はあると考えられるからである。プリント以外にも、ＣＤ−Ｒへの出力候補や、スライドショーの構成画像から外すなど、失敗画像情報のある画像の取扱を構図フラグに応じて決めることもできる。

＜第２実施形態＞
図８は第２実施形態に係る撮像処理の概略を示すフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムは記憶部１１９に記憶されている。

Ｓ１１では、撮像前に構図を確認する動作が検知されたか否かを判断する。Ｙｅｓの場合はＳ１２、Ｎｏの場合はＳ１３に進む。この処理はＳ１と同様である。

Ｓ１２では、構図フラグ＝「オン」を設定する。次に、表示部１１０に表示されたスルー画から所望の撮影対象の注目点の指定を促すメッセージを表示部１１０に表示し、タッチパネル１１４から、撮影対象の注目点の指定を受け付ける。指定があった場合はＳ１３、所定時間が経過しても指定がない場合あるいは指定を行わない旨の操作があった場合はＳ１４に進む。撮影対象の注目点は単数でも複数でもよい。注目点の指定を受け付ける代わりに、撮影対象を包含する領域あるいはその領域の縁の描画操作を受け付けてもよい。例えば、被写体を囲む円を入力する操作、被写体の周りをなぞる操作を受け付けてもよい。

Ｓ１３では、指定のあった注目点を中心とした所定の形状・所定の大きさの領域（トリミングテンプレート領域）を、画像トリミング領域に設定し、設定された画像トリミング領域の座標情報を記憶部１１９に記憶する。トリミングテンプレート領域は記憶部１１９に記憶されているが、画像の付帯情報にしてもよい。その形状と大きさは任意であり、円形、楕円形、矩形、星型などとできるが、撮像処理の前に予め操作部１１３から任意に指定できてもよい。注目点の指定があれば、「注目点フラグ」＝オンを記憶部１１９に設定する。このフラグは画像ファイルの付帯情報として記録される。

なお、Ｓ１３で撮影対象を包含する領域あるいはその領域の縁の描画操作がされていれば、その領域を画像トリミング領域に設定し、設定された画像トリミング領域の座標情報を記憶部１１９に記憶する。画像トリミング領域の座標情報は、当該画像を記録した画像ファイルのヘッダ情報やタグ情報やメタ情報として記録しておけば、画像とともに電子機器２００に出力できる。

ユーザからの明示的な操作部１１３への注目点の指定操作に依存せず注目領域や画像トリミング領域を設定することも可能である。例えば、操作部１１３への操作以外のユーザの動作を検知し、それに基づいて注目領域や画像トリミング領域を設定してもよい。具体的には、ＣＰＵ１１２は、ユーザの視線方向をサブ撮像部２０によって検知し、その視線方向の先にあるスルー画上の被写体像ないし部分領域（注目領域）を特定し、特定した注目領域を包含する所定サイズ・所定形状のトリミングテンプレート領域を画像トリミング領域に設定する。あるいは、カメラ１０で画像トリミング領域の設定は行わず、注目点の座標情報を、画像の付帯情報として記録しておき、これを電子機器２００で読み取り、画像トリミング領域の設定を行ってもよい。あるいは、カメラ１０の傾きが鉛直上方であることが動き検出回路２１により検出され、かつ、画像解析部１４５が顔検出をした場合、撮影者は人物よりも背景を重視しているとみなし、顔検出領域の上方領域を注目領域に設定する。これと同様に、チルト方向が鉛直下方であれば顔検出領域の下方領域を、パン方向が左であれば顔検出領域の左側領域を、パン方向が右であれば顔検出領域の右側領域を、それぞれ注目領域に設定するとよい。

あるいは、ＣＰＵ１１２は、ユーザの視線方向をサブ撮像部２０によって検知し、その視線方向の先にある被写体（注目被写体）を特定し、特定した被写体をスルー画上で包含する所定サイズ・所定形状の領域を注目領域に設定する。視線を向けている被写体の検知は、公知技術を用いればよい。例えば、特開２００１−３５０１７１号公報のように、撮影者がカメラのファインダ視野のどこを見ているかを検出するとよい。

あるいは、被写体距離情報と焦点距離情報に基づいて画像トリミング領域を設定してもよい。これは例えば、焦点距離情報を合焦被写体の距離情報に換算した上、別途測距部８１から取得した、各被写体（主要被写体以外の被写体も含む）に対応する被写体距離情報と合焦被写体の距離情報とを比較する。そして、測距部８１から取得した各被写体の位置から、合焦被写体の距離情報と同一の被写体距離情報に対応する被写体の位置を特定し、合焦被写体および／またはこれと同一距離の他の被写体をスルー画上で包含する所定サイズ・所定形状の領域を注目領域に設定する。なお、各被写体の位置情報は、立体的な座標情報であれば３Ｄ画像から取得することができる。

Ｓ１４では、画像全体を包含する領域を画像トリミング領域に指定する。これは、構図確認をしているが特別な注目点が指定されない場合は、画像全体が重要であり、特定の一部分を切り出すのは適当でないからである。あるいは、カメラ１０で画像トリミング領域の設定は行わず、注目点の座標情報を、画像の付帯情報として記録しておき、これを電子機器２００で読み取り、画像トリミング領域の設定を行ってもよい。また「注目点フラグ」＝オフを記憶部１１９に設定する。このフラグは画像ファイルの付帯情報として記録される。

Ｓ１５では、構図フラグ＝「オフ」を設定する。そして、任意の画像トリミング領域の指定を操作部１１３から受け付ける。ただし画像トリミング領域は必ずしも指定されなくてもよい。あるいは、カメラ１０で画像トリミング領域の設定は行わず、画像トリミング領域は「なし」である旨を画像の付帯情報として記録しておき、これを電子機器２００で読み取り、ユーザ操作による画像トリミング領域の自由な設定を許可してもよい。

図９はスルー画および注目点の一例を示す。図９（ａ）では、構図確認がなく（Ｓ１１でＮｏ）、特にユーザが注目しているポイントはないとみなし、トリミング領域も設定しない（Ｓ１５）。図９（ｂ）では、構図確認があり（Ｓ１１でＹｅｓ）、かつ、画面中央の人物被写体および画面右側部に注目点が指定されている。そのため、それらに対応した２つの画像トリミング領域Ａ・Ｂが設定されている。図９（ｂ）では、構図確認があるが（Ｓ１１でＹｅｓ）、注目点が指定されていない（Ｓ１２でＮｏ）。つまり、ユーザは画面全体を注目点と考えており、画像全体を包含する領域が画像トリミング領域Ｃに指定され、画像の一部がトリミングされるのを防ぐ。

カメラ１０、パソコン２００ａ、あるいはプリンタ２００ｂ（以下、「カメラ等」と表記）は、構図確認の有無、注目点の有無に応じて画像トリミング領域を設定し、その画像トリミング領域に従って、画像データをトリミングする。

具体的には、図１０に示すような、各処理ステップＳ３、４、５の実行結果に対応した商材ごとの画像処理の内容を規定してた処理内容テーブルを記憶部１１９その他のカメラ等の有する記憶媒体に記憶しておき、Ｓ１・２の判断の結果進んだ処理および所望のプリントの種類に対応する処理内容を特定して、それを実行する。なお、このテーブルにはトリミング領域の設定内容が規定されているから、必ずしもステップＳ１３・１４・１５でカメラ１０自身がトリミング領域を設定したり動画再生制御する必要はなく、電子機器２００が画像ファイルの構図フラグや注目フラグを参照して決定できる。

例えば、プリントの種類として「通常プリント」が選択され、かつ、ステップＳ１５に進んだ場合（すなわち画像ファイルの付帯情報が「構図フラグ」＝オフを記録する場合）、カメラ等は、当該画像ファイルに記録された画像に関して、通常プリントのアスペクト比を有した矩形領域の中心を画像の中心に合わせて（センタリング）、当該矩形領域に包含される部分画像を切り出す。これは、撮影前に、背景と人物のバランスなど細かい構図の確認がされていなければ、ある程度背景を切り抜いてトリミングを行っても問題ないと考えられるからである。

あるいは、プリントの種類として「フォトアルバム等（フォトアルバム、カレンダー、ポストカード）」が選択され、かつ、ステップＳ１５に進んだ場合、カメラ等は、当該画像ファイルに記録された画像に関して、操作部１１３その他のユーザ操作部材を介した自由な画像トリミング領域の設定を受け付け、受け付けた領域に包含される部分画像を切り出す。

あるいは、プリントの種類として「通常プリント」が選択され、かつ、ステップＳ１３に進んだ場合（すなわち画像ファイルの付帯情報が「構図フラグ」＝オンかつ「注目点フラグ」＝オンを記録する場合）、カメラ等は、当該画像ファイルに記録された画像に関して、注目点の近傍領域、例えば上述の注目領域に包含される部分画像を切り出す。なお、日付などの付帯情報の合成位置は、注目点から外れた位置にするとよい。

あるいは、プリントの種類として「フォトアルバム等（フォトアルバム、カレンダー、ポストカード）」が選択され、かつ、ステップＳ１３に進んだ場合、カメラ等は、当該画像ファイルに記録された画像に関して、上述の注目領域に包含される部分画像を切り出す。あるいは、同一の台紙上である画像の注目領域が別の画像と重なる場合、注目領域を優先して出力する。図１１では、画像Ｉ３の注目領域Ｒが他の画像Ｉ４と重なっているが、注目領域Ｒは画像Ｉ４よりも優先して前面に出力されて、画像Ｉ４は注目領域Ｒに関して画像Ｉ３の背後になる。これらの画像Ｉ３・Ｉ４でスライドショーを表示する場合は、画面上でフェードイン・フェードアウトさせてもよいが、その際に両者が重なった場合は、重複部分について上記のような出力の優先制御をする。

あるいは、プリントの種類として「通常プリント」が選択され、かつ、ステップＳ１４に進んだ場合（すなわち画像ファイルの付帯情報が「構図フラグ」＝オンかつ「注目点フラグ」＝オフを記録する場合）、カメラ等は、操作部１１３の操作部材から、当該画像ファイルに記録された画像に関して、任意の画像トリミング範囲の指定を受け付ける。ただし、受け付けた画像トリミング範囲が、画像全体の面積のうちの所定以上の割合を失う場合（例えば画像全体の面積の３０％以上を喪失するような画像トリミング範囲が指定された場合）は、切り出し範囲が小さい旨の警告を表示部１１０などの表示装置に出力し、なるべく多くの領域が切り出されるようにする。これは、撮影前にどのような画像が撮影されるかを撮影者がよく確認しているから、大幅な切り出しは好ましくないと考えられるからである。なお、撮影日付など画像とともに出力する付帯情報は、注目点から外れたの位置に合成するとよい。

あるいは、プリントの種類として「フォトアルバム」が選択され、かつ、ステップＳ１４に進んだ場合、カメラ等は、画像全体をそのまま台紙に配置する指示を受け付け、画像全体が保たれるようにする。なお、この画像全体を台紙や表紙や見開きページに配置すると、画像全体が目立ってよい。

この画像出力の優先順位の制御は、レイヤ（仮想的な画像の層）に各画像を割り当てることで行うことができる。従って、実際のプリント出力以外にも、画面表示における優先順位の制御基準として注目点を用いることもできる。

例えば、画像ファイルの付帯情報に、「構図フラグ」＝オフが記録されている場合、当該動画ファイルに記録されている画像データの再生が指定されたとする。この場合、ＣＰＵ１１２は、表示部１１０に画像データに従った映像を表示するが、その際、画像中の必要部分の切り出しを許容し、また、画面上に表示された他の画像との重ね合わせも許容する。この結果、再生される動画の一部分のみが切り出された状態で再生されたり、他の画像の下に隠れて動画が再生される。この切り出し領域を、あるいは切り出し領域以外を隠す（マスキング）ようにしたり、切り出し領域を強調するような画像を合成したり（合成枠）、切り出し領域を回転させるなど、元画像に動き（エフェクト）を与えてもよい。エフェクトの種類は操作部１１３から自由に選択できてもよい。また、エフェクトにに同期して音声処理回路８４からスピーカ８５に出力されて再生される「バックグラウンドミュージック（ＢＧＭ）」の曲名を操作部１１３から自由に選択できてもよい。

画像ファイルの付帯情報で「構図フラグ」＝オンかつ「注目点フラグ」＝オンの場合、当該画像ファイルの画像の注目領域を所定の速度で水平・垂直移動（パン・チルト）するよう表示させたり、拡縮（ズームイン／ズームアウト）したり、あるいは注目領域以外を隠す（マスキング）ようにしたり、注目領域を強調するような画像を合成したり（合成枠）、注目領域を回転させるなど、元画像に動き（エフェクト）を与えてもよい。注目点が複数の場合は、スライドショーのようにある注目領域から他の注目領域へ表示を切り替えてもよい。エフェクトの種類は操作部１１３から自由に選択できてもよい。また、エフェクトにに同期して再生される「バックグラウンドミュージック（ＢＧＭ）」の曲名を操作部１１３から自由に選択できてもよい。

画像ファイルの付帯情報で「構図フラグ」＝オンかつ「注目点フラグ」＝オフの場合、「バックグラウンドミュージック（ＢＧＭ）」の特定の楽曲構成部分、例えば特定のメロディやサビ部分の再生に同期して、当該画像ファイルの画像を再生する。当該画像以外の他の画像は表示せず、全体が注目されている画像だけが独占的に表示部１１０に表示される。画像全体を見せるため、マスキングや合成枠の表示といった画像表示を妨げるエフェクトは行わない方が好ましい。

画像ファイルが複数ある場合は、まず、記憶部１１９に記憶されている複数のＢＧＭのの中から、所望のＢＧＭの選択を操作部１１３により受け付ける。また、画像記憶部１３２に記憶されている画像の中から、ＢＧＭに同期して再生したい画像の選択を操作部１１３により受け付ける。

そして、画像の再生が指示されると、選択されたＢＧＭの再生に同期して、選択された画像の再生を開始する。ＢＧＭのどの構成部分にどの画像を対応づけて再生するかは任意であり、例えば特開２００８−６５１５３号公報のようにすることができる。なお、特定のメロディやサビ部分の抽出も公知技術で行えるから、「構図フラグ」＝オンかつ「注目点フラグ」＝オフの画像を特定の楽曲部分、特にサビと同時に再生させることもできる。

また、図１０には示していないが、動画から静止画を抽出して（キャプチャ）その静止画をプリントアウトしたり保存したりする場合、そのキャプチャ画像についてＳ１１〜Ｓ１５を実施できる。例えば、Ｓ１１で撮像前に表示部１１０を見るなど構図を確認する動作が検知されていれば、動画の付帯情報として「構図フラグ」＝オンが記録される。この場合、画像処理部１４４（あるいはＣＰＵ１１２）は、主要被写体を中心に、キャプチャ画像へトリミング範囲を設定する。「構図フラグ」＝オンが記録され、かつ／または撮影時の動きが所定の閾値未満の場合（後述のＳ２６で“Ｙｅｓ”）にこのようなトリミング範囲を設定してもよい。

＜第３実施形態＞
撮影までの時間や撮影までにカメラ１０の動き検出回路で検出された動きに応じて画像を分類し、その分類に応じた画像処理をカメラ１０や電子機器２００で行ってもよい。

例えば、図１２に示すような分類テーブルを、記憶部１１９あるいは電子機器２００に記憶しておき、画像記憶部１３２に記憶された各画像の撮影指示操作までにユーザ情報取得部１４１が取得したユーザ情報を参照し、これに合致する条件に対応する分類を行う。

図１３は、第２実施形態に係る画像分類処理のフローチャートである。この処理をＣＰＵ１１２に実行させるプログラムは記憶部１１９に記憶されている。

Ｓ２１では、操作部１１３の電源ボタンがオンされたことに応じて各ブロックへの電力供給を開始する。

Ｓ２２では、動き検出回路２１による動き検出を開始するとともに、ＲＴＣ１５から出力された現在時刻情報を取得し、これを動き検出開始時刻として記憶部１１９に記憶する。ただし、ＧＰＳ受信機１２０が出力する位置情報が変動している間や通電情報がない場合は、動き検出を休止してもよい。この場合は、撮影者が構図を決めるためでなく徘徊することによる動きが検知されてしまったり、撮影者がカメラ１０を構えておらず撮影意思がないのに無駄な動き検知がされるからである。

Ｓ２３では、操作部１１３のレリーズスイッチの半押しに応じてＡＦ／ＡＥなどの撮影準備動作を行い、またレリーズスイッチの全押しに応じて画像を画像記憶部１３２に記憶する。

Ｓ２４では、動き検出回路２１による動き検出を終了するとともに、ＲＴＣ１５から出力された現在時刻情報を取得し、これを動き検出終了時刻として記憶部１１９に記憶する。あるいは、動き検出開始時刻、動き検出終了時刻、検出された動きの内容を含んだユーザ情報を、画像ファイルの付帯情報として画像データとともに画像記憶部１３２に記憶する。

Ｓ２５では、検出開始時刻から動き検出終了時刻までの時間間隔が、所定の閾値所定の閾値Ｔ１（例えば１０分）より長いか否かを判断する。Ｙｅｓの場合はＳ２６、Ｎｏの場合はＳ２９に進む。

Ｓ２６では、Ｓ２２〜２４までに動き検出、例えば回転、振動がなかったか否かを判断する。Ｙｅｓの場合はＳ２７、Ｎｏの場合はＳ２８に進む。なお、動きが検出されなくても、通電情報がない場合は、撮影者は構図調整を綿密に行う意思はなく適当に撮影したか誤操作で撮影したとみなし、Ｓ２８に進んでもよい。

Ｓ２７では、Ｓ２３で撮影された画像の付帯情報として分類情報「分類Ａ」を記録する。

Ｓ２８では、Ｓ２３で撮影された画像の付帯情報として分類情報「分類Ｃ」を記録する。

Ｓ２９では、Ｓ２３で撮影された画像の付帯情報として分類情報「分類Ｂ」を記録する。

なお、分類の仕方は上記に限らない。例えば、撮影モード設定後に「はい、チーズ」といった特定の内容の音声が音声認識回路５４により認識された場合や、その音声に被写体が反応して特定の表情（笑顔など）が保たれた状態で撮影された画像の付帯情報として分類情報「分類Ａ」を記録する。なお、特定の表情の検出は公知の技術で実現できる（例えば、本出願人による特開２００７−２８８３８２号公報）。

あるいは、Ｓ２５でＮｏと判断され、かつ、レリーズスイッチに対する押圧力が所定の閾値以上であるか、または縦横方向の動きが所定の閾値以上である場合に限り分類Ｂとし、そうでない場合はＳ２８に進んで「分類Ｃ」を記録してもよい。押圧力が強い、あるいはカメラ１０の動きが大きいと、構図調整をする間もなく非常に急いで撮影していると考えられるからである。また、マニュアル操作で、あるいは連写モードで連続して撮影された画像には「分類Ｂ」を記録してもよい。

分類Ａは、撮影者が比較的長い時間をかけて、ほとんど動かずにじっくり構図を決めて撮影した画像を想定している。分類Ｂは、撮影者がほとんど時間をかけずに構図を決めて即座に撮影した画像を想定している。分類Ｃは、分類Ａほどではないが比較的時間をかけて構図を決めて撮影した画像を想定している。

ただし、全てのステップをカメラ１０で行う必要はなく、Ｓ２５以降は、カメラ１０から受け取った画像ごとの付帯情報を参照して電子機器２００で行うこともできる。つまりこの場合、電子機器２００が画像ファイルのユーザ情報を参照して、Ｓ２５以降を実行する。

また、カメラ１０でＳ２１〜Ｓ２４だけを行う場合、Ｓ２４の終了後、Ｓ２２に戻り、前回の撮影が終わった時刻を、次回の撮影の動き検出開始時刻として記憶部１１９に記憶し、Ｓ２２〜Ｓ２４を撮影の度に繰り返してもよい。

カメラ１０には、分類された画像を記憶部１１９から検索して抽出し、表示部１１０にその画像の映像を出力する画像抽出・選択手段を設けてもよい。例えば、画像抽出・選択手段は、操作部１１３から「構図重視」、「一瞬のタイミング」、「その他」の分類選択肢のうち１つ（またはそれ以上）の選択を受け付ける。画像抽出・選択手段は、「構図重視」の選択肢が選択されれば分類Ａ、「一瞬のタイミング」の選択肢が選択されれば分類Ｂ、「その他」の選択肢が選択されれば分類Ｃに分類された画像を表示部１１０に出力する。画像抽出・選択手段は、複数の選択肢が選択されれば、その各々に対応する分類の画像を合わせて表示部１１０に出力する。さらに、画像抽出・選択手段は、表示された画像から所望のものを操作部１１３を介して選択させ、選択された画像を電子機器２００に出力させることもできる。つまり、利用する画像を分類に応じて絞ることができる。

また、図１３には示していないが、動画から静止画を抽出して（キャプチャ）その静止画をプリントアウトしたり保存したりする場合、そのキャプチャ画像についてＳ２１〜Ｓ２８を実施できる。例えば、動画の付帯情報として「カメラの動き」＝有りが記録されていれば、主要被写体を中心に、キャプチャ画像へトリミング範囲を設定する。あるいは、「カメラの動き」＝有りで、かつ／または、撮影者が撮影準備動作までに直接被写体を目視していることがサブ撮像部２０で検出された場合、そのようなトリミング範囲を設定してもよい。これは、構図を決めるのに時間がかかり、かつ／または、被写体に注目して撮影を行っているから、キャプチャ画像を利用する際には背景を省略するのが好ましいと思われるからである。

図１４は画像の一例を示す。図１４（ａ）のように、被写体に並んでもらって、最適なタイミング（「はい、チーズ」のような掛け声があったときや、被写体が笑顔になったりしたとき）で撮影される画像は、構図が重視される。このような画像を撮る際には、カメラ１０大きく動かさないまま撮影開始までに相当の時間が経過したり、撮影タイミングを知らせる掛け声があるのが通常であるから、Ｓ２５で“Ｙｅｓ”、Ｓ２６で“Ｙｅｓ”となり、分類Ａが付与されるであろう。

図１４（ｂ）のような走っているペット、あるいは子供が転んだり、レース中の車や、イルカショーでイルカがジャンプしたなど、何かが起こった瞬間を撮影した画像は、構図は重要でないか構図を確認する暇もなく、被写体が多少左右にずれていたり、ボケやブレや画角外れが生じることが通常であり、撮影者も重要な被写体がそれなりに写っていれば、多少の構図の悪さは許容すると考えられる。このような画像は、Ｓ２５で“Ｎｏ”となり、分類Ｂが付与されるであろう。

図１４（ｃ）のように、撮影者が被写体も場所も気にすることなく何気なく撮った画像は、Ｓ２５で“Ｙｅｓ”、Ｓ２６で“Ｎｏ”となり、分類Ｃが付与されるであろう。

図１４（ｄ）および図１４（ｅ）の画像は同じ被写体を捉えているが、どちらも同じ分類が付与されるとは限らない。図１４（ｄ）のように、被写体を大きく中央に捉えている画像は、撮影者が時間をかけて構図を決めていると考えられるから、Ｓ２５で“Ｙｅｓ”、Ｓ２６で“Ｙｅｓ”となり、分類Ａが付与されるであろう。図１４（ｅ）のように、撮影者が被写体を遠景から何気なく撮った画像は、Ｓ２５で“Ｙｅｓ”、Ｓ２６で“Ｎｏ”となり、分類Ｃが付与されるであろう。

分類Ａの画像は、撮影者にとって重要と考えられるから、例えば、画像ファイルの付帯情報が「構図フラグ」＝オンかつ「注目点フラグ」＝オンである画像と同様の処理を行い、過小なトリミング範囲の設定がされたら警告を出したり、あるいはトリミングなどを特に行わずプリントしたり再生したりする。

分類Ｃの画像は、撮影者にとってはそれほど重要ではないと考えられるから、例えば、プリント出力その他の処理候補から除外したり、テンプレート合成、フォトアルバム、動画再生などにおいては、主要な位置（中央付近など）から外れた周辺位置に配置する。あるいは、画像トリミング範囲の設定に関して制限を設けず、どこでも自由に切り出せるようにする。

分類Ｂの画像については、カメラ１０から同一被写体を継続的に撮影することを繰り返していれば、得られた複数の画像で被写体を定点観測したようなプリントや合成映像を作ることもできる。

例えば図１５に示すように、カメラ１０の撮影者が、定点Ｏから、同一の被写体が、それぞれＶ１〜Ｖ５の位置に移動するするごとに連続的に撮影し、画像Ｉ１〜Ｉ５（静止画または動画のコマ画像）を得たとする。

カメラ１０のＣＰＵ１１２は、各位置Ｖ１〜Ｖ５での撮影の際、定点Ｏを原点とした基準座標、例えば、地表面をＸＹ軸（Ｘ軸は緯度方向に、Ｙ軸は経度方向に平行）のなす平面、地表面から鉛直上方をＺ軸としたＸＹＺ座標を基準とした、カメラのパン方向およびチルト方向の傾きと、定点Ｏから合焦被写体までの距離（上述のように焦点距離情報を距離情報に換算することで得られる）に基づいて、合焦被写体のＸＹＺ座標における位置（注視点）を算出する。

図１６は注視点の一例を示す。ここでは、被写体が平面的なトラックを周回しており、Ｚ軸方向の変動はないため、Ｚ軸の図示は省略している。ただし、被写体が空間的な移動をしていれば、この情報は当然に注視点に反映される。

ＣＰＵ１１２は、各注視点を各位置Ｖ１〜Ｖ５の撮影画像（ないしその代替物。例えばファイル名などの識別情報）および各撮影時点でＲＴＣ１５の出力した現在時刻情報と対応づけ、これをユーザ取得情報の１つである被写体撮影時刻・位置情報として、記憶部１１９に記憶する。被写体撮影時刻・位置情報は、各画像の付帯情報として記録してもよい。

画像処理部１４４は、被写体撮影時刻・位置情報に従って、各注視点に対応する画像を台紙に配置する。例えば、図１７に示すように、ＸＹ平面上の各注視点Ｖ１〜Ｖ５の位置関係が、そのまま１枚の台紙上において各注視点に対応する画像Ｉ１〜Ｉ５の空間的配置に反映される。これは、各注視点を台紙という平面座標系に正投影することで得られる。

レンチキュラープリントのような擬似的な３次元座標系が導入された台紙であれば、注視点を視差画像に変換し、擬似的な３Ｄプリントを実現できる。

あるいは、ＣＰＵ１１２や画像処理部１４４は、台紙に配置された画像をプリンタ２００ｂに出力する他、映像信号に変換して表示部１１０に出力してもよい。

＜第４実施形態＞
分類Ａあるいは分類Ｂの付与された各画像を撮影した時点でのカメラ１０の現在位置情報を、台紙での画像配置に反映してもよい。

ＣＰＵ１１２は、レリーズボタン全押し時にＧＰＳ受信機１２０から得られた位置情報（撮影位置情報）を、その時の撮影画像（ないしその代替物。例えばファイル名などの識別情報）および各撮影時点でＲＴＣ１５の出力した現在時刻情報と対応づけ、これをユーザ取得情報の１つである撮影者撮影時刻・位置情報として、記憶部１１９に記憶する。撮影者撮影時刻・位置情報は、各画像の付帯情報として記録してもよい。

例えば図１８に示すように、カメラ１０の撮影者が、それぞれＰ１〜Ｐ４の位置に移動するごとに撮影を行い、それぞれ画像Ｉ１〜Ｉ４（静止画または動画のコマ画像）を得たとすると、Ｐ１〜Ｐ４が撮影位置情報となる。

画像処理部１４４は、撮影者撮影時刻・位置情報に従って、各撮影位置情報に対応する画像を台紙に配置する。例えば、図１９に示すように、Ｐ１〜Ｐ４の位置関係が、そのまま１枚の台紙上において各撮影位置情報注視点に対応する画像Ｉ１〜Ｉ４の空間的配置に反映される。これは、各撮影者撮影時刻・位置情報を台紙という平面座標系に正投影することで得られる。

レンチキュラープリントのような擬似的な３次元座標系が導入された台紙であれば、撮影位置情報を視差画像に変換し、擬似的な３Ｄプリントを実現できる。

あるいは、画像処理部１４４は、台紙に配置された画像をプリンタ２００ｂに出力する他、映像信号に変換して表示部１１０に出力してもよい。また、撮影を行った場所が特定のスポット（城郭や遊園地などのような閉じた空間）であれば、そのスポットの全景を示す背景テンプレートを台紙に合成してもよい。

＜その他の実施形態＞
第１・２実施形態の構図フラグ、注目点フラグ、注目点の座標情報、本実施形態の分類情報の双方とも画像データに対応づけて記録することもでき、この場合、図３、図８、図１２のいずれの処理も行える。さらに、これらの処理を実施する対象の画像はデジタル画像データでなく、フィルムに記録されたアナログ画像でも可能である。付帯情報は、ＡＳＰフィルムのように、各画像コマに対応して磁気的または光学的に付帯情報を記録する付帯情報記録部に記録するとよい。電子機器２００で図３、図８、図１２の処理を行う場合は、処理の対象である画像としてデジタル画像とアナログ画像が混在してもよい。

図２０に示すように、これらの処理を行うため、電子機器２００は、入力部２１０、表示部１１０ｂ、記憶部２１７、画像記憶部１３２ｂ、画像処理部１４４ｂ、画像処理方法決定部２１３、分類条件取得部２１４、出力部２１５を備える。表示部１１０ｂ、画像記憶部１３２ｂ、画像処理部１４４ｂは、図１のカメラ１０と同等の構成である。分類条件取得部２１４は、第１・２実施形態の構図フラグ、注目点フラグ、注目点の座標情報を、可搬性記録媒体（画像記憶部１３２）に記録された画像ファイルの中から、あるいはＡＳＰフィルムの付帯情報記録部から取得する。可搬性記録媒体（画像記憶部１３２ｂ）はカメラ１０の付属品である必要はなく、その他の電子機器、例えばカメラ付き携帯電話、カメラ付きパソコン、カメラ付きＰＤＡの取得した画像を記録するものでもよい。

また、図１０の処理内容テーブル、図１２の分類テーブルを記憶部２１７に記憶しておく。入力部２１０からこれらのテーブルを入力して記憶してもよい。記憶部２１７には、上記処理を規定するプログラムが記憶されている。

画像処理方法決定部２１３は、このプログラムを解釈して実行し、入力部２１０に入力された各画像について、画像トリミング領域の設定や分類情報の付与など、カメラ１０と同等の処理を行う。

このように電子機器２００を構成することで、カメラ１０以外でも画像トリミング領域の設定や分類情報の付与が可能である。

デジタルカメラの機能ブロック図 カメラ筐体の背面図 第１実施形態の撮像処理のフローチャート 画像の一例を示す図 画像トリミング領域の一例を示す図 切り出し画像の一例を示す図 重ね合わせられた画像の一例を示す図 第２実施形態の撮像処理のフローチャート スルー画および注目点の一例を示す図 処理内容テーブルの一例を示す図 注目領域を避けるように重ね合わせられた画像の一例を示す図 分類テーブルの一例を示す図 第２実施形態に係る画像分類処理のフローチャート 撮影画像の一例を示す図 カメラの撮影者が同一地点から同一被写体を撮影した様子を示す図 座標に配置された注視点の一例を示す図 注視点の座標に応じて台紙に配置された画像の一例を示す図 撮影位置情報の一例を示す図 撮影位置情報に応じて台紙に配置された画像の一例を示す図 電子機器の構成の一例を示す図

符号の説明

１０：カメラ、１４１：ユーザ情報取得部、１４２：画像分類部、１４３：画像処理条件決定部、２００：電子機器

Claims (14)

1. 画像の撮影開始以前における撮影者の動作に関する情報である撮影者情報を取得する撮影者情報取得部と、
   前記撮影者情報取得部の取得した撮影者情報に基づいて、前記画像に対する処理内容を決定する処理内容決定部と、
   を備え、
   前記撮影者情報は、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きのうち少なくとも１つを含む情報処理装置。
2. 前記処理内容決定部は、前記撮影者情報が構図確認はあったことを示す情報を含む場合、画像の所定位置を基準に所定のアスペクト比の画像処理範囲を設定し、前記撮影者情報が構図確認はなかったことを示す情報を含む場合、画像の主要被写体を基準に所定のアスペクト比の画像処理範囲を設定する請求項１に記載の情報処理装置。
3. 前記画像処理範囲は、トリミング範囲または画像合成範囲を含む請求項２に記載の情報処理装置。
4. 前記画像が撮影に失敗した画像であるか否かを判定する失敗画像判定部を備え、
   前記処理内容決定部は、前記撮影者情報が構図確認はあったことを示す情報を含み、かつ前記失敗画像判定部が失敗画像であると判定した場合、前記画像を処理内容の決定候補から除外する請求項２または３に記載の情報処理装置。
5. 前記構図確認はあったことを示す情報は、撮影装置の表示画面への目線検知、撮影装置の近傍での人体検知、特定の内容の音声認識、撮像装置の特定の姿勢、またはズーム操作、合焦操作、輝度調整その他の撮影条件の入力操作検知を含む請求項２〜４のいずれかに記載の情報処理装置。
6. 画像の注目部分を決定する注目部分決定部を備え、
   前記処理内容決定部は、前記注目部分決定部が決定した画像の注目部分に基づいて前記画像に対する処理内容を決定する請求項１に記載の情報処理装置。
7. 画像の注目部分の指定を受け付ける注目部分指定部を備え、
   前記処理内容決定部は、前記注目部分指定部が指定を受け付けた画像の注目部分に基づいて前記画像に対する処理内容を決定する請求項６に記載の情報処理装置。
8. 前記注目部分決定部は、合焦被写体および撮影装置から前記合焦被写体までの距離と同一距離にある被写体のうち少なくとも一方を注目部分に決定する請求項６に記載の情報処理装置。
9. 撮影者が注目している被写体を識別する注目被写体識別部を備え、
   前記注目部分決定部は、前記注目被写体識別部が識別した被写体を注目部分に決定する請求項６に記載の情報処理装置。
10. 前記撮影者情報取得部の取得した撮影者情報に基づいて、前記画像に対する分類を付与する分類部を備え、
    前記処理内容決定部は、前記分類部が前記画像に付与した分類に基づいて前記画像に対する処理内容を決定する請求項１に記載の情報処理装置。
11. 前記処理内容決定部の決定した処理内容に従って前記画像を処理する処理部を備える請求項１〜１０のいずれかに記載の情報処理装置。
12. 前記処理は、トリミング、画像の台紙への配置、画像同士の合成および画像へのエフェクトの付与のうち少なくとも１つを含む請求項１１に記載の情報処理装置。
13. コンピュータが、画像の撮影開始以前における撮影者の動作に関する情報である撮影者情報を取得するステップと、
    コンピュータが、前記撮影者情報取得部の取得した撮影者情報に基づいて、前記画像に対する処理内容を決定するステップと、
    を含み、
    前記撮影者情報は、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きのうち少なくとも１つを含む情報処理方法。
14. 請求項１３に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。

Images