JP2014027691A - カメラ、カメラの制御方法、表示制御装置、および表示制御方法 - Google Patents

Abstract

【課題】変化に富んだ多彩な画像を、簡単に誰でも撮影若しくは表示することを可能としたカメラ、カメラの制御方法、表示制御装置、および表示制御方法を提供する。
【解決手段】被写体像を画像データに変換し、撮影指示に応じて、変換された画像データを取得し、これを記録部に記録し、この記録された画像データから第１の部分をトリミング処理し、これを記録部に記録し（Ｓ２）、第１の部分とは別の位置の第２の部分をトリミング処理し、これを順次再生できるように記録部に記録する（Ｓ３、Ｓ４）。
【選択図】 図３

Description

本発明は、カメラ、カメラの制御方法、および表示制御装置に関し、詳しくは、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話など、静止画撮影や動画撮影の機能を有するカメラ、カメラの制御方法、表示制御装置、表示制御方法に関する。

従来のフィルム写真のように、一瞬を切り取るような静止画撮影は、一般ユーザにとって比較的に簡単である。一方、動画撮影は、開始のタイミングと終了のタイミングの取り方が難しく、運動会や結婚式のように形式化した行事でしか、ムービーカメラを使用することはなかった。また、詳細な演出を予め決めておいた場合以外には、撮影動画の変化は乏しく、鑑賞に耐える画像とはなり難いものであった。テレビ番組のように頻繁に構図に変化のある動画に慣れたユーザにとっては、単調な画像は耐えにくいものがあるからである。さらに、撮影パラメータを変更することにより、多彩な表現が可能であるが、素人のユーザにとっては困難なものがあった。

そこで、静止画と動画を組み合わせる等、画像に変化をつけることが考えられる。例えば、特許文献１、２には、動画の撮影中に静止画の撮影を行うことのできるカメラが開示されている。また、動画の撮影後に動画の編集を行うようによって単調とならないようにしたカメラが提案されている。また、例えば、特許文献３には、静止画撮影の前後で動画を記録できるカメラが開示されている。さらに、例えば、特許文献４には、動画の編集時に、動画を接続する際に、接続時のルール（パンで終了し、パンで開始する）に従っていない時に、トランジション効果を付与しており、動画編集に関して専門的知識のないユーザであっても動画編集を容易に行えるようにしたカメラが開示されている。

特開平４−３３１５８３号公報 特許３６７３５２８号公報 特開２００１−０７８１３７号公報 特開２００３−１１０９９５号公報

特許文献１、２、３に記載に開示されたカメラはいずれも、動画と静止画を同じ装置で撮影できるだけであって、単調さをなくした画像を撮影するものではない。また、特許文献４に開示されたカメラは、動画編集時の提案であって、撮影時に単調とならないようにした画像を撮影するものではない。

本発明は、このような事情を鑑みてなされたものであり、変化に富んだ多彩な画像を、簡単に誰でも撮影若しくは表示することを可能としたカメラ、カメラの制御方法、表示制御装置、および表示制御方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、被写体像を画像データに変換する撮像部と、レリーズ動作に応答し、上記撮像部から画像データを取得すると共に、上記レリーズ動作の前若しくは後に、上記撮像部から複数の画像データを取得する撮影部と、上記複数の画像データから、異なる領域で順次トリミング画像データを生成するトリミング部と、上記トリミング部で生成されたトリミング画像データ、および上記レリーズ動作時に取得した画像データを記録する制御部と、を有し、上記制御部は、上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング部で生成されたトリミング画像を順次再生できるように記録する。

第２の発明に係わるカメラは、上記第１の発明において、上記トリミング画像データは、拡大画像から縮小するように、順次生成する。

第３の発明に係わるカメラは、上記第１の発明において、上記トリミング画像データは、縮小画像から拡大するように、順次生成する。

第４の発明に係わるカメラは、上記第１の発明において、上記トリミング画像データは露出補正を施し、上記レリーズ動作時に取得した画像データは適正露光となるように、順次生成する。

第５の発明に係わるカメラの制御方法は、被写体像を画像データに変換し、撮影指示に応じて、変換された画像データを取得し、これを記録部に記録し、この記録された画像データから第１の部分をトリミング処理し、これを記録部に記録し、上記第１の部分とは別の位置の第２の部分をトリミング処理し、これを順次再生できるように記録部に記録する。

第６の発明に係わる表示制御装置は、リーズ動作時に取得されたレリーズ時画像データと、レリーズ動作時の前若しくは後に取得され、複数フレームで異なる領域でトリミング処理されたトリミング画像データを記録する記録部と、上記記録部に記録された上記画像データから上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング処理によって生成されたトリミング画像データを順次再生する再生制御部と、を有する。

第７の発明に係わる表示制御方法は、レリーズ動作時に取得されたレリーズ時画像データと、レリーズ動作時の前若しくは後に取得され、複数フレームで異なる領域でトリミング処理されたトリミング画像データが記録部に記録されている表示装置における表示制御方法であって、上記記録部に記録された上記画像データの内、上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング処理によって生成されたトリミング画像データを順次再生する。

本発明によれば、被写体全体が表示されるまでの間、何が（誰が）写っているのかを鑑賞者に想像させ、表示する被写体に対する期待感を鑑賞者が高めることを可能としたカメラ、カメラの制御方法、表示制御装置、および表示制御方法を提供することができる。

本発明の第１実施形態に係わるカメラの電気的構成を示すブロック図である。 本発明の第１実施形態に係わるカメラの画像処理部の詳細を示すブロック図である。 本発明の第１実施形態に係わるカメラにおいて、静止画の撮影とこの静止画の撮影に先だって行う動画撮影の手順を示す図である。 本発明の第１実施形態に係わるカメラにおいて、静止画の撮影とこの静止画の撮影に先だって行う動画撮影における表示および記録される画像の関係を示す図である。 本発明の第１実施形態に係わるカメラにおいて、不要画像削除の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラにおいて、静止画撮影とこの静止画の撮影に先だって撮影された動画の表示状態を示す図である。 本発明の第１実施形態の変形例に係わるカメラにおいて、静止画の撮影とこの静止画の撮影に先だって行う動画撮影における表示および記録される画像の関係を示す図である。 本発明の第２実施形態に係わるカメラにおいて、静止画の撮影とこの静止画の撮影に先だって行う動画撮影における表示および記録される画像の関係を示す図である。 本発明の第２実施形態に係わるカメラにおいて、トリミング範囲を変化させていく動作を示すフローチャートである。 本発明の第２実施形態の変形例に係わるカメラにおいて、トリミング範囲を表情変化の時間に合わせて移動させる様子を説明する図である。 本発明の第３実施形態に係わるカメラにおいて、静止画の撮影とこの静止画の撮影後に続けて行う動画撮影の手順を示す図である。 本発明の第３実施形態に係わるカメラにおいて、静止画の撮影とこの静止画の撮影後に続けて行う動画撮影における表示および記録される画像の関係を示す図である。 本発明の第３実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わって行く様子を示す図である。 本発明の第３実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わった場合にでも、画面中央部分を動画として記録し表示する様子を示す図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、パラメータ設定部３、モーション判定部４、記録部６、パラメータ制御部７、表示部８、操作部９、時計部１１等から構成される。

撮像部２は、ズーム機能とピント合わせ機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合には、人物の顔の数、その位置や大きさ等を検出し、検出結果を制御部１に出力する。また、笑顔度等、顔の表情も検出する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。

制御部１は、制御部１内の記憶部（不図示）に記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、構図変化判定部１ａ、トリミング部１ｂ、画像処理部５を有する。構図変化判定部１ａは、画面の構図やカメラ１０の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部２から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ１０の構え方については、後述するモーション判定部４の判定出力に基づいて判定する。

トリミング部１ｂは、撮像部２から出力される画像データの一部を切り出すトリミング処理を行う。画像データの切り出しにあたっては、静止画の撮影に先だって、もしくは静止画の撮影後に撮影された動画の画像データのうち、顔検出部２ａによって検出された顔位置から遠い位置や近い部分の複数個所について、トリミング処理を行う。

画像処理部５は、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、リサイズ処理、エッジ強調、色補正、ホワイトバランス、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。

また、画像処理部５は、静止画撮影の前後で所定時間（例えば、０．５秒〜２秒程度）の間、撮影した動画のフルサイズの画像データ、または画像処理された画像データを、フレーム毎に仮記憶可能である。特に、第１実施形態においては、トリミング部１ｂによって静止画撮影前に取得した動画の画像データのトリミング処理を行い、この処理された画像データを仮記憶する。このトリミング処理については、図３および図４を用いて後述する。

パラメータ設定部３は、撮像部２における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部１に出力する。なお、絞り値等の場合には、測光の結果に応じて自動的に設定されるようにしても良い。パラメータ制御部７は、パラメータ設定部３において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、露出や画角や背景のボケ（被写界深度）等を調整可能となる。

モーション判定部４は、３次元空間の加速度、すなわち３軸加速度と、３次元空間での回転速度、すなわち３軸角速度の計６軸の物理量を検出する６軸センサ等を有している。このモーション判定部４は、カメラ１０の構え方が変わっていないか否かについて判定することができる。

操作部９は、レリーズ釦、パワースイッチ、再生釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部５によって圧縮処理された静止画や動画の画像データを記録する。

表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示モニタを有し、撮影前のライブビュー表示や、記録済みの画像の再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。時計部１１は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。

次に、図２を用いて画像処理部５の構成の詳細について説明する。画像処理部５は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理やリサイズ処理等の各種画像処理を行うが、ここでは、静止画撮影の前後で撮影した動画の画像データの画像処理に関連する構成を主に説明する。

仮記録部５ａは、撮像部２からの画像データを仮記憶するためのメモリであり、静止画の画像データを仮記憶するためのメモリ０と、この静止画の先立つ所定時間、および静止画の後に続く所定時間の間、撮影される動画（連写）の各フレームに対応する画像データをそれぞれ仮記憶するためのメモリ（−ｎ）〜メモリ（−１）、メモリ０、メモリ１〜メモリｎを有する。ここで、メモリ（−ｎ）〜メモリ（−１）は静止画の撮影に先立つ所定時間の間の動画を仮記録するためのメモリであり、メモリ０は静止画の画像データを仮記録するためのメモリであり、メモリ１〜メモリｎは静止画撮影後の所定時間の間の動画を仮記録するためのメモリである。なお、メモリ（−ｎ）〜メモリｎの全てに画像データを記録する必要はなく、このうちの限られたメモリのみを、動画と静止画の画像データの記録に使用するようにしても良い。

時間制御部５ｈは、時計部１１から計時情報を入力し、動画の画像データをフレームの更新時間間隔で、上述の仮記録部５ａの各メモリに順次記録するための計時制御を行う。画像データの仮記録を行う時間間隔は、本実施形態としては、撮像部２から出力される画像データの１フレーム間隔となるようにするが、数フレーム間隔となるようにしても良い。

静止画の画像データを仮記憶するためのメモリ０は静止画圧縮部５ｂに接続されている。静止画圧縮部５ｂは、ＪＰＥＧ等の画像圧縮を行う。動画（連写）の各フレームの画像データを記憶するメモリ（−ｎ）〜メモリ（−１）、メモリ１〜メモリｎは、効果処理部５ｅに接続されている。

効果処理部５ｅは、入力した動画の画像データに対して画像効果が生ずるような画像処理を行う。動画圧縮部５ｆは効果処理部５ｅによって画像処理された画像データを、ＭＰＥＧ４やモーションＪＰＥＧ等による動画圧縮を行う。

接続データ部５ｇは、動画圧縮部５ｆによって生成された動画の画像データと、静止画圧縮部５ｂによって生成された静止画の画像データを結合し、両画像データを連続的に再生するための接続情報を生成する。接続データ部５ｆによる接続情報と、静止画圧縮部５ｂからの画像データと、動画圧縮部５ｇからの画像データは、記録部６に送られ、１つの画像ファイルとして記録される。もちろん、別ファイルで記録しておき、それを関連付けた情報を静止画又は動画ファイルに記録するようにしても良い。また、時刻情報でこれを代用することも可能である。記録部６に記録された画像データの再生にあたっては、再生速度を速めたり、逆にゆっくりさせ、早送りやスローモーションで再生を可能としている。また、１秒に何コマ撮影するかによっても、仮記録部５ａのメモリの容量が、何秒相当であるかは変化する。このように自由度をもって使用するメモリである。

次に、図３を用いて、本実施形態における画像の撮影と再生について説明する。撮影時には画像２１ａ〜２１ｄの順に撮影を行うが、この中で、画像２１ｄが静止画像であり、画像２１ａ〜２１ｃは静止画の撮影に先だって撮影された動画である。撮影者は被写体２２の撮影を意図して静止画で画像２１ｄを取得するが、再生時に最初から画像２１ｄを表示するのでは、鑑賞する際にどんな画像が表示されるのかを楽しむ時間がなく、期待感を高めることができない。

そこで、本実施形態においては、被写体２２の顔を含めて全体を最初から再生表示するのではなく、顔以外の部分を最初に表示し、次第に全体像が見えるようにしている。具体的には、撮影時に記録された画像データの中から、最初に手の部分を拡大した画像２１ａを読み出しこれを表示し、続いて、手の部分を含む広めの範囲の画像２１ｂを読み出しこれを表示し、次に顔の部分を拡大した画像２１ｃを読み出しこれを表示し、最後に、被写体２２の全体が写っている画像２１ｄを読み出しこれを表示する。鑑賞者は何が（誰が）写っているのか早く知りたいという期待感を持っていることから、その心理を利用して効果的な再生表示を行うことができる。すなわち、誰が写っているかや、どんな表情をしているかといった鑑賞者が気になる部分をなかなか分からないようにし、期待感を高めるようにしている。このとき、動画特有の表情変化を併用することにより、例えば、口元が微笑んだ瞬間の動きを示すことにより、誰が写っているかを知りたいという欲求を高める演出ができる。

本実施形態におけるカメラ１０は、このような再生表示を行うに適した画像データの記録を行う。勿論、画像２１ｄのように全体が写っている画像データから画像２１ａ〜２１ｃの画像を切り出すようにしてもよいが、それでは表情の変化がない画像となり、面白みに欠けるので、本実施形態においては、動画表現で再生するようにしている。

次に、本実施形態におけるカメラ１０の撮影動作について、図３に示すフローチャートを用いて説明する。動画撮影のフローに入ると、まず、撮影を行うか否かの判定を行う（Ｓ１）。撮影者が表示部８のライブビュー表示を観察し、構図を決定すると、操作部９中のレリーズ釦を操作するので、ここではレリーズ釦が操作されたか否かを判定する。

ステップＳ１における判定の結果、撮影でなかった場合には、次に、ステップＳ２〜Ｓ４において、前述の画像２１ａ〜２１ｃに相当する画像の取得を行う。まず、顔の下部１についてトリミング撮影を行う（Ｓ２）。ここでは、被写体２２の顔の部分より下にある部分、この例では手の部分について、フルサイズの画像データ（例えば、１２Ｍ（１２００万画素））から、トリミング部１ｂによって２Ｍ（２００万画素）でトリミングを行い、画像２１ａに対応する画像データを仮記録部５ａのメモリに仮記録する。ここで、画素数として２Ｍとしたのは、ハイビジョン画像で再生表示する場合を想定した画素数であるが、想定再生表示装置に応じて、異なる値としても良い。トリミング処理を行う際に、表示部のサイズに抑えるようにしているのは、表示時に画面いっぱいに無駄なく表示できるようにするためであり、演出によって画面の半分のサイズで良い場合には、画像データもこの半分で良い。サイズが小さい方が取り扱いやすく、トリミングの位置を移動させる際の自由度も大きくできる。サイズが大きいと表示しきれず無駄になる。

続いて、顔の下部２についてトリミング撮影を行う（Ｓ３）。ここでは、顔の下部１より上側でかつ下部１の範囲より広い範囲、この例では、手の部分を含み下部１より広げた部分について、フルサイズの画像データから２Ｍでトリミングを行い、画像２１ｂに対応する画像データを仮記録部５ａのメモリに仮記録する。この下部２について撮影を行うと、次に、顔の下部３についてトリミング撮影を行う（Ｓ４）。ここでは、顔の下部２より上側でかつ下部２の範囲とほぼ同程度の範囲、この例では、顔の部分をふくむ拡大された部分について、フル画像データから２Ｍでトリミングを行い、画像２１ｃに対応する画像データを仮記録部５ａのメモリに仮記録する。仮記録が終わるとステップＳ１に戻る。

このように、ステップＳ２〜Ｓ４において、フルサイズの画像データから一部分（下部１〜３）を切り出すトリミング処理を行っているが、ここで重要なのは、各画像の連続性である。本実施形態においては、次第に顔の部分が見えるようにしているので、画像２１ｃにおける顔と画像２１ｄにおける顔の大きさを比較すると、顔の大きさが小さくなる方向（拡大→縮小）に変化している。したがって、画像２１ａ〜２１ｃにおいても、拡大→縮小の関係が乱されない方がよい。ただし、画像２１ｂから画像２１ｃに移る場合には、拡大率の変化がない状態でトリミング位置のみをシフトさせている。このように拡大率は一定の方向に変化するようにしているが、トリミング位置の変化も一定の方向に移動し、逆転しない方が良い。

ステップＳ１における判定の結果、撮影であった場合には、次に静止画の撮影を行う（Ｓ１１）。ここでは、撮像部２から出力される静止画のフルサイズの画像データ（１２Ｍ（１２００万画素））を記録部６に記録する。

静止画の撮影を行うと、次に、不要画像の削除を行う（Ｓ１２）。ここでは、ステップＳ２〜Ｓ４において、仮記録部５ａに仮記録された画像データのうち、最終的に記録部６に記録する画像データ以外を削除する。ステップＳ２〜Ｓ４におけるトリミング撮影は、ステップＳ１１における静止画撮影を行うまで、繰り返し行われており、記録部６に記録されるトリミング画像は静止画撮影の行われた直近の画像のみである。そこで、ステップＳ１２においては、記録部６に記録されなかったトリミング画像等の削除を行っている。なお、仮記録される仮記録部５ａの最大記録容量を超えたトリミング画像については、ステップＳ２〜Ｓ４の処理中に削除されている。不要画像の削除を行うと、動画撮影のフローを終了する。

このように顔下部１，２、３のトリミング画像および静止画像の画像データが記録されることから、再生時には、顔下部１→顔下部２→顔下部３→静止画の順に画像データを読み出し、再生表示する。すなわち、部分から初めて、部分を移動しながら、最後にレリーズ時の全体画像を表示することができる。本実施形態においては、顔の下の部分を最初にトリミングし、トリミングの位置を顔の位置に向けて上に移動させていった。これは、顔の上から初めると、その人と無関係な空などから始まり、期待感を高めることが難しい場合が多い。一般的に、人物が立っていたり、座っている場合を想定し、その人物に関連する部分を優先するようにした観点から、顔の下を最初にトリミングするようにした。人物の輪郭情報や肌の色の情報を利用し、手や足等の部位に沿って、トリミングする位置を移動させ、期待感を高めるようにしても良い。なるべく、表情の変化を表示してから、顔全体を表示するようにしたいので、顔全体を表示する前に、目や口等、表情によって変わりやすい部分を大きく見せることが好ましい。また、同じ人物が写っている写真集の場合には、誰が写っているのかが分かっており、表情の変化も単調になりがちなる。そこで、同じ人物が続くような場合には、顔以外で、色が鮮やかなものから、顔にトリミング位置をずらすような制御を行うようにしても良い。なお、トリミングして切り出された画像は、リサイズを行い、表示部に収まるようにする。

図３を用いて説明した動画撮影および静止画撮影における画像の仮記録および最終記録の関係について、図４を用いて説明する。図４の「撮像（フル）」に対応するラインには、時刻Ｔ１〜時刻Ｔ８における撮像されたフルサイズの画像データを示している。この画像データを基に制御部１および画像処理部５はライブビュー画像を生成し、表示部８に表示している。ライブビュー画像は、表示部８の画素数に応じた画素数にリサイズまたは間引き処理により生成している。

また、フル画像データに基づいてトリミング処理を行うことにより、仮記録用のトリミング画像データを生成している。図４に示すように、１コマ分のフルサイズの画像データから画面内の３か所のトリミング画像を生成し、このトリミング画像を仮記録部５ａに仮記録している。なお、本実施形態においては、トリミング画像の画像データの画素数は、前述したように２Ｍである。

図４の例では、時刻Ｔ８において静止画の撮影が行われている（図３におけるＳ１１のタイミングに対応）。このタイミングにおいて取得された静止画フル画像データ２４ｄが、記録部６に最終記録される。また、時刻Ｔ８の直近である時刻Ｔ５〜Ｔ７において仮記録されたトリミング画像も、記録部６に最終記録される。トリミング画像の画像データを最終記録するにあたっては、時刻Ｔ５で仮記録されたトリミング画像データ２３ａ、時刻Ｔ６で仮記録されたトリミング画像データ２３ｂ、時刻Ｔ７で仮記録されたトリミング画像データ２３ｃが、それぞれ最終トリミング画像データ２４ａ、２４ｂ、２４ｃとして最終記録される。これ以外の、時刻Ｔ１〜時刻Ｔ４において仮記録されたトリミング画像データ、また時刻Ｔ５〜時刻Ｔ７において仮記録されたトリミング画像データ２３ａ〜２３ｃ以外のトリミング画像データは不要画像として削除される。

このように本実施形態におけるカメラ１０によれば、時刻Ｔ８において静止画を撮影すると、その直近に仮記録されたトリミング画像データが最終画像として記録される。このため、最終記録された画像データを再生することにより、図３を用いて説明したような被写体２２の部分から再生を開始し、最後に被写体２２の全体画像で終わる表示となる。このため、動画と静止画を組み合わせ、変化に富んだ多彩な画像を、簡単に誰でも撮影し、また再生表示することができる。

なお、トリミング画像の画像データをフルサイズの画像データから生成していた。トリミングにあたっては、画像データの一部を切り出すので、基となる画像データは画素数が大きい方が望ましいが、想定表示装置の画素数等を考慮して問題がなければ、必ずしもフルサイズの画像データではなく、リサイズや間引きされた画像データを用いても構わない。また、フルサイズの画像データを最終記録した場合であっても、表示する画面に従ってリサイズが必要になることは言うまでもない。静止画をフルサイズで記録するのは、印刷や部分拡大のためであって、本実施形態のように動画の効果付きで、カメラの液晶モニタ、テレビ、携帯電話等の表示部で再生表示する場合には、表示部のサイズに応じてリサイズを行う。また、本実施形態においては、静止画に対する期待感を高める例を示しているが、動画において人物が登場する場合においても期待感を高めるテクニックとして本実施形態を応用することができる。この場合には、静止画ではなく、動画を続けて撮影すれば良い。

本実施形態においては、静止画撮影前の動画からトリミング画像を生成しているので、顔画像の表情変化を再生することが可能となっている。このため顔画像の表情変化がはっきりと見えた方が楽しい画像となる。そこで、静止画撮影の直前である時刻Ｔ７において顔の部分の表情変化を捉えることのできるような画像データの取得が望ましい。また、表情変化の時間（図４中の表情変化時間Ｔｆ）に応じて、時刻Ｔ５、Ｔ６のタイミングを決定するようにしても良い。

このような下部３における顔画像の表情変化の面白さを活かした画像の再生を行うための不要画像削除のフローを、図５を用いて説明する。このフローはステップＳ１２（図３参照）のサブルーチンであり、また、本フローを実行するにあたって、ステップＳ４（図３参照）における顔の下部３のトリミング撮影時に、表情変化時間Ｔｆを予め計測し、この時間Ｔｆを記憶しておく。なお、表情変化時間Ｔｆとしては、例えば、真顔から笑顔になるまでの時間であり、顔検出部２ａは顔部を検出すると共に顔の表情も検出可能とし、このときの表情変化を求める。このように、撮影前に顔の表情をモニタすることができ、顔の表情の笑顔データの最高値の情報が記録部に記憶してあれば、ユーザがレリーズ操作を行わなくても、自動的にレリーズを行うことができる。この場合には、最高の笑顔を最終画像として記録することができ、かつ、その笑顔に到るまでの表情変化も捉える撮影を誰にでも可能となる。構えているだけで良いことから、初心者にも魅力的な動画撮影を行える。なお、表情変化時間Ｔｆの測定は、後述するように、撮影後に行っても良い。この場合、ユーザの好みに従った表情を選択することができるが、必ずしも、その直前に表情が変化しているわけではないので、表情変化なしの前の表情変化部分を探し、撮影までの時間をＴｆとする。

不要画像削除のフローに入ると、まず、撮影直前の顔の下部３の表情変化を検出する（Ｓ２１）。これは、例えば、下部３に対応する時刻Ｔ７における被写体２２の顔のトリミング画像と、その直前の時刻Ｔ６における被写体２２の顔のトリミング画像を比較し、表情に変化があるか否かを判定する。なお、時刻Ｔ６〜Ｔ７までの間の時間で更に多数の画像データを記憶している場合には、これらの画像を比較するようにしても良い。

続いて、表情変化が有ったか否かを判定する（Ｓ２２）。ステップＳ２１で表情変化を検出しているので、この検出結果に基づいて判定する。この判定の結果、表情変化があった場合には、表情変化時間を計測し、これをＴｆとする（Ｓ２３）。この表情変化時間Ｔｆを用いて、ステップＳ２４以下において、表情変化が有った場合には、下部１、２、３の画像の表示時間を制御する。

表情変化時間Ｔｆを求めると、次に、表情変化時間Ｔｆが１秒より長いか否かを判定する（Ｓ２４）。この判定の結果、表情変化時間Ｔｆが１秒より長い場合には、表情変化時間Ｔｆだけ顔の下部３の画像を表示可能にする（Ｓ２５）。続いて、表情変化時間Ｔｆが３秒より短いか否かを判定する（Ｓ２６）。この判定の結果、表情変化時間が３秒より短かった場合には、表情変化時間Ｔｆの時間だけ顔の下部１の画像を表示可能にし（Ｓ２７）、表情変化時間Ｔｆの時間だけ顔の下部２の画像を表示可能にする（Ｓ２８）。これによって、それぞれの下部１、２、３の画像、すなわち、最終トリミング画像データ２４ａ〜２４ｃに基づいて表示される画像の表示時間が表情変化時間Ｔｆとなり、この表情変化時間Ｔｆが表示時間としてトリミング画像の画像データと共に最終記録される。被写体２２の表情が変化する時間と同じ時間間隔でトリミング画像が変化し、魅力的な表情変化の過程を楽しむことができる。

一方、ステップＳ２２における判定の結果、撮影直前の顔の下部３に表情変化がなかった場合には、顔の下部１、２、３の画像をそれぞれ１秒間、表示可能とする（Ｓ３１）。表情変化がない場合であっても、再生表示の際の期待感を高めるために、各トリミング画像を１秒間ずつ再生表示するようにしている。

また、ステップＳ２６における判定の結果、表情変化時間Ｔｆが３秒より長かった場合には、顔の下部１、２、３の画像をそれぞれ１秒間、表示可能とする（Ｓ３２）。表情変化に時間が長くかかる場合に、この表情変化時間Ｔｆの間隔でトリミング画像を変化させるとすると、画像表示の時間が長くなりすぎることから、この場合には１秒間隔としている。

前述のステップＳ２８、Ｓ３１、Ｓ３２を実行すると、次に、それ以外の画像を削除する（Ｓ２９）。ここでは、最終記録に残した画像以外の仮記録部５ａに仮記録された画像を削除する。画像削除が終わると、元のフローに戻る。

このように、本フローにおいては、トリミング画像を再生表示する時間を画像データと共に記録しているので、再生表示にあたっては、この記録されている再生時間の間、トリミング画像が表示される。特に、表情変化時間Ｔｆで再生される場合には、真顔から笑顔に変化するのに要した時間と同じ時間で表情変化することが期待感を高めると共に臨場感あふれる画像再生となる。なお、本フローにおいては、表情変化時間Ｔｆと比較する時間として、１秒および３秒を用いているが、これは例示であり、期待感を高めると共に臨場感あふれる画像再生を行う時間であれば、これに限らない。

次に、最終記録されたトリミング画像（図４参照）を、表示部８に設けたサブ画面において表示する例について図６を用いて説明する。表示部８のメイン画面８ａの脇に、図６（ａ）に示すようにサブ画面８ｂを設け、このサブ画面８ｂに最終記録されたトリミング画像と、静止画像を表示させるようにしている。すなわち、サブ画面８ｂには、トリミング画像２６ａ〜２６ｃを表示すると共に、静止画像２６ｄを表示する。このように、サブ画面８ｂに撮影結果を表示するようにすることにより、効果を確認することができる。なお、静止画撮影前に仮記録部５ａに記録されているトリミング画像を順次、読み出して表示するようにしても良い。この場合には、静止画像を表示することはできないが、トリミング画像を事前に予想することができる。

また、図６（ｂ）に示すように、サブ画面８ｃに画像を１つのみ表示可能とし、このサブ画面８ｃにトリミング画像や静止画像を順次再生表示するようにしても良い。この場合には、実際の再生表示と同じように時系列的に画像を再生表示することから、静止画像が表示されるまでの期待感を味合うことができる。

次に、本発明の第１実施形態の変形例について、図７を用いて説明する。第１実施形態においては、時刻Ｔ１〜Ｔ８においてフル画像データから、表示部８における表示用の画像データと、仮記録部５ａに仮記録するトリミング画像の画像データの両方を生成していた。しかし、この変形例においては、時刻Ｔ１１、Ｔ１３、Ｔ１５において間引きで撮像を行い、この時の画像データを用いて表示用の画像データを生成している。また時刻Ｔ１２、Ｔ１４、Ｔ１６においてはフルサイズで画像データを取得し、この画像データを用いて、トリミング画像の画像データを生成するようにしている。

表示部８のフレームレートに応じてフルサイズを撮像し、このフル画像から表示用の画像データと仮記録用のトリミング画像の両方を、高速で生成することができない場合には、本変形例のようにフルサイズの画像データを離散的に取得し、スピードを稼ぐようにすれば良い。この場合もフルサイズの画像データから生成したトリミング画像の画像データを仮記録部５ａに仮記録する。そして、時刻Ｔ１８において静止画の画像データを最終記録し、またこの直近（時刻Ｔ１２、Ｔ１４、Ｔ１６）の仮記録されたトリミング画像の画像データを最終記録する。

以上、説明したように、本発明の第１実施形態およびその変形例においては、静止画の撮影に先だって、動画（連写）で画像データを取得し、その画像データの複数個所についてトリミングし、トリミングされた複数の画像データを仮記録している。そして、静止画を撮影した際に、静止画のフルサイズの画像データと共に、直近の仮記録されたトリミング画像の画像データの中から選択した画像データを記録部６に最終記録している。

このように記録された画像データを再生すると、いきなり被写体全体が再生表示されるのではなく、被写体の一部が再生表示されてから全体が再生表示される。このとき表情の変化などを記録し、その時の表情を表すことができる。このため、被写体全体が表示されるまでの間、画面の一部だけを拡大して見て、表情なども楽しみながら、何が（誰が）写っているのを予想したり空想しながら、期待感を高めることができる。なお、この技術を画面推移時に応用することができ、静止画撮影のみならず、動画のカット割りのトランジションにも使用することができる。また、期待感だけでなく、名残惜しさを表すために、画像表示を終わるときに、この動画部を利用してもよい。このとき露出補正が画像処理を併用してもよい。また、本実施形態においては、動画（連写）を仮記録するにあたって、トリミング画像の画像データを仮記録することから、フル画像データを仮記録する場合に比較し、仮記録部５ａの容量を減らすことができる。

次に、本発明の第２実施形態について、図８ないし図１０を用いて説明する。第１実施形態は、各時刻においてフルサイズの画像データからトリミング画像を生成し、このトリミング画像を仮記録していた。これに対して、第２実施形態においては、フルサイズの画像データを毎時刻、あるいは毎フレームにおいて仮記録し、静止画を撮影した時点において、仮記録したフルサイズの画像データから所定部分をトリミングして最終記録するようにしている。

第２実施形態の構成は、図１及び図２に示した第１実施形態と同様であることから、詳しい説明を省略する。ただし、仮記録部５ａの動画記録用メモリは第１実施形態においてはトリミング画像の画像データを仮記録していたが、本実施形態においては、フルサイズの画像データを仮記録する点は相違する。

本実施形態においては、図８に示すように、各時刻Ｔ２１〜Ｔ２７において、撮像部２はフルサイズで画像データを取得し、このフルサイズの画像データをリサイズして表示用の画像データを生成している。また、フルサイズの画像データを毎時刻あるいは毎フレーム、仮記録している。時刻Ｔ２８において、静止画の撮影が行われると、その直近である時刻Ｔ２５〜Ｔ２７で仮記録したフルサイズの画像データから所定部分のトリミングを行う。このとき生成されたトリミング画像の最終トリミング画像データ２８ａ〜２８ｃと、撮影時の静止画フル画像データ２８ｄを記録部６に最終記録する。

また、トリミングにあたって、トリミング枠２９ａ〜２９ｃを、被写体の顔から遠い部分（この例では手の部分）から、顔の部分に向けて移動させると共に、トリミング枠２９ｂはトリミング枠２９ａよりも大きく、トリミング枠２９ｂとトリミング枠２９ｃは同じ大きさとしている。

なお、トリミング画像を生成する際にフェードインとなるようにしても良い。すなわち、静止画の画像がはっきりするように、トリミング画像データ２８ａは露出オーバーとなるように露出補正を施し、静止画フル画像データ２８ｄにおいて適正露光となるようにする。露出補正はパラメータ制御部７または画像処理部５によって行う。

このように第２実施形態においては、最終トリミング画像データ２８ａ、２８ｂ、２８ｃおよび静止画フル画像データ２８ｄが記録部６に記録されるので、再生時には、まず最終トリミング画像データ２８ａ→最終トリミング画像データ２８ｂ→最終トリミング画像データ２８ｃの順に読み出し、これを順次再生する。そして、最後に静止画フル画像データ２８ｄを読み出し、再生表示を行う。このため、被写体の部分が先に再生され、被写体の部分が移動しながら、最後に被写体全体が再生表示される。

図８における説明では、トリミング画像は３つであったが、これより多いトリミング画像を生成し、滑らかに移動するように再生できるようにしても良い。図９に示すトリミング範囲のフローチャートは、３つに限らず、多数のトリミング画像を生成するためのフローである。第２実施形態における動画撮影のフローは、図３に示した第１実施形態におけるフローにおいて、ステップＳ２〜Ｓ４に対応するステップおいて、フルサイズの画像データを仮記録する。この仮記録する画像データは、仮記録部５ａのメモリに仮記録できるだけの数とする。そして、ステップＳ１において撮影の指示がなされると、ステップＳ１１において静止画を撮影する。図３のステップＳ１２の不要画像削除のサブルーチンを、図９に示すトリミング範囲のサブルーチンに置き換える。

トリミング範囲のフローに入ると、まず、顔検出を行う（Ｓ４１）。このステップでは、仮記録部５ａのメモリ０に仮記録された静止画の画像データについて、顔検出部２ａによって顔が含まれているか否かを検出する。続いて、顔の大きさ（Ｄ）の検出を行う（Ｓ４２）。このステップでは、顔検出部２ａによって顔が含まれていることを検出した場合に、その顔の大きさを検出し、この検出した大きさをＤとする。次に、顔の位置を検出する（Ｓ４３）。このステップでは、顔検出部２ａによって、検出された顔の位置を検出し、検出された顔位置を（Ｘｆ、Ｙｆ）とする。

続いて、位置指定があるか否かの判定を行う（Ｓ４４）。ここでは、トリミング画像の初期位置について、ユーザがマニュアルで指定したか否かを判定する。位置指定の仕方としては、例えば、図６（ｂ）に示すように、メイン画面８ａに静止画を表示した際に、トリミング画像の初期位置をタッチすることにより指定すれば良い。この場合、ユーザのタッチ操作は図示しないタッチパネル等によって検出する。また、十字釦等の操作によりカーソルを移動させ、ＯＫ釦等によって位置を確定するようにしても良い。

ステップＳ４４における判定の結果、位置指定があった場合には、次に、指定位置中心を求める（Ｓ４５）。このステップでは、タッチパネルや十字釦等によって指定された画面上の位置の座標を求め、これを（Ｘ１、Ｙ１）とする。続いて、指定された位置座標（Ｘ１、Ｙ１）において、表示部と同じサイズ（ｄ）で画像の大きさを決める（Ｓ４６）。このステップでは、サイズｄとしては、例えば、ハイビジョン画像での表示を想定して、２Ｍ程度とするが、想定表示部に合わせて異なる値でも良い。

ステップＳ４４における判定の結果、位置指定がなかった場合には、次に、顔から遠い位置で表示部と同じサイズ（ｄ）の画像を決める（Ｓ５１）。顔から遠い位置、言い換えると顔から離れた位置の中心座標は次のステップＳ５２において決定するが、遠い位置としては、人物の部分で、顔以外の部分、例えば、手のような特徴的部分であってその中で一番遠い部分を画像解析により決めれば良い。この顔から遠い位置の決め方は、この方法に限らず、期待感を盛り上げるように、顔と異なる位置から移動させるものであれば良い。他の例については、図１０を用いて後述する。また、ステップＳ４６で述べたことと同様に、表示部と同じサイズｄでとリンミグ画像の大きさを決める。トリミング画像の大きさとしてハイビジョン画像と同じであれば２Ｍとする。続いて、その画像の中心座標（Ｘ１、Ｙ１）を決める（Ｓ５２）。ここでは、ステップＳ５１において、顔から遠い位置を求めているので、その位置の中心座標を求める。

ステップＳ５２において中心座標を求めると、またはステップＳ４６においてサイズｄを決めると、次に、座標（Ｘ１、Ｙ１）でサイズｄの画像をトリミングする（Ｓ５３）。ここではフルサイズの画像データから、座標（Ｘ１、Ｙ１）を中心にサイズｄで、トリミング部１ｂによってトリミングを行う。

ステップＳ５３においてトリミング処理を行うと、次に、現在位置が顔位置にあるか否かの判定を行う（Ｓ５４）。トリミング処理は最初、座標（Ｘ１、Ｙ１）を中心位置として行うが、後述するように、ステップＳ６４において座標を移動させている。このステップＳ５４においては、現在位置が顔位置（Ｘｆ、Ｙｆ）に達したか否かの判定を行う。

ステップＳ５４における判定の結果、顔位置でなかった場合には、次に、顔の大きさＤがトリミング画像のサイズｄよりも大きいか否かを判定する（Ｓ６１）。この判定の結果、顔の大きさＤが画像のサイズｄよりも小さかった場合には、次に、サイズｄを（ｄ＋Δｄ）にする（Ｓ６３）。すなわち、サイズｄをΔｄだけ大きくする。これは、トリミングを最初、行う場合には、トリミング画像の大きさがｄであるが、最後には顔の大きさＤと一致するように、トリミング画像の大きさをΔｄずつ徐々に広げるためである。

ステップＳ６１における判定の結果、顔の大きさＤが画像のサイズｄよりも大きかった場合には、画像のサイズｄを顔の大きさＤに固定する（Ｓ６２）。これは、トリミング部分が顔のサイズより大きくならないようにするためである。画像のサイズｄが顔のサイズＤよりも大きくなると、顔が縮小し表情変化よりも大きさの変化の方が気になってしまうことを防止している。これによって画面上の顔の大きさを変えずに、表情を楽しむことができる。本実施形態においては、画像の全体を見せるまえに動画で部分を見せるようにしている。つまり、最初に顔以外を見せるようにし、また顔を見せる場合には表情の変化を大きく見せる等の工夫を行っている。したがって、顔のアップから全体という構図変化（望遠からワイド方向）が重視されているので、顔以外のものから顔を見せる場合も、その方向を揃えるようにし、自然なズーミング効果を狙っている。しかし、さらに画面変化を求める場合には、必ずしもこのような制約はなくても良い。

ステップＳ６２において画像サイズｄをＤに固定すると、またはステップＳ６３において画像サイズをｄ＋Δｄにすると、次に、トリミング画像の初期位置（Ｘ１、Ｙ１）から、顔の位置（Ｘｆ、Ｙｆ）に向けて近づけていく（Ｓ６４）。すなわち、トリミング画像の中心位置を少しずつ移動させていく。この場合の移動速度は、トリミング初期位置から、顔位置まで、０．５秒ないし２秒程度の時間で移動できる程度の速度とするが、ユーザの好みでこれよりも遅くても早くても良い。

続いて、その移動位置で、その画像サイズでトリミングを行う（Ｓ６５）。ここでは、フルサイズの画像データからステップＳ６４において決定した位置において、かつステップＳ６２若しくはＳ６３において決定した画像サイズで、トリミング部１ｂがトリミングを行い、トリミング画像の画像データを記録部６に最終記録する。トリミングを行うと、ステップＳ５４に戻り、顔の位置に達するまでは、画像サイズｄやトリミング位置を変えながら、トリミング処理を繰り返す。ステップＳ５４における判定の結果、顔位置に達すると、トリミング範囲の処理を終了し、元のフローに戻る。

このように、トリミング範囲のフローにおいて、フルサイズの画像データから、ステップＳ４５またはＳ５２において決定された中心位置（Ｘ１、Ｙ１）から顔位置（Ｘｆ、Ｙｆ）まで、画像サイズを変化させながら、トリミング画像を切り出し、この切り出されたトリミング画像の最終記録を行っている。このフローでは、トリミング画像を３コマに限らず、多数のトリミング画像を容易に生成することができるので、初期位置（Ｘ１、Ｙ１）から顔位置（Ｘｆ、Ｙｆ）までの間を滑らかに滑るようにトリミング画像を生成することができる。

また、本フローでは、ステップＳ６３においてトリミング画像のサイズを変更してから、ステップＳ６４において、顔に近づけるようにしている。これは、最後に顔のアップに相当する枠サイズに揃えた状態で、表情の変化を楽しめるようにしたものである。また、先に顔位置に移動させてからトリミング画像のサイズを変更すると、最初からその人物の正体が分かってしまい、期待感をもたせることができない。そのため顔の位置にトリミング画像を移動させるのを最後にした。しかし、逆の効果を求めるシーンやユーザもいることから、ステップＳ６１とＳ５４の関係を逆にしても良い。

なお、トリミング範囲のフローは、撮影中に実行するものとして説明したが、再生時に実行することも可能である。すなわち、記録部６には静止画撮影前の所定時間内の動画（連写）のフルサイズの画像データを記録しておき、再生時に図９に示すトリミング範囲のフローを実行することにより、トリミング画像を切り出し、この切り出されたトリミング画像を順次再生表示すれば良い。また、撮影前に仮記録部５ａに記録される画像データはフルサイズとしたが、想定再生装置の表示部の画像サイズを考慮の上、フルサイズよりも小さな画像データでも良い。

次に、ステップＳ５１における顔から遠い位置の決め方の他の例について、図１０を用いて説明する。遠い位置として画像解析を行い、手の部分等、特定位置を決める場合のほか、単純に人物の中で顔から一番遠い部分を選択する方法がある。この場合、顔の位置から十分遠いと、初期位置から顔の位置に移動するに要する時間がかかり、鑑賞する際に飽きてしまうおそれがある。そこで、この例では、鑑賞した際に期待感を抱かせるような効果を生ずるようにトリミングの開始位置と枠移動の速度を決めている。

図１０（ａ）は、動画を撮影している際の全体画像２９ａと、その時のトリミング画像２９ｂ〜２９ｄを示す。この場合も前述の実施形態と同様、顔から遠い部分から顔の部分に向けてトリミング画像を移動させている。トリミング画像２９ｃでは、被写体の顔の部分の下側が見えており、この状態では笑っていない。しかし、トリミング画像２９ｂでは被写体の顔全体が見えており、この状態では笑っている。このように笑っていない状態から笑った状態になるまでの時間Ｔｆを計測する。顔の端部から顔の中心までの距離差（約Ｄ／２）（ここで、Ｄは顔の大きさ）を、時間Ｔｆで除算すると、移動速度ｖが算出できる。この移動速度ｖで所定時間（例えば、約２秒間）、移動した位置をトリミング開始位置とすれば、被写体の表情変化にタイミングを合わせたトリミング画像と静止画の再生表示を行うことができる。

このようなトリミング位置と表情変化の様子を図１０（ｂ）（ｃ）に示す。図１０（ｂ）は、縦軸にトリミング位置を、横軸に時間経過をとり、時間と共にトリミング枠が移動していく様子を示している。また、図１０（ｃ）は、縦軸に数値化した表情を、横軸に時間経過をとり、時間と共に人物の顔の表情が変化していく様子を示している。ここで表情は、目の大きさの変化や、口の端部の上がり具合等を数値化する。この数値が高いほど、笑顔度が高くなるので、この数値の変化が大きい部分は、笑顔になっていく過程であり、この変化が大きいときの時間Ｔｆを求め、この時間Ｔｆの間にちょうど、顔の下端部から顔の中心にトリミング枠が移動するようにトリミングライン２９ｅを決めれば良い。

このようにしてトリミング開始位置とトリミング枠の移動速度を決定することにより、被写体の顔の表情変化を楽しむことができる。また、トリミングを行っていることから、表情変化を拡大して表示することができる。なお、被写体によっては表情変化がない場合があり、この場合には、顔以外の場所の撮影位置の変化によって、画面に変化をつけることによって、期待感を高めるようにすれば良い。なお、この例は、第２実施形態に限らず、第１実施形態においても利用することができる。すなわち、この例では表情変化をモニタしているが、第１実施形態において、表情変化が有った場合に撮影を自動的に行ったり、また、撮影のチャンスであることを表示するようにしても良い。

以上、説明したように、本発明の第２実施形態およびその変形例においては、静止画の撮影に先だって、動画（連写）で画像データをフルサイズ等で取得し、そのまま仮記録している。そして、静止画を撮影した際に、直近のフルサイズ等の動画の画像データからトリミング画像の画像データを生成し、この生成された画像データと、静止画の画像データを記録部６に最終記録している。

このように記録された画像データを再生すると、第１実施形態の場合と同様、いきなり被写体全体が再生表示されるのではなく、被写体の一部が再生表示されてから全体が再生表示される。このため、被写体全体が表示されるまでの間、何が（誰が）写っているのを想像することができ、期待感を高めることができる。

また、本実施形態においては、フルサイズ等の画像データを仮記録することから、トリミング画像を仮記録する場合に比較し、大容量の仮記録部５ａが必要となる。しかし、静止画撮影後にトリミング画像を生成する際の自由度が高く、期待感を更に高めた画像を得ることができる。

さらに、本実施形態においては、静止画撮影後にトリミング画像を生成せずに、画像を再生する際に、トリミング画像を生成するようにしても良い。この場合、再生用のトリミング画像の生成は、カメラで行っても良く、例えば、パーソナルコンピュータ等の画像再生装置において行っても良い。

次に、本発明の第３実施形態について、図１１ないし図１４を用いて説明する。第１および第２実施形態においては、静止画の撮影に先だって、常時、動画（連写）を仮記録部５ａに仮記録していた。この第３実施形態においては、静止画の撮影後に、動画（連写）を撮影し、このとき得られた動画の画像データからトリミング画像を生成し、これを記録するようにしている。

第３実施形態の構成は、図１及び図２に示した第１実施形態と同様であることから、詳しい説明を省略する。ただし、仮記録部５ａの動画記録用メモリは第１実施形態においては静止画撮影前に画像データを記録していたが、本実施形態においては、仮記録を行わないので、仮記録部５ａを省略することができる。

図１１を用いて、本実施形態における画像の撮影と再生について説明する。撮影時には画像３１ａ〜３１ｄの順に撮影を行うが、この中で、画像３１ａが静止画像であり、画像３１ｂ〜３１ｄは静止画の撮影後に撮影された動画（連写）である。

本実施形態においても、被写体２２の顔を含めて全体が写っている静止画像３１ａを最初から再生表示するのではなく、顔以外の部分を最初に表示し、次第に全体像が見えるようにしている。すなわち、最初に手の部分を拡大したトリミング画像３１ｂを表示し、続いて、手の部分を含む広めの範囲のトリミング画像３１ｃを表示し、次に顔の部分を拡大したトリミング画像３１ｄを表示し、最後に、被写体２２の全体が写っている静止画像３１ａを表示する。本実施形態においても、何が（誰が）写っているのか早く知りたいという鑑賞者の期待感を利用して効果的な再生表示を行うことができる。

次に、本実施形態におけるカメラ１０の撮影動作について、図１１に示すフローチャートを用いて説明する。動画撮影のフローに入ると、まず、ステップＳ１と同様に、撮影を行うか否かの判定を行う（Ｓ７１）。動画撮影のフローに入ると撮像部２の出力に基づいて、ライブビュー画像が表示されており、撮影者が構図を決め、静止画を撮影する場合には、レリーズ釦を操作するので、ここではレリーズ釦が操作されたか否かを判定する。

ステップＳ１における判定の結果、撮影でなかった場合には、待機状態となり、ライブビュー画像を表示した状態で、レリーズ釦が操作されるのを待つ。一方、ステップＳ７１における判定の結果、撮影となると、静止画の撮影を行う（Ｓ７２）。ここでは、撮像部２から出力される静止画の画像データをフル画像データ（１２Ｍ（１２００万画素））で記録部６に記録する。この画像は、前述の静止画像３１ａに相当する。

静止画の撮影を行うと、次に、顔の下部１についてトリミング撮影を行う（Ｓ７３）。ここでは、被写体２２の顔の部分より下にある部分、この例では手の部分について、フル画像データから、トリミング部１ｂによって２Ｍ（２００万画素）でトリミングを行い、画像３１ｂに対応する画像データを記録部６に最終記録する。なお、画素数として２Ｍとしたのは、第１実施形態の場合と同様に、ハイビジョン画像で再生表示する場合を想定した画素数であり、想定再生表示装置に応じて、異なる値としても良い。

続いて、顔の下部２についてトリミング撮影を行う（Ｓ７４）。ここでは、顔の下部１より上側でかつ下部１の範囲より広い範囲、この例では、手の部分を含み下部１より広げた部分について、フルサイズの画像データから２Ｍでトリミングを行い、画像３１ｃに対応する画像データを記録部６に最終記録する。この下部２について撮影を行うと、次に、顔の下部３についてトリミング撮影を行う（Ｓ７５）。ここでは、顔の下部２より上側でかつ下部２の範囲とほぼ同程度の範囲、この例では、顔の部分をふくむ拡大された部分について、フルサイズの画像データから２Ｍでトリミングを行い、画像３１ｄに対応する画像データを記録部６に最終記録する。この記録が終わるとこのフローを終了する。

このように、第３実施形態においても、ステップＳ７３〜Ｓ７５において、フルサイズの画像データから一部分（下部１〜３）を切り出すトリミング処理を行っているが、ここも各画像の連続性が重要である。そのため、トリミング画像においても顔の大きさが小さくなる方向に変化させ、また、トリミング位置の方向も一定の方向に変化することが望ましい。以上の説明では、ステップＳ７３〜Ｓ７５においてトリミング画像を最終記録していたが、一旦、仮記録部５ａに仮記録した後、まとめて記録部６に最終記録するようにしてもかまわない。

図１２は、動画撮影および静止画撮影された画像データの表示および記録の仕方を示す。時刻Ｔ５５が静止画撮影のタイミングであり、その前の時刻Ｔ５１〜Ｔ５４は静止画撮影前であり、時刻Ｔ５６〜Ｔ５８は静止画撮影後のトリミング処理のタイミングである。時刻Ｔ５１〜Ｔ５４においては、撮像部２から出力される画像データは、表示部８においてライブビュー表示されるだけである。この間においては、撮像部２からの画像データは間引き処理された後、表示部６に送られるだけで、第１、第２実施形態のように画像データの仮記録は行われない。

時刻Ｔ５５において、静止画のフルサイズの画像データが記録部６に最終記録される。次に、時刻Ｔ５６〜Ｔ５８において、フルサイズの動画の画像データからトリミング範囲が切り出され、このトリミング画像の画像データが記録部６に最終記録される。また、このとき生成されたトリミング画像の画像データに基づいて、表示部８に表示される。

このように、第３実施形態においては、静止画像３１ａを撮影後、順次、動画からトリミング画像３１ｂ、３１ｃ、３１ｄの画像データを生成し、記録部６に最終記録を行っている。そして、再生表示する際には、トリミング画像３１ｂ→３１ｃ→３１ｄ→静止画像３１ａの順に再生を行う。このため、静止画撮影前に、常時、動画の仮記録を行う必要がなく、構成を簡単にすることができる。なお、トリミング画像の生成の順番は、顔に遠い位置から生成しており、この順番は時系列の方向であることから、再生時に違和感が少ない。しかし、先に、顔に近い位置から生成しても勿論かまわない。

本実施形態においては、静止画の撮影後も連続して動画の撮影を行っている。このため、静止画の撮影後も所定時間（実施形態においては、０．５秒から２秒程度）の間、被写体にカメラ１０を向けていないと、見苦しい画像となってしまう。そこで、本実施形態においては、撮影者に必要以上のストレスをかけさせないようにするために、画面中央に位置する人物２５を自動的に抽出し、人物２１の顔の部分をトリミングして記録するようにしている。

このトリミングの仕方について、図１３および図１４を用いて説明する。図１３は被写体２２を撮影している様子を示しており、静止画は撮影領域１５ａで撮影され、この後に続く動画は撮影領域１５ｂ、１５ｃで撮影される。このとき、カメラ１０で撮像される画像の内、図１４（ａ）は、撮影領域１５ａに対応する画像であり、図１４（ｂ）は撮影領域１５ｂに対応する画像であり、図１４（ｃ）は撮影領域１５ｃに対応する画像である。

静止画の撮影領域１５ａに対応する図１４（ａ）の画像は、そのまま図１４（ｄ）に示すように記録されるが、動画の撮影領域１５ｂに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｂ（被写体２２の顔が中央に存在）が、図１４（ｅ）に示すように記録され、動画の撮影領域１５ｃに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｃが、図１４（ｆ）に示すように記録される。ここで、トリミング領域１７ｂ、１７ｃのアスペクト比は、静止画のアスペクト比と変えても良いが、同じアスペクト比とすることにより、違和感をなくすことができることから、本実施形態においては、同一アスペクト比としている。

なお、図１３および図１４を用いて説明したトリミング処理は、制御部１内の構図変化判定部１ａおよびトリミング部１ｂによって実行される。すなわち、構図変化判定部１ａは撮影領域１５ａ〜１５ｃに変化したことを判定すると、トリミング部１ｂが判定結果に基づいてトリミング処理を行う。また、このトリミング処理は、撮影後に行うことで説明したが、撮影前に行うこともできる。すなわち、撮影前から動画の撮影を行い、静止画が撮影されると、直近の動画の画像データから撮影領域１７ｂ、１７ｃに対応する部分のトリミングを行えば良い。

以上、説明したように、本発明の第３実施形態においては、静止画の撮影後に、動画（連写）で画像データを取得し、この画像データからトリミングを行い、静止画の画像データと共に、トリミング画像の画像データも記録するようにしている。このため、静止画の撮影前に動画の画像データを仮記録する必要がなくなり、構成を簡単にすることができる。

以上説明したように、本発明の各実施形態においては、レリーズ動作に応答し撮像部２から画像データを取得すると共に、レリーズ動作の前若しくは後に撮像部２から連写の画像データを取得し、連写の画像データに基づいて、各フレームで異なる領域で順次トリミング画像を生成し、この生成されたトリミング画像とレリーズ時の画像データを記録している。このため、単に撮影する場合に比較し、変化に富んだ多彩な画像を、簡単に誰でも撮影することができる。

また、本発明の各実施形態においては、画面全体の画像を表示する前に、その画像を撮影する前もしくは後に撮影された画像の一部分をトリミングし、このトリミング画像を先に表示するようにしている。このため、変化に富んだ多彩な画像を鑑賞することができる。特に、最初に、人物の手等の部分を表示し、その後、少しずつその人物の部分を移動しながら、最後に顔の拡大表示から全体表示を行うと、何が（誰が）写っているのかを想像し期待感が高まるという効果を奏する。また、従来の写真鑑賞にあっては、人物が写っているとその人を見るだけで満足していた。つまり、興味のある人が写っている写真であれば丁寧に鑑賞し、興味がない人が写っている写真であったり、表情が良くなければ、その写真を飛ばしてしまうような場合が多々あった。人物の顔以外にも、周囲に何か興味深いものがあっても、興味が持たれず、写真が見過ごされてしまうのは残念である。本発明の各実施形態においては、顔以外の部分を拡大して表示しており、このような画像を興味深く鑑賞する際の手助けになる。

なお、本発明の各実施形態においては、レリーズ釦が操作され撮影を行う際に、静止画を撮影していた。しかし、これに限らずレリーズ釦の操作に応じて動画の撮影を開始するようにしても良い。第３実施形態においては、静止画の撮影後に動画（連写）の撮影を行っていたが、レリーズ釦の操作に応じて動画の撮影を終了した後に、トリミング用の動画（連写）の撮影を行うようにしても良い。

また、本発明の各実施形態においては、被写体の人物の関係ある部分のトリミングを行い、顔の位置に向けて直線的にトリミング位置を移動させていたが、これに限らず、人物の身体の輪郭に従って、顔に向けていくような処理を行っても良い。また、初期位置として人物の関係有る部分としていたが、人物に関係ある部分以外の特徴的なものであっても良く、この特徴的なものから、人物に向けてトリミング範囲の変更を行っても良い。特徴的なものとしては、前後の画像と比較し、その画像の周辺にあって、形状に特徴が有れば良く、例えば、花束のような色彩や、アクセサリのような光沢感のあるものがある。また、顔が最初にでてしまうと、どんな表情とか、誰が写っているか等の鑑賞者の興味が失われてしまう。そこで、あえて画面に映っているのに目が届きにくいものから、次第に人物に注意が向くようにする。同じ表現ばかり続き、単調になってしまう場合には、トリミング開始位置を、人物の関連部分から、このような特徴的なものに変更する、同じ画像であっても、鑑賞者は沢山の情報に誘導され、イマジネーションが喚起される。

また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、１ａ・・・画像処理部、１ｂ・・・トリミング部、２・・・撮像部、２ａ・・・顔検出部、３・・・パラメータ設定部、４・・・モーション判定部、５・・・画像処理部、５ａ・・・仮記録部、５ｂ・・・静止画圧縮部、５ｅ・・・効果処理部、５ｆ・・・画圧縮部、５ｇ・・・接続データ部、５ｈ・・・時間制御部、６・・・記録部、７・・・パラメータ制御部、８・・・表示部、８ａ・・・メイン画面、８ｂ・・・サブ画面、８ｃ・・・サブ画面、９・・・操作部、１０・・・カメラ、１１・・・時計部、１５ａ・・・撮影領域、１５ｂ・・・撮影領域、１５ｃ・・・撮影領域、１７ｂ・・・トリミング領域、１７ｃ・・・トリミング領域、２１ａ・・・画像、２１ｂ・・・画像、２１ｃ・・・画像、２１ｄ・・・画像、２２・・・被写体、２３ａ・・・トリミング画像データ、２３ｂ・・・トリミング画像データ、２３ｃ・・・トリミング画像データ、２４ａ・・・最終トリミング画像データ、２４ｂ・・・最終トリミング画像データ、２４ｃ・・・最終トリミング画像データ、２４ｄ・・・静止画フル画像データ、２６ａ・・・トリミング画像、２６ｂ・・・トリミング画像、２６ｃ・・・トリミング画像、２６ｄ・・・静止画像、２７・・・トリミング指示枠、２８ａ・・・最終トリミング画像データ、２８ｂ・・・最終トリミング画像データ、２８ｃ・・・最終トリミング画像データ、２８ｄ・・・静止画フル画像データ、２９ａ・・・全体画像、２９ｂ・・・トリミング画像、２９ｃ・・・トリミング画像、２９ｄ・・・トリミング画像、３１ａ・・・静止画像、３１ｂ・・・トリミング画像、３１ｃ・・・トリミング画像、３１ｄ・・・トリミング画像

Claims (7)

1. 被写体像を画像データに変換する撮像部と、
   レリーズ動作に応答し、上記撮像部から画像データを取得すると共に、上記レリーズ動作の前若しくは後に、上記撮像部から複数の画像データを取得する撮影部と、
   上記複数の画像データから、異なる領域で順次トリミング画像データを生成するトリミング部と、
   上記トリミング部で生成されたトリミング画像データ、および上記レリーズ動作時に取得した画像データを記録する制御部と、
   を有し、
   上記制御部は、上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング部で生成されたトリミング画像を順次再生できるように記録することを特徴とするカメラ。
2. 上記トリミング画像データは、拡大画像から縮小するように、順次生成することを特徴とする請求項１に記載のカメラ。
3. 上記トリミング画像データは、縮小画像から拡大するように、順次生成することを特徴とする請求項１に記載のカメラ。
4. 上記トリミング画像データは露出補正を施し、上記レリーズ動作時に取得した画像データは適正露光となるように、順次生成することを特徴とする請求項１に記載のカメラ。
5. 被写体像を画像データに変換し、
   撮影指示に応じて、変換された画像データを取得し、これを記録部に記録し、
   この記録された画像データから第１の部分をトリミング処理し、これを記録部に記録し、
   上記第１の部分とは別の位置の第２の部分をトリミング処理し、これを順次再生できるように記録部に記録する、
   ことを特徴とするカメラの制御方法。
6. レリーズ動作時に取得されたレリーズ時画像データと、レリーズ動作時の前若しくは後に取得され、複数フレームで異なる領域でトリミング処理されたトリミング画像データを記録する記録部と、
   上記記録部に記録された上記画像データから上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング処理によって生成されたトリミング画像データを順次再生する再生制御部と、
   を有することを特徴とする表示制御装置。
7. レリーズ動作時に取得されたレリーズ時画像データと、レリーズ動作時の前若しくは後に取得され、複数フレームで異なる領域でトリミング処理されたトリミング画像データが記録部に記録されている表示装置における表示制御方法であって、
   上記記録部に記録された上記画像データの内、上記レリーズ動作時に取得した画像データの前若しくは後に、上記トリミング処理によって生成されたトリミング画像データを順次再生する、
   ことを特徴とする表示制御方法。