JP2012191503A - Image recorder, image reproducer and image recording/reproduction system - Google Patents
Image recorder, image reproducer and image recording/reproduction system Download PDFInfo
- Publication number
- JP2012191503A JP2012191503A JP2011054352A JP2011054352A JP2012191503A JP 2012191503 A JP2012191503 A JP 2012191503A JP 2011054352 A JP2011054352 A JP 2011054352A JP 2011054352 A JP2011054352 A JP 2011054352A JP 2012191503 A JP2012191503 A JP 2012191503A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- frame
- main subject
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像を記録する画像記録装置、動画像を再生する画像再生装置、及びこれらを有する画像記録再生システムに関する。 The present invention relates to an image recording apparatus for recording a moving image, an image reproducing apparatus for reproducing a moving image, and an image recording / reproducing system including these.
従来、撮影時における主要被写体を検出する技術が知られている。例えば、特許文献１においては、撮影者の視線位置や画面内の肌色部分を検出することによって、撮影時における主要被写体の位置を検出している。特許文献１では、主要被写体の位置情報を記録しておくことにより、主要被写体の位置情報を再生時に利用することが可能である。例えば、特許文献１では、例えばラボによるプリント時に主要被写体の明るさを適正とするようにプリントすることが可能となる。また、主要被写体の位置情報を利用することにより、再生時において主要被写体に対して特殊な演出効果を与えることも可能である。
Conventionally, a technique for detecting a main subject at the time of photographing is known. For example, in
撮影する画像が静止画像であれば、例えばＡＦ合焦ポイントから容易に主要被写体を推定することができる。これに対し、撮影する画像が動画像の場合には時間とともに主要被写体が変わる可能性がある。
本発明は、上記の事情に鑑みてなされたもので、動画像で時間とともに主要被写体が変わっても主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、また、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することを目的とする。
If the image to be captured is a still image, the main subject can be easily estimated from, for example, the AF focus point. On the other hand, when the image to be shot is a moving image, the main subject may change with time.
The present invention has been made in view of the above circumstances, and an image recording apparatus capable of correctly estimating a main subject and recording information on the main subject even if the main subject changes with time in a moving image, An object of the present invention is to provide an image reproducing apparatus capable of performing effective image processing on a main subject that changes with time in a moving image and reproducing it, and an image recording / reproducing system having the same.
上記の目的を達成するために、本発明の第１の態様の画像記録装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、を具備することを特徴とする。 In order to achieve the above object, an image recording apparatus according to a first aspect of the present invention relates to an image acquisition unit that acquires moving image data including a plurality of frames, and a main subject in each frame of the moving image data. An image analysis unit that analyzes information, a subject list generation unit that generates a subject list in which information on the analyzed main subject is recorded for each frame, and a recording unit that records the subject list in association with the moving image data; It is characterized by comprising.
また、上記の目的を達成するために、本発明の第２の態様の画像再生装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、前記被写体リストに従って主要被写体が出現するタイミングを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を具備することを特徴とする。 In order to achieve the above object, an image reproduction device according to the second aspect of the present invention includes an image acquisition unit that acquires moving image data including a plurality of frames, and each frame of the moving image data. A subject list acquisition unit that acquires a subject list in which information on the main subject is recorded; a main subject determination unit that determines a timing at which a main subject appears according to the subject list; and a frame in which the main subject appears An image processing unit that performs an effect addition process for emphasizing a main subject, and a reproduction control unit that reproduces the frame that has been subjected to the effect addition process.
また、上記の目的を達成するために、本発明の第３の態様の画像記録再生システムは、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を有することを特徴とする。 In order to achieve the above object, an image recording / reproducing system according to a third aspect of the present invention includes an image acquisition unit that acquires moving image data including a plurality of frames, and a frame in each frame of the moving image data. An image analysis unit that analyzes information about the main subject, a subject list generation unit that generates a subject list in which the analyzed information about the main subject is recorded for each frame, and the subject list is recorded in association with the moving image data. A recording unit, a main subject determination unit that determines whether or not a main subject appears according to the subject list for each frame, and an effect addition process for emphasizing the main subject in a frame in which the main subject appears An image processing unit; and a reproduction control unit that reproduces the frame subjected to the effect addition process. To.
本発明によれば、動画像であっても時間とともに変化する主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することができる。 According to the present invention, an image recording apparatus capable of correctly estimating a main subject that changes with time even in a moving image and recording information of the main subject, and a main subject that changes with time in a moving image. In addition, it is possible to provide an image reproducing apparatus capable of performing effective image processing and reproducing the image, and an image recording / reproducing system including the same.
以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の各実施形態に係る画像記録装置及び画像再生装置を有する画像記録再生システムの一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ（カメラ）は、レンズ１０１と、アクチュエータ１０２と、アクチュエータ駆動回路１０３と、撮像素子１０４と、撮像回路１０５と、フレームメモリ（ＳＤＲＡＭ）１０６と、表示駆動回路１０７と、表示パネル１０８と、バックライトユニット１０９と、映像信号出力回路１１０と、映像信号出力端子１１１と、記録媒体１１２と、発光回路（フラッシュ）１１３と、手ブレ補正用ジャイロセンサ１１４と、ステレオマイクロホン（ステレオマイク）１１５と、スピーカー１１６と、ＥＥＰＲＯＭ（ＦｌａｓｈＲＯＭ）１１７と、キーマトリクス１１８と、ＣＰＵ１１９と、電源回路１２０と、電池１２１と、電池状態検出回路１２２と、バックアップ電源１２３と、を有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a digital camera as an example of an image recording / reproducing system having an image recording apparatus and an image reproducing apparatus according to each embodiment of the present invention. A digital camera (camera) illustrated in FIG. 1 includes a
レンズ１０１は、図示しない被写体の像（被写体像）を撮像素子１０４の受光面上に結像させるための光学系である。このレンズ１０１は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。
アクチュエータ１０２は、モータ等を有し、アクチュエータ駆動回路１０３からの駆動信号に従ってレンズ１０１内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞りを開閉駆動させたりする。また、アクチュエータ１０２は、アクチュエータ駆動回路１０３からの駆動信号に従って、撮像素子１０４をその受光面と平行な平面内で移動させる。
The
The
撮像素子１０４は、フォトダイオード等で構成された受光面を有している。この撮像素子１０４は、レンズ１０１を介して受光面上に結像された被写体の像を電気信号（画像信号）に変換する。撮像素子の駆動方式としてはＣＣＤ方式を用いても、ＣＭＯＳ方式を用いても良い。撮像素子１０４の駆動はＣＰＵ１１９によって制御される。
The
撮像回路１０５は、撮像素子１０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像回路１０５は、アナログ処理した画像信号をデジタル信号（画像データ）に変換することも行う。ＡＧＣ処理の際のゲイン量等はＣＰＵ１１９によって指示される。撮像素子１０４と撮像回路１０５とは、後述のＣＰＵ１１９とともに画像取得部の一例として機能する。
The
ＳＤＲＡＭ１０６は、撮像回路１０５で得られた画像データを一時的に保管する機能を有している。この他、ＳＤＲＡＭ１０６は、ＣＰＵ１１９による処理中のデータ等の各種データを一時的に保管する。
表示駆動回路１０７は、ＳＤＲＡＭ１０６に保管されている画像データに基づく画像や記録媒体１１２に記録されている画像データに基づく画像を表示パネル１０８に表示させるように表示パネル１０８を駆動する。表示パネル１０８は、例えば液晶パネルである。この表示パネル１０８は、表示駆動回路１０７によって駆動されて各種の画像を表示する。バックライトユニット１０９は、表示パネル１０８が液晶パネルの場合に設けられるものである。このバックライトユニット１０９は、ＣＰＵ１１９の制御に従って液晶パネルのバックライトを発光させる。映像信号出力回路１１０は、ＳＤＲＡＭ１０６に保管されている画像データや記録媒体１１２に記録されている画像データを、映像信号出力端子１１１を介して例えばテレビジョン受像機（ＴＶ）等の外部画像表示装置２００に出力させる。映像信号出力端子１１１は、コンポジット映像端子やＨＤＭＩ（登録商標）端子等の映像信号出力端子である。
The SDRAM 106 has a function of temporarily storing image data obtained by the
The display driving circuit 107 drives the
記録媒体１１２は、例えばＦｌａｓｈメモリ等であって、例えばＣＰＵ１１９の画像圧縮伸長機能１２３７を用いて得られた画像ファイルを記録する。記録媒体１１２は、カメラに内蔵するようにしても良いし、カメラに対して着脱自在に構成するようにしても良い。
The
フラッシュ１１３は、フラッシュ充電用のコンデンサやフラッシュの発光回路等を備えており、ＣＰＵ１１９の制御に従って発光する。フラッシュ１１３は、例えば低輝度時や逆光時において発光されるものであり、この発光によって被写体を照明する。
手ブレ補正用ジャイロセンサ１１４は、カメラの互いに直交する３軸方向の振動をカメラの手ブレとして検出するジャイロセンサである。手ブレ補正用ジャイロセンサ１１４によって検出される手ブレの影響を打ち消すように、撮像素子１０４を移動させることにより、カメラの手ブレによって生じる画像ブレが軽減される。
The
The camera shake
ステレオマイク１１５は、一対のマイクロホンを有しており、外部から入力されたステレオ音声を電気信号（音声信号）に変換する。例えば、動画像の撮影時においては、撮像素子１０４による画像信号の取得と並行してステレオマイク１１５による音声信号の取得が行われる。この音声信号は、デジタル化された後、画像データとともに１つの動画ファイルとして記録媒体１１２に記録される。スピーカー１１６は、記録媒体１１２に記録された音声データに基づく音声を出力する。
The
ＦｌａｓｈＲＯＭ１１７は、被写体管理情報の記憶機能１１７１と、カメラの駆動情報の記憶機能１１７２と、を主に有する電気的に情報を書き込み及び消去可能な記憶媒体である。ここで、被写体管理情報の記憶機能１１７１とは、後述する被写体リストの生成に必要な情報を記憶しておく機能である。この被写体リストの生成に必要な情報とは、顔の特徴量情報等である。カメラの駆動情報の記憶機能１１７２とは、撮影動作時の設定、画像処理設定、カメラの各ブロックの動作設定といった設定情報、撮像素子１０４やレンズ１０１の特性情報、カメラの動作に必要な処理プログラムといったカメラの各種の動作に必要な情報、及び撮影動作時の撮影条件等の、各種のカメラの駆動情報を記憶しておく機能である。
The
キーマトリクス１１８は、ボタンやスイッチ等の、ユーザの操作に応じて操作信号をＣＰＵ１１９に出力する各種の操作部材である。キーマトリクス１１８には、レリーズボタン１１８１や動画ボタン１１８２が含まれている。レリーズボタン１１８１は、ユーザが静止画撮影の実行を指示するためのボタンであり、動画ボタン１１８２は、ユーザが動画撮影の実行を指示するためのボタンである。この他、キーマトリクス１１８としては、カメラの動作モードや各種メニュー項目の選択、カメラの電源のオン/オフ切り替え等を行うための操作部材も含まれる。
The
ＣＰＵ１１９は、システムコントロール機能１２３１と、画像記録・再生機能１２３２と、顔検出・認識機能１２３３と、顔サムネイル生成・管理機能１２３４と、画像処理機能１２３５と、記録媒体アクセス機能１２３６と、画像圧縮伸長機能１２３７と、を主に有している。
The
システムコントロール機能１２３１は、ＦｌａｓｈＲＯＭ１１７に記憶されている処理プログラムに従って、カメラの各ブロックの動作を制御する機能である。ここで、本実施形態におけるシステムコントロール機能１２３１としては、さらに、合焦判定機能１２３１ａと、被写体リスト管理機能１２３１ｂと、ファイル生成・管理機能１２３１ｃと、演出タイミング管理機能１２３１ｄと、が含まれている。合焦判定機能１２３１ａとは、撮影により得られた画像データ（静止画像データ又は動画像データ）中に合焦している被写体が存在しているか否かを判定し、合焦被写体が存在している場合にはその位置を検出する機能である。ここで、動画データについては、動画像データのフレーム毎に合焦被写体の有無を判定する。画像解析部及び被写体リスト生成部の一例としての被写体リスト管理機能１２３１ｂは、合焦判定機能１２３１ａによる判定結果や顔検出・認識機能１２３３による認識結果といった画像データの解析結果を用いて被写体リストを生成し、生成した被写体リストをＦｌａｓｈＲＯＭ１１７に記録して管理する機能である。この被写体リスト管理機能１２３１ｂの詳細については後述する。記録部の一例としてのファイル生成・管理機能１２３１ｃは、画像圧縮伸長機能１２３７によって圧縮された画像データから画像ファイル（静止画ファイル又は動画ファイル）を生成し、生成した画像ファイルを記録媒体１１２に記録して管理する機能である。被写体リスト取得部及び主要被写体判別部の一例としての演出タイミング管理機能１２３１ｄは、画像の再生時において、被写体リストを読み込み、読み込んだ被写体リストから画像内に主要被写体が出現しているか否かを判別することによって、画像内の主要被写体に対して所定の演出効果を施すタイミングを管理する機能である。この演出タイミング管理機能１２３１ｄの詳細については後述する。
The
画像記録・再生機能１２３２は、撮影により得られた画像データに従って生成された画像ファイルを記録するために記録媒体１１２を制御するとともに、記録媒体１１２に記録されている画像ファイルを再生するために表示駆動回路１０７を制御する機能である。
The image recording /
顔検出・認識機能１２３３は、画像データ中の顔を検出し、検出した顔が予め登録されている特定の顔であることを認識する機能である。顔検出は、周知の特徴点検出によって行うことが可能である。また、顔認識は、顔と推定される特徴点の特徴量（形状や色、配置等）を、予め登録してある顔の特徴量と比較することで行うことができる。この比較を行うため、ＦｌａｓｈＲＯＭ１１７の被写体管理情報として、複数の顔の特徴量の情報が登録されている。この顔の特徴量は、ユーザが自由に登録することが可能である。
The face detection /
顔サムネイル生成・管理機能１２３４は、顔検出・認識機能１２３３によって認識された画像データ中の顔を抽出して顔画像のサムネイルデータ（顔サムネイル画像データ）を生成し、生成した顔サムネイル画像データを被写体リストに記録して管理する機能である。
The face thumbnail generation /
画像処理機能１２３５は、記録媒体１１２に記録する画像データに対してガンマ補正等の画像処理を施す機能である。さらに、本実施形態における画像処理機能１２３５は、表示パネル１０８に再生する画像データに所定の演出効果を与えるための演出付加処理を施す機能も含む。この演出付加処理としては、例えば拡大（ズームアップ）処理やスポットライト処理等がある。
The
記録媒体アクセス機能１２３６は、記録媒体１１２にアクセスしてデータの書き込み又は読み出しを行う機能である。画像圧縮伸長機能１２３７は、撮像素子１０４を介して得られた画像データをＪＰＥＧ形式やＭＰＥＧ形式等の所定の形式で圧縮したり、圧縮された画像データを伸長したりする機能である。
The recording
電源回路１２０は、電池１２１やバックアップ電源１２３の電圧をカメラの各ブロックが必要とする電圧に変換する回路である。電池１２１は、カメラの電源電圧を供給するための例えば２次電池である。電池状態検出回路１２２は、電池１２１の電圧を測定することによって電池１２１の残量を検出する回路である。バックアップ電源１２３は、電池１２１の残量が不足した際等に用いられるバックアップ用の電源である。
The
以下、カメラの動作について説明する。まず、カメラの撮影モードの動作について、図２を参照して説明する。図２の動作は、カメラの動作モードが撮影モードのときに電源がオンされた場合やカメラの動作モードが撮影モードに変更された場合等に開始される。図２において、ＣＰＵ１１９は、まず、初期化処理を行う（ステップＳ１０１）。初期化処理として、ＣＰＵ１１９は、レンズ１０１や撮像素子１０４の位置を初期位置に復帰させたり、内部のレジスタを初期化したりする処理を行う。
Hereinafter, the operation of the camera will be described. First, the operation in the shooting mode of the camera will be described with reference to FIG. The operation of FIG. 2 is started when the power is turned on when the camera operation mode is the shooting mode, or when the camera operation mode is changed to the shooting mode. In FIG. 2, the
初期化処理の後、ＣＰＵ１１９は、スルー画表示の後、撮影待機状態となる（ステップＳ１０２）。スルー画表示処理として、ＣＰＵ１１９は、撮像素子１０４を連続動作させる。そして、ＣＰＵ１１９は、表示駆動回路１０７を制御して、撮像素子１０４の連続動作によって逐次得られる画像データに対応した画像を表示パネル１０８に表示させる。このようなスルー画表示処理により、ユーザは、表示パネル１０８に表示された画像に基づいて構図の決定等を行うことが可能である。
After the initialization process, the
撮影待機状態に移行した後、ＣＰＵ１１９は、キーマトリクス１１８のレリーズボタン１１８１又は動画ボタン１１８２が押されたか否かを判定する（ステップＳ１０３）。ステップＳ１０３の判定において、レリーズボタン１１８１又は動画ボタン１１８２が押された場合に、ＣＰＵ１１９は、撮影動作を実行する（ステップＳ１０４）。この撮影動作については後述する。
After shifting to the shooting standby state, the
ステップＳ１０３においてレリーズボタン１１８１と動画ボタン１１８２の何れも押されていない場合、又はステップＳ１０４の撮影動作の後、ＣＰＵ１１９は、カメラの電源をオフさせるか否かを判定する（ステップＳ１０５）。例えば、ユーザによってカメラの電源のオフ操作がなされた場合や、無操作状態が所定時間継続された場合に、カメラの電源をオフさせる。ステップＳ１０５の判定において、カメラの電源をオフさせない場合に、ＣＰＵ１１９は、ステップＳ１０２の撮影待機状態に戻る。また、ステップＳ１０５の判定において、カメラの電源をオフさせる場合に、ＣＰＵ１１９は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる（ステップＳ１０６）。この場合には、図２の処理が終了する。
If neither the release button 1181 nor the moving
図３は、撮影動作の処理の詳細を示すフローチャートである。撮影動作の処理の開始後、ＣＰＵ１１９は、図２のステップＳ１０３においてユーザによって押されたボタンがレリーズボタン１１８１であるか否かを判定する（ステップＳ２０１）。
ステップＳ２０１の判定において、ユーザによって押されたボタンがレリーズボタン１１８１である場合に、ＣＰＵ１１９は、静止画撮影を実行する（ステップＳ２０２）。静止画撮影において、ＣＰＵ１１９は、合焦処理を行ってレンズ１０１のフォーカスレンズを合焦位置に駆動させたり、必要に応じてズーム処理を行ってレンズ１０１のズームレンズを駆動させたりする。また、ＣＰＵ１１９は、レンズ１０１の合焦処理と並行して、撮影動作の実行時の露出条件（絞りの開放量、撮像素子１０４の露光時間・感度）をシーンモードや被写体輝度等に応じて決定する。その後、ＣＰＵ１１９は、決定した露出条件に従って、撮像素子１０４による撮像を実行させる。この際、必要に応じてフラッシュ１１３を発光させる。撮像素子１０４による撮像によって得られた画像データはＳＤＲＡＭ１０６に記憶される。
FIG. 3 is a flowchart showing details of processing of the photographing operation. After the start of the photographing operation process, the
If it is determined in step S201 that the button pressed by the user is the release button 1181, the
静止画撮影の後、ＣＰＵ１１９は、顔認識処理を行う（ステップＳ２０３）。顔認識処理において、ＣＰＵ１１９は、静止画撮影によってＳＤＲＡＭ１０６に記憶されている画像データを読み出し、読み出した画像データにおける顔を検出する。その後、ＣＰＵ１１９は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、ＣＰＵ１１９は、顔認識結果等を用いて被写体リストを生成する（ステップＳ２０４）。被写体リストの生成処理の詳細については後述する。
After still image shooting, the
被写体リストの生成後、ＣＰＵ１１９は、ステップＳ２０２において得られた画像データに対してガンマ補正等の画像処理を施し、また、ＣＰＵ１１９は、画像処理を施した画像データに対してＪＰＥＧ方式等の静止画圧縮処理を施す。その後、ＣＰＵ１１９は、静止画圧縮処理後の画像データに、ステップＳ２０２における撮影条件を示す撮影情報とステップＳ２０４で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル（静止画ファイル）を生成する（ステップＳ２０５）。
After generating the subject list, the
また、ステップＳ２０１の判定において、ユーザによって押されたボタンがレリーズボタン１１８１でない、即ち動画ボタン１１８２である場合に、ＣＰＵ１１９は、動画撮影を開始させる（ステップＳ２０６）。動画撮影の開始時においても、ＣＰＵ１１９は、合焦処理や露出条件の設定をした後、撮像素子１０４による撮像を開始させる。また、ＣＰＵ１１９は、撮像素子１０４による撮像の開始と同期してステレオマイク１１５を動作させて音声データの取得を開始させる。動画撮影が開始され、動画像データを構成する１フレームの撮像が終了した後、ＣＰＵ１１９は、顔認識処理を行う（ステップＳ２０７）。顔認識処理において、ＣＰＵ１１９は、撮像によってＳＤＲＡＭ１０６に記憶されている現フレームの画像データを読み出し、読み出した画像データにおける顔を検出する。その後、ＣＰＵ１１９は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、ＣＰＵ１１９は、顔認識結果等を用いて被写体リストを生成（又は更新）する（ステップＳ２０８）。被写体リストの生成処理の詳細については後述する。
If it is determined in step S201 that the button pressed by the user is not the release button 1181, that is, the moving
被写体リストの生成又は更新後、ＣＰＵ１１９は、動画ボタン１１８２が押されたか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、動画ボタン１１８２が押されていない場合に、ＣＰＵ１１９は、処理をステップＳ２０７に戻して、動画撮影を継続する。一方、ステップＳ２０９の判定において、動画ボタン１１８２が押された場合に、ＣＰＵ１１９は、撮像素子１０４の動作を停止させる等の動画撮影を終了させるための処理を行う（ステップＳ２１０）。その後、ＣＰＵ１１９は、ＳＤＲＡＭ１０６に逐次記憶された画像データに対してガンマ補正等の画像処理を施す。また、ＣＰＵ１１９は、ＳＤＲＡＭ１０６に逐次記憶された音声データに対して音声処理を施す。その後、ＣＰＵ１１９は、画像データ及び音声データに対してＭＰＥＧ方式等の圧縮処理を施す。そして、ＣＰＵ１１９は、圧縮処理後の画像データに音声データをマージし、さらにステップＳ２０６における撮影条件を示す撮影情報とステップＳ２０８で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル（動画ファイル）を生成する（ステップＳ２１１）。
After generating or updating the subject list, the
ステップＳ２０５又はステップＳ２１１において、画像ファイルを生成した後、ＣＰＵ１１９は、生成した画像ファイルを記録媒体１１２に記録する（ステップＳ２１２）。その後、ＣＰＵ１１９は、図３の処理を終了させて図２の処理に復帰する。
図４は、画像ファイルの構造例を示す図である。図４に示すように、画像ファイルは、ヘッダ情報部と、画像データ部とに分かれている。
ヘッダ情報部には、上述した撮影情報や被写体リストといった各種の情報が記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影に対応した撮影情報が記録される。また、画像ファイルが動画ファイルの場合には動画撮影に対応した撮影情報が記録される。さらに、本実施形態においては、ヘッダ情報部に、被写体リストの生成の際に生成される顔画像サムネイルデータも記録される。
画像データ部には、画像データが主に記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影時には静止画像データが圧縮されて記録される。一方、画像ファイルが動画ファイルの場合には動画像データと音声データとがそれぞれ圧縮されて記録される。
図４に示すような形式で画像ファイルを生成することで、被写体リストを画像データと関連付けて記録することが可能である。
After generating the image file in step S205 or step S211, the
FIG. 4 is a diagram illustrating a structure example of an image file. As shown in FIG. 4, the image file is divided into a header information part and an image data part.
Various information such as the above-described shooting information and subject list is recorded in the header information section. Here, when the image file is a still image file, shooting information corresponding to still image shooting is recorded. When the image file is a moving image file, shooting information corresponding to moving image shooting is recorded. Furthermore, in the present embodiment, face image thumbnail data generated when the subject list is generated is also recorded in the header information section.
In the image data portion, image data is mainly recorded. Here, when the image file is a still image file, still image data is compressed and recorded at the time of still image shooting. On the other hand, when the image file is a moving image file, moving image data and audio data are respectively compressed and recorded.
By generating an image file in a format as shown in FIG. 4, the subject list can be recorded in association with the image data.
図５は、被写体リスト生成処理について示すフローチャートである。ここで、図５の処理は、静止画撮影時であっても動画撮影時であっても実行されるものである。しかしながら、以下の説明においては特に動画撮影時の被写体リスト生成処理について説明する。 FIG. 5 is a flowchart showing subject list generation processing. Here, the processing of FIG. 5 is executed both during still image shooting and during moving image shooting. However, in the following description, a subject list generation process at the time of moving image shooting will be described.
図５において、ＣＰＵ１１９は、撮像素子１０４を介して取得された画像データにおいて、予め登録してある顔が認識できたか否かを判定する（ステップＳ３０１）。
ステップＳ３０１の判定において、予め登録してある顔が認識できた場合に、ＣＰＵ１１９は、その認識した顔の位置（座標）を判別するとともに、その認識した顔に対する合焦の有無を判別する（ステップＳ３０２）。顔の位置及び合焦の有無を判別した後、ＣＰＵ１１９は、ステップＳ３０１で認識した顔が、被写体リスト生成処理を開始してから既に認識している顔であるか否かを判定する（ステップＳ３０３）。
In FIG. 5, the
If it is determined in step S301 that a pre-registered face has been recognized, the
ステップＳ３０３の判定において、ステップＳ３０１で認識した顔が既に認識している顔でない場合に、ＣＰＵ１１９は、新たに認識した顔に対応した被写体番号を被写体リストに追加する（ステップＳ３０４）。次に、ＣＰＵ１１９は、認識した顔の部分の画像データ（顔画像データ）を、撮像素子１０４を介して取得された画像データから抽出する（ステップＳ３０５）。その後、ＣＰＵ１１９は、抽出した顔画像データに対して縮小処理等を施して顔画像サムネイルデータを生成する（ステップＳ３０６）。
If it is determined in step S303 that the face recognized in step S301 is not already recognized, the
ステップＳ３０３の判定において、ステップＳ３０１で認識した顔が既に認識している顔である場合、又はステップＳ３０６の後、ＣＰＵ１１９は、被写体リストを生成（又は更新）する（ステップＳ３０７）。その後、ＣＰＵ１１９は、図５の処理を終了させて図３の処理に復帰する。
If it is determined in step S303 that the face recognized in step S301 is an already recognized face, or after step S306, the
以下、被写体リストの生成についてさらに具体的に説明する。本実施形態においては、被写体リストに、図６に示す４種類の情報を記録する。図６に示す情報は何れも図５の処理によって判別される。
図６に示す「被写体番号」は、予め顔の情報が登録してある被写体（顔）の識別番号である。図６では、Ａ〜Ｇで示す７つまでの被写体番号を登録できる例を示している。勿論、登録できる被写体番号の数は７つに限るものではない。
「被写体座標」は、画像内の被写体（顔）の位置（座標）を示す情報である。ここで、被写体座標は、顔を含む矩形領域の重心の位置又は顔そのものの重心の位置とする。例えば画像の重心位置を原点とし、この原点からの距離に応じて被写体座標が決定される。例えば、画面水平方向をＸ方向、画面垂直方向をＹ方向とする。勿論、原点位置やＸ方向、Ｙ方向はここでの定義に限るものではない。
「被写体位置」は、被写体（顔）がフレーム内のどの領域に存在しているかを示す情報である。この被写体位置の情報としては、例えばフレーム内の領域毎に割り当てられた番号を記録する。図７に、被写体位置の領域分けの例を示す。図７の例では、フレーム中央の領域、フレーム端の領域と、その間の領域とを含む３つの領域に１つのフレームを分け、それぞれの領域に対して番号付けしている。このようにして領域分けをするのは、フレームの中央に存在する被写体が撮影者としてのユーザにとっての主要被写体である可能性が高いためである。なお、領域の分割数は３つに限るものではないが、中央領域は含めるようにすることが望ましい。また、同じ番号の領域を２つ以上設定するようにしても良い。
「合焦情報」は、認識された被写体（顔）に対してレンズ１０１が合焦しているか否かを示す情報である。レンズ１０１が画像中のどの被写体に合焦しているかは、合焦処理の結果から判別できる。図６では、丸印が該当する被写体に合焦していることを示し、ばつ印が該当する被写体に合焦していないことを示している。実際には、合焦情報は２値のフラグである。
Hereinafter, the generation of the subject list will be described more specifically. In the present embodiment, four types of information shown in FIG. 6 are recorded in the subject list. All the information shown in FIG. 6 is determined by the processing of FIG.
The “subject number” shown in FIG. 6 is an identification number of a subject (face) for which face information is registered in advance. FIG. 6 shows an example in which up to seven subject numbers indicated by A to G can be registered. Of course, the number of subject numbers that can be registered is not limited to seven.
“Subject coordinates” is information indicating the position (coordinates) of the subject (face) in the image. Here, the subject coordinates are the position of the center of gravity of the rectangular area including the face or the position of the center of gravity of the face itself. For example, the position of the center of gravity of the image is used as the origin, and subject coordinates are determined according to the distance from the origin. For example, the horizontal screen direction is the X direction, and the vertical screen direction is the Y direction. Of course, the origin position, the X direction, and the Y direction are not limited to the definitions here.
“Subject position” is information indicating in which area in the frame the subject (face) is present. As information on the subject position, for example, a number assigned to each region in the frame is recorded. FIG. 7 shows an example of area division of the subject position. In the example of FIG. 7, one frame is divided into three areas including an area at the center of the frame, an area at the end of the frame, and an area in between, and each area is numbered. The reason why the areas are divided in this way is that there is a high possibility that the subject present in the center of the frame is the main subject for the user as the photographer. Note that the number of divisions of the region is not limited to three, but it is desirable to include the central region. Two or more areas having the same number may be set.
“Focus information” is information indicating whether or not the
図８は、１回の動画撮影時に生成される被写体リストの例を示している。動画撮影の場合、１フレーム目において被写体リストを生成し、それ以後のフレームにおいては情報を順次追記していく。ここで、図８では、被写体Ａ〜Ｄに対応した被写体位置、合焦情報、被写体座標をそれぞれ記録している。これは、動画撮影時において被写体Ｅ〜Ｇの顔が一度も認識されなかったことを示している。図８の被写体リストでは、被写体Ｅ、Ｆ、Ｇの欄も図示されているが、図５のステップＳ３０４でも説明したように、認識された被写体に対応した欄だけ設けられていれば良い。 FIG. 8 shows an example of a subject list generated during one movie shooting. In the case of moving image shooting, a subject list is generated in the first frame, and information is sequentially added in subsequent frames. Here, in FIG. 8, subject positions, focusing information, and subject coordinates corresponding to the subjects A to D are recorded. This indicates that the faces of the subjects E to G have never been recognized during moving image shooting. In the subject list of FIG. 8, the columns of subjects E, F, and G are also shown, but as described in step S304 of FIG. 5, only the column corresponding to the recognized subject needs to be provided.
また、図８の被写体リストにおいて、被写体位置については、領域３に顔が存在していたことを示す「３」が記録された回数を被写体番号毎にカウントしている。また、合焦情報については、合焦である旨を示す「丸印」が記録された回数を被写体番号毎にカウントしている。これらは、後述の被写体順位の特定処理の際に用いられる。 In the subject list of FIG. 8, for the subject position, the number of times “3” indicating that a face exists in the area 3 is counted for each subject number. As for in-focus information, the number of times “circle” indicating the in-focus state is recorded is counted for each subject number. These are used in subject rank specifying processing described later.
以上説明したような被写体リストを用いることで、画像データの再生時において主要被写体を正しく認識できるようにする。以下、画像データの再生時の動作について図９を参照して説明する。図９の動作は、カメラの動作モードが再生モードのときに電源がオンされた場合等に開始される。図９において、ＣＰＵ１１９は、まず、初期化処理を行う（ステップＳ４０１）。初期化処理として、ＣＰＵ１１９は、内部のレジスタを初期化したりする処理を行う。
By using the subject list as described above, it is possible to correctly recognize the main subject when reproducing the image data. Hereinafter, the operation at the time of reproducing the image data will be described with reference to FIG. The operation of FIG. 9 is started when the power is turned on when the operation mode of the camera is the playback mode. In FIG. 9, the
初期化処理の後、ＣＰＵ１１９は、表示駆動回路１０７を制御して、記録媒体１１２に記録されている画像ファイル（静止画ファイル及び動画ファイル）の一覧を表示パネル１０８に表示させる。この後、ＣＰＵ１１９は、ユーザからの画像ファイルの選択を待つべく、待機状態となる（ステップＳ４０２）。
After the initialization process, the
ユーザによって画像ファイルの選択がなされた後、ＣＰＵ１１９は、選択された画像ファイルが静止画ファイルであるか否かを判定する（ステップＳ４０３）。
ステップＳ４０３の判定において、選択された画像ファイルが静止画ファイルである場合に、ＣＰＵ１１９は、静止画再生モードの動作を実行する（ステップＳ４０４）。静止画再生モードにおいて、ＣＰＵ１１９は、ユーザによって選択された静止画ファイルを記録媒体１１２から読み込んで伸長する。そして、ＣＰＵ１１９は、表示駆動回路１０７を制御して、静止画ファイルを表示パネル１０８に再生する。ここで、静止画再生モードの動作において、後述する動画再生モードと同様の主要被写体を強調するような画像処理を施すようにしても良い。また、ステップＳ４０３の判定において、選択された画像ファイルが動画ファイルである場合に、ＣＰＵ１１９は、動画再生モードの動作を実行する（ステップＳ４０５）。動画再生モードの動作については後述する。
After the image file is selected by the user, the
If it is determined in step S403 that the selected image file is a still image file, the
静止画再生モードの動作又は動画再生モードの動作の実行後、ＣＰＵ１１９は、カメラの動作モードを再生モードから撮影モードに変更するか否かを判定する（ステップＳ４０６）。例えば、ユーザによって動作モードの変更が指示された場合に、カメラの動作モードを撮影モードに変更する。ステップＳ４０６の判定において、カメラの動作モードを再生モードから撮影モードに変更する場合に、ＣＰＵ１１９は、図９の処理を終了させて図２の撮影モードの処理を実行する。
After executing the still image playback mode operation or the moving image playback mode operation, the
また、ステップＳ４０６の判定において、カメラの動作モードを変更しない場合に、ＣＰＵ１１９は、カメラの電源をオフさせるか否かを判定する（ステップＳ４０７）。ステップＳ４０７の判定において、カメラの電源をオフさせない場合に、ＣＰＵ１１９は、ステップＳ４０２の画像ファイルの選択待機状態に戻る。また、ステップＳ４０７の判定において、カメラの電源をオフさせる場合に、ＣＰＵ１１９は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる（ステップＳ４０８）。この場合には、図９の処理が終了する。
In step S406, if the camera operation mode is not changed, the
図１０は、本発明の第１の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図１０は、動画再生中に主要被写体を強調する演出付加処理を施す例のみの動作を示している。動画再生中に主要被写体を強調する演出付加処理を施すか否かはユーザが自由に設定できるものである。 FIG. 10 is a flowchart showing the operation in the moving image playback mode in the first embodiment of the present invention. Here, FIG. 10 shows an operation only in an example in which an effect adding process for emphasizing the main subject is performed during moving image reproduction. The user can freely set whether or not to perform an effect addition process for emphasizing the main subject during moving image reproduction.
図１０において、ＣＰＵ１１９は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リストを読み込む（ステップＳ５０１）。次に、ＣＰＵ１１９は、被写体リストに記録されている情報から「主人公順位」を特定する（ステップＳ５０２）。
In FIG. 10, the
主人公順位とは、選択された動画ファイルに記録されている動画像に出現する複数の被写体を、主要被写体である可能性の高い順に順位付けしたものである。例えば、撮影者は、主要被写体をフレームの中央領域に配置して撮影を行うことが多い。したがって、中央領域に存在している回数の多い、即ち被写体リストに「３」が記録された回数が多い被写体の主人公順位を高くする。また、撮影者は、主要被写体に合焦するように撮影を行うことが多い。したがって、合焦回数の多い、即ち被写体リストに「丸印」が記録された回数が多い被写体の主人公順位を高くする。 The protagonist rank is a ranking of a plurality of subjects appearing in a moving image recorded in a selected moving image file in order of the possibility of being a main subject. For example, a photographer often places a main subject in a central area of a frame and performs shooting. Therefore, the main character rank of the subject having a large number of times existing in the central area, that is, the number of times “3” is recorded in the subject list is increased. In addition, the photographer often takes a picture so as to focus on the main subject. Therefore, the main character rank of the subject having a large number of focusing times, that is, the number of times that “circle” is recorded in the subject list is increased.
本実施形態では、例えば「３」が記録された回数と「丸印」が記録された回数との合計値が大きい順に順位を付ける。図８の例では、被写体Ａの主人公順位が１位となり、被写体Ｂの主人公順位が２位となり、被写体Ｃの主人公順位が３位となる。本実施形態では主人公順位を３位まで特定する。勿論、これに限るものではない。 In this embodiment, for example, the ranking is performed in descending order of the total value of the number of times “3” is recorded and the number of times “circle” is recorded. In the example of FIG. 8, the main character ranking of subject A is first, the main character ranking of subject B is second, and the main character ranking of subject C is third. In this embodiment, the main character rank is specified up to the third rank. Of course, it is not limited to this.
ここで、上述の例で顔が領域３に存在していた回数を被写体毎に加算している。これに対し、領域１、２に存在していた回数を考慮しても良い。この際、例えば領域３に存在していた場合に３を加算し、領域２に存在していた場合に２を加算し、領域１に存在していた場合に１を加算するようにして合計を求めるようにしても良い。
Here, the number of times the face was present in the region 3 in the above example is added for each subject. On the other hand, the number of times that existed in the
主人公順位を特定した後、ＣＰＵ１１９は、ユーザによって選択された動画像ファイルから表示フレームを読み込む（ステップＳ５０３）。その後、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が１位の被写体（図８の例では被写体Ａ）が存在しているか否かを判定する（ステップＳ５０４）。ステップＳ５０４の判定において、読み込んだ表示フレームに主人公順位が１位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が１位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０５）。
After specifying the protagonist rank, the
また、ステップ５０４の判定において、読み込んだ表示フレームに主人公順位が１位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が２位の被写体（図８の例では被写体Ｂ）が存在しているか否かを判定する（ステップ５０６）。ステップ５０６の判定において、読み込んだ表示フレームに主人公順位が２位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が２位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０７）。
Also, in the determination of
また、ステップ５０６の判定において、読み込んだ表示フレームに主人公順位が２位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が２位の被写体（図８の例では被写体Ｃ）が存在しているか否かを判定する（ステップ５０８）。ステップ５０８の判定において、読み込んだ表示フレームに主人公順位が３位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が３位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０９）。
Also, in the determination of
また、ステップ５０８の判定において、読み込んだ表示フレームに主人公順位が３位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに対して演出付加処理を施すことをせずに表示フレームを表示パネル１０８に再生する（ステップ５１０）。
Also, in the determination in
表示フレームを再生した後、ＣＰＵ１１９は、動画再生を終了するか否かを判定する（ステップＳ５１１）。例えば、動画像ファイルを構成する全フレームの再生が終了したか又はユーザによって動画再生の終了指示がなされた場合に、動画再生を終了すると判定する。ステップＳ５１１の判定において、動画再生を終了しない場合に、ＣＰＵ１１９は、処理をステップＳ５０３に戻して次の表示フレームの読み込みを行う。一方、ステップＳ５１１の判定において、動画再生を終了する場合に、ＣＰＵ１１９は、図１０の処理を終了させて図９の処理に復帰する。
After reproducing the display frame, the
図１１（ａ）は、演出付加処理を施さないように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。演出付加処理を施さないように設定されている場合、主要被写体順位の高い被写体（被写体Ａや被写体Ｂ）が存在している場合であっても、読み込んだ表示フレームがそのまま表示パネル１０８に再生される。
FIG. 11A is a diagram showing an image for each frame that is played back in the moving image playback mode of the present embodiment when it is set not to perform the effect addition process. When it is set not to perform the effect addition process, the read display frame is reproduced as it is on the
これに対し、図１１（ｂ）は、演出付加処理を施すように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。例えば、図１１（ｂ）の１フレーム目のように被写体Ａと被写体Ｂとが同時に存在するような表示フレームでは被写体Ａを拡大するような演出付加処理が施されて表示フレームが再生される。この後、被写体Ａがいなくなると、次は被写体Ｂを拡大するような演出付加処理が施されて表示フレームが再生される。さらに、主要被写体順位が３位までの被写体が表示フレーム中に存在しなくなると、図１１（ａ）と同様の演出付加処理を施さない表示フレームの再生に戻る。 On the other hand, FIG. 11B is a diagram showing an image for each frame that is played back in the moving image playback mode of the present embodiment when it is set to perform the effect adding process. For example, in the display frame in which the subject A and the subject B exist at the same time as in the first frame in FIG. 11B, an effect addition process for enlarging the subject A is performed and the display frame is reproduced. Thereafter, when the subject A disappears, an effect adding process for enlarging the subject B is performed and the display frame is reproduced. Further, when the subject whose main subject ranking is up to the third place no longer exists in the display frame, the display frame reproduction is resumed without performing the same effect addition processing as in FIG.
図１１（ｂ）に示すように、動画像の場合、主要被写体が時間的に変化する可能性がある。第１の実施形態においては、フレーム毎に主要被写体に関する情報を記録した被写体リストを撮影時に生成しておくことにより、再生時にはＣＰＵ１１９にそれほどの負荷をかけることなく、表示フレーム内に存在する被写体を主要被写体である可能性の高い順に順位付けすることが可能である。これにより、時間的に変化し得る主要被写体を適切に推定し、推定した主要被写体を強調するような演出付加処理を施すことが可能である。
As shown in FIG. 11B, in the case of a moving image, there is a possibility that the main subject changes with time. In the first embodiment, by generating a subject list in which information about the main subject is recorded for each frame at the time of shooting, subjects existing in the display frame can be detected without imposing a significant load on the
ここで、上述の被写体リストでは、被写体位置と合焦の有無とを記録しているが、さらに主要被写体を特定するための別の情報を記録するようにしても良い。例えば、女性を優先したり、男性を優先したりするような情報を記録しても良い。
また、演出付加処理も上述したズームアップ（拡大）処理に限るものではない。例えば、図１１（ｃ）に示すような、各表示フレームにおいて主要被写体と考えられる被写体の顔を含む領域の輝度を他の部分に対して高くする輝度変更処理を行っても良い。また、図１１（ｃ）の輝度変更処理は、被写体の顔を含む矩形領域の輝度を変更するようにしているが、図１２に示すような、被写体の顔を含む円形領域の輝度を変更するようにしても良い。このようなスポットライト処理でも主要被写体を強調することが可能である。
Here, in the above-described subject list, the subject position and the presence / absence of focus are recorded, but other information for specifying the main subject may be further recorded. For example, information that gives priority to women or priority to men may be recorded.
Further, the effect addition process is not limited to the zoom-up (enlargement) process described above. For example, as shown in FIG. 11C, luminance change processing for increasing the luminance of the area including the face of the subject considered as the main subject in each display frame relative to other portions may be performed. Further, in the brightness changing process of FIG. 11C, the brightness of the rectangular area including the face of the subject is changed, but the brightness of the circular area including the face of the subject as shown in FIG. 12 is changed. You may do it. It is possible to emphasize the main subject even with such spotlight processing.
この他、領域の輝度ではなく、領域の彩度を変更するようにしても良い。また、被写体のコントラスト（輪郭）を強調したり、逆に輪郭をぼかすソフトフォーカス処理を施すようにしても良い。
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態は、フレームの中央に存在する被写体や合焦している被写体といった、主に撮影者としてのユーザが考える主要被写体を特定するようにしている。しかしながら、動画像を視聴するユーザや視聴するときの気分等で、同じ動画像であっても主要とする被写体が変わる可能性もある。この場合には、動画像を視聴しているユーザが考えている主要被写体と撮影者が考えている主要被写体とが異なる可能性もある。第２の実施形態は、動画像を視聴する人が考えている主要被写体も特定可能とした例である。ここで、第２の実施形態は、動画再生モードの動作以外は第１の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
In addition, the saturation of the region may be changed instead of the luminance of the region. Alternatively, soft focus processing may be performed to enhance the contrast (contour) of the subject or conversely blur the contour.
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment described above, main subjects considered mainly by the user as a photographer, such as a subject existing in the center of the frame or a focused subject, are specified. However, depending on the user viewing the moving image, the mood when viewing, etc., the main subject may change even if the same moving image. In this case, there is a possibility that the main subject considered by the user viewing the moving image is different from the main subject considered by the photographer. The second embodiment is an example in which a main subject considered by a person viewing a moving image can also be specified. Here, the second embodiment is the same as the first embodiment except for the operation in the moving image playback mode. Therefore, descriptions of operations other than the camera configuration and the moving image playback mode are omitted.
図１３は、本発明の第２の実施形態における動画再生モードの動作を示すフローチャートである。図１３において、ＣＰＵ１１９は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リスト及び顔画像サムネイルデータを読み込む（ステップＳ６０１）。
FIG. 13 is a flowchart showing the operation in the moving image playback mode in the second embodiment of the present invention. In FIG. 13, the
次に、ＣＰＵ１１９は、手動で主人公順位を設定するように指定されているか否かを判定する（ステップＳ６０２）。ここで、手動で主人公順位を設定するか否かは例えば動画像の視聴者であるユーザが適宜指定できるものである。
ステップＳ６０２の判定において、手動で主人公順位を設定するように指定されている場合、ＣＰＵ１１９は、表示駆動回路１０７を制御して、図１４に示すような顔画像サムネイルの選択画面を表示パネル１０８に表示させる（ステップＳ６０３）。ここで、図１４は、被写体リストの生成処理の結果、３人分の顔画像サムネイルデータが記録された場合（被写体リストに３人分の情報が記録されている場合）の顔画像サムネイルの選択画面の例である。図１４のような顔画像サムネイルの選択画面を表示させた後、ＣＰＵ１１９は、表示パネル１０８に表示されている顔画像サムネイルのユーザからの選択を待つべく、待機状態となる（ステップＳ６０４）。ユーザからの選択を受けて、ＣＰＵ１１９は、主人公順位を特定する。
Next, the
If it is determined in step S602 that the main character rank is manually set, the
また、ステップＳ６０２の判定において、手動で主人公順位を設定するように指定されていない場合、ＣＰＵ１１９は、第１の実施形態と同様にして被写体リストから主人公順位を特定する（ステップＳ６０５）。
ステップＳ６０６〜Ｓ６１４の動作は、図１０のステップＳ５０３〜ステップＳ５１１の動作と同様であるので説明を省略する。
In the determination in step S602, if it is not designated to manually set the main character rank, the
The operations in steps S606 to S614 are the same as the operations in steps S503 to S511 in FIG.
以上説明したような第２の実施形態によれば、撮影者の意図する主要被写体だけでなく、動画像を視聴する視聴者の意図も反映して主要被写体を特定することが可能である。これにより、時間的に主要被写体が変化し得る動画像においてより適切に主要被写体を特定することが可能である。 According to the second embodiment as described above, it is possible to specify the main subject reflecting not only the main subject intended by the photographer but also the intention of the viewer viewing the moving image. Accordingly, it is possible to more appropriately identify the main subject in the moving image in which the main subject can change with time.
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。上述の第１及び第２の実施形態においては、フレーム中の主要被写体に対して特定の演出付加処理を施すようにしている。実際には、被写体の状態に応じて適切な演出付加処理を施すことが望ましい。第３の実施形態は、被写体の状態に応じて複数の演出付加処理を使い分ける例である。ここで、第３の実施形態は、動画再生モードの動作以外は第１の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the first and second embodiments described above, a specific effect addition process is performed on the main subject in the frame. Actually, it is desirable to perform an appropriate effect addition process according to the state of the subject. The third embodiment is an example in which a plurality of effect addition processes are selectively used according to the state of the subject. Here, the third embodiment is the same as the first embodiment except for the operation in the moving image playback mode. Therefore, descriptions of operations other than the camera configuration and the moving image playback mode are omitted.
図１５は、本発明の第３の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図１５は、ステップＳ７１８、Ｓ７２０、Ｓ７２２における演出付加処理がズームアップ処理ではなく、図１６に示す演出付加処理である点のみが図１０と異なっている。したがって、図１５の説明は省略する。 FIG. 15 is a flowchart showing the operation in the moving image playback mode according to the third embodiment of the present invention. Here, FIG. 15 is different from FIG. 10 only in that the effect adding process in steps S718, S720, and S722 is not the zoom-up process but the effect adding process shown in FIG. Therefore, the description of FIG. 15 is omitted.
図１６は、図１５のステップＳ７１８、Ｓ７２０、Ｓ７２２における演出付加処理について示すフローチャートである。図１６において、ＣＰＵ１１９は、演出付加被写体（ステップＳ７１８の場合には主人公順位が１位の被写体、ステップＳ７２０の場合には主人公順位が２位の被写体、ステップＳ７２２の場合には主人公順位が３位の被写体）の現在の表示フレームに対応した合焦情報を被写体リストから取得する（ステップＳ８０１）。そして、ＣＰＵ１１９は、取得した合焦情報から、演出付加被写体が合焦しているか否かを判定する（ステップＳ８０２）。
FIG. 16 is a flowchart showing the effect addition processing in steps S718, S720, and S722 of FIG. In FIG. 16, the
ステップＳ８０２の判定において、演出付加被写体が合焦している場合に、ＣＰＵ１１９は、演出付加被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ８０３）。その後、ＣＰＵ１１９は、図１６の処理を終了させて図１５の処理に復帰する。一方、ステップＳ８０４の判定において、演出付加被写体が合焦していない場合に、ＣＰＵ１１９は、演出付加被写体に対してスポットライト処理を施し、スポットライト処理を施した表示フレームを表示パネル１０８に再生する（ステップ８０４）。その後、ＣＰＵ１１９は、図１６の処理を終了させて図１５の処理に復帰する。
If it is determined in step S802 that the effect-added subject is in focus, the
以上説明したような第３の実施形態によれば、フレーム毎に記録されている合焦情報から、合焦していない被写体に対してはズームアップ処理を施さないようにしている。これにより、合焦していない不鮮明な像が拡大されてしまう可能性を低減することが可能である。ここで、図１６の例では、ズームアップ処理とスポットライト処理との間での切り替えであるが、その他の組み合わせであっても良い。 According to the third embodiment as described above, zoom-in processing is not performed on a subject that is not in focus, based on the focus information recorded for each frame. Thereby, it is possible to reduce the possibility that an unfocused unclear image will be enlarged. Here, in the example of FIG. 16, the switching is between zoom-up processing and spotlight processing, but other combinations may be used.
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した各実施形態においては、画像記録装置と画像再生装置の両方を１つのデジタルカメラに設けている例を示している。しかしながら、各実施形態に係る画像記録装置と画像再生装置とは別体としても良い。また、画像再生装置は動画像の再生機能があれば良く、必ずしもデジタルカメラである必要はない。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, in each of the above-described embodiments, an example in which both an image recording apparatus and an image reproduction apparatus are provided in one digital camera is shown. However, the image recording apparatus and the image reproduction apparatus according to each embodiment may be separated. In addition, the image reproducing apparatus only needs to have a moving image reproducing function, and is not necessarily a digital camera.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１０１…レンズ、１０２…アクチュエータ、１０３…アクチュエータ駆動回路、１０４…撮像素子、１０５…撮像回路、１０６…フレームメモリ（ＳＤＲＡＭ）、１０７…表示駆動回路、１０８…表示パネル、１０９…バックライトユニット、１１０…映像信号出力回路、１１１…映像信号出力端子、１１２…記録媒体、１１３…発光回路（フラッシュ）、１１４…手ブレ補正用ジャイロセンサ、１１５…ステレオマイクロホン（ステレオマイク）、１１６…スピーカー、１１７…ＥＥＰＲＯＭ（ＦｌａｓｈＲＯＭ）、１１８…キーマトリクス、１１９…ＣＰＵ、１２０…電源回路、１２１…電池、１２２…電池状態検出回路、１２３…バックアップ電源、２００…外部画像表示装置
DESCRIPTION OF
Claims (13)
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
を具備することを特徴とする画像記録装置。 An image acquisition unit for acquiring moving image data including a plurality of frames;
An image analysis unit for analyzing information on a main subject in each frame of the moving image data;
A subject list generation unit for generating a subject list in which information on the analyzed main subject is recorded for each frame;
A recording unit for recording the subject list in association with the moving image data;
An image recording apparatus comprising:
前記被写体リストは、前記それぞれのフレームにおいて認識された被写体の顔の位置を示す情報を含むことを特徴とする請求項１に記載の画像記録装置。 A face recognition unit for recognizing the face of the subject in each frame of the moving image data;
The image recording apparatus according to claim 1, wherein the subject list includes information indicating a face position of a subject recognized in each of the frames.
前記記録部は、前記抽出された顔の画像をさらに前記被写体リストと関連付けて記録することを特徴とする請求項２乃至４の何れか１項に記載の画像記録装置。 The subject list generation unit determines whether or not the face of the recognized subject is an already recognized face. If the face is not an already recognized face, an image of the unrecognized face is obtained. Extracted from the frame,
5. The image recording apparatus according to claim 2, wherein the recording unit further records the extracted face image in association with the subject list. 6.
前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を具備することを特徴とする画像再生装置。 An image acquisition unit for acquiring moving image data including a plurality of frames;
A subject list acquisition unit for acquiring a subject list in which information on a main subject is recorded for each frame of the moving image data;
A main subject determination unit for determining whether or not a main subject appears according to the subject list for each frame;
An image processing unit that performs an effect addition process for emphasizing the main subject in a frame in which the main subject appears;
A reproduction control unit that reproduces the frame subjected to the effect addition process;
An image reproducing apparatus comprising:
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の位置を判別し、顔の位置が前記フレームの中央領域に位置している回数の多い被写体を主要被写体と判別することを特徴とする請求項６に記載の画像再生装置。 In the subject list, information on the position of the face of the subject in each frame is recorded,
The main subject discriminating unit discriminates the position of the face in each frame from the subject list, and discriminates a subject having a large number of times that the face position is located in the central region of the frame as the main subject. The image reproducing apparatus according to claim 6.
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している回数の多い被写体を主要被写体と判別することを特徴とする請求項６又は７に記載の画像再生装置。 In the subject list, information indicating whether or not the subject's face is focused in each frame is recorded,
The main subject determination unit determines whether or not the face in each frame is in focus from the subject list, and determines a subject that is frequently focused as a main subject. 8. The image reproducing device according to 7.
前記主要被写体判別部は、前記主要被写体指定部によって指定された被写体を主要被写体と判別することを特徴とする請求項６に記載の画像再生装置。 A main subject designating unit for designating the main subject by manual operation;
The image reproducing apparatus according to claim 6, wherein the main subject determining unit determines that the subject specified by the main subject specifying unit is a main subject.
前記画像処理部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分を拡大する処理を行い、合焦していない主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分の輝度を上げて他の部分の輝度を下げる処理を行うことを特徴とする請求項６乃至９の何れか１項に記載の画像再生装置。 In the subject list, information indicating whether or not the subject's face is focused in each frame is recorded,
The image processing unit determines whether or not the face in each frame is in focus from the subject list, and the main subject in focus is a portion determined as the main subject in the frame as the effect adding process. The main subject that is not in focus is subjected to processing for increasing the luminance of the portion determined as the main subject in the frame and decreasing the luminance of the other portion as the effect adding processing. The image reproducing device according to claim 6.
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を有することを特徴とする画像記録再生システム。 An image acquisition unit for acquiring moving image data including a plurality of frames;
An image analysis unit for analyzing information on a main subject in each frame of the moving image data;
A subject list generation unit for generating a subject list in which information on the analyzed main subject is recorded for each frame;
A recording unit for recording the subject list in association with the moving image data;
A main subject determination unit for determining whether or not a main subject appears according to the subject list for each frame;
An image processing unit that performs an effect addition process for emphasizing the main subject in a frame in which the main subject appears;
A reproduction control unit that reproduces the frame subjected to the effect addition process;
An image recording / reproducing system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011054352A JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011054352A JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012191503A true JP2012191503A (en) | 2012-10-04 |
Family
ID=47084174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011054352A Withdrawn JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012191503A (en) |
-
2011
- 2011-03-11 JP JP2011054352A patent/JP2012191503A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060256203A1 (en) | Image sensing apparatus and its control method | |
| US10205872B2 (en) | Display control apparatus and method for controlling the same | |
| KR20120081516A (en) | Digital photographing apparatus and control method thereof | |
| JP3976316B2 (en) | Image playback device | |
| KR20120083085A (en) | Digital photographing apparatus and control method thereof | |
| JP2012065129A (en) | Imaging apparatus | |
| JP2007266659A (en) | Imaging reproducing apparatus | |
| KR20110020518A (en) | Method and apparatus for determining shaken image using auto focusing | |
| KR20130031176A (en) | Display apparatus and method | |
| JP2007325152A (en) | Imaging device, and program thereof | |
| WO2011021445A1 (en) | Image processing apparatus and image processing method | |
| KR20080112866A (en) | Method of controlling digital image processing apparatus wherein moving-picture photographing mode is performed, and digital image processing apparatus adopting the method | |
| US9197815B2 (en) | Image management apparatus and image management method | |
| JP4743264B2 (en) | Recording / playback device | |
| US10410674B2 (en) | Imaging apparatus and control method for combining related video images with different frame rates | |
| JP2012191503A (en) | Image recorder, image reproducer and image recording/reproduction system | |
| JP5593652B2 (en) | Camera and movie playback program | |
| JP2012156750A (en) | System for automatic setting of preference degree | |
| JP2012010358A (en) | Three-dimensional imaging apparatus and three-dimensional image display method | |
| JP2011234180A (en) | Imaging apparatus, reproducing device, and reproduction program | |
| JP2010187111A (en) | Image capturing apparatus | |
| JP2008244976A (en) | Imaging device, and method and program for recording photographic image | |
| JP2015192336A (en) | Image processing device and digital camera | |
| JP2016129313A (en) | Stream recording device and control method for stream recording device | |
| JP2020141189A (en) | Imaging apparatus and control method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |