JP2012191503A - Image recorder, image reproducer and image recording/reproduction system - Google Patents
Image recorder, image reproducer and image recording/reproduction system Download PDFInfo
- Publication number
- JP2012191503A JP2012191503A JP2011054352A JP2011054352A JP2012191503A JP 2012191503 A JP2012191503 A JP 2012191503A JP 2011054352 A JP2011054352 A JP 2011054352A JP 2011054352 A JP2011054352 A JP 2011054352A JP 2012191503 A JP2012191503 A JP 2012191503A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- frame
- main subject
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像を記録する画像記録装置、動画像を再生する画像再生装置、及びこれらを有する画像記録再生システムに関する。 The present invention relates to an image recording apparatus for recording a moving image, an image reproducing apparatus for reproducing a moving image, and an image recording / reproducing system including these.
従来、撮影時における主要被写体を検出する技術が知られている。例えば、特許文献1においては、撮影者の視線位置や画面内の肌色部分を検出することによって、撮影時における主要被写体の位置を検出している。特許文献1では、主要被写体の位置情報を記録しておくことにより、主要被写体の位置情報を再生時に利用することが可能である。例えば、特許文献1では、例えばラボによるプリント時に主要被写体の明るさを適正とするようにプリントすることが可能となる。また、主要被写体の位置情報を利用することにより、再生時において主要被写体に対して特殊な演出効果を与えることも可能である。
Conventionally, a technique for detecting a main subject at the time of photographing is known. For example, in
撮影する画像が静止画像であれば、例えばAF合焦ポイントから容易に主要被写体を推定することができる。これに対し、撮影する画像が動画像の場合には時間とともに主要被写体が変わる可能性がある。
本発明は、上記の事情に鑑みてなされたもので、動画像で時間とともに主要被写体が変わっても主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、また、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することを目的とする。
If the image to be captured is a still image, the main subject can be easily estimated from, for example, the AF focus point. On the other hand, when the image to be shot is a moving image, the main subject may change with time.
The present invention has been made in view of the above circumstances, and an image recording apparatus capable of correctly estimating a main subject and recording information on the main subject even if the main subject changes with time in a moving image, An object of the present invention is to provide an image reproducing apparatus capable of performing effective image processing on a main subject that changes with time in a moving image and reproducing it, and an image recording / reproducing system having the same.
上記の目的を達成するために、本発明の第1の態様の画像記録装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、を具備することを特徴とする。 In order to achieve the above object, an image recording apparatus according to a first aspect of the present invention relates to an image acquisition unit that acquires moving image data including a plurality of frames, and a main subject in each frame of the moving image data. An image analysis unit that analyzes information, a subject list generation unit that generates a subject list in which information on the analyzed main subject is recorded for each frame, and a recording unit that records the subject list in association with the moving image data; It is characterized by comprising.
また、上記の目的を達成するために、本発明の第2の態様の画像再生装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、前記被写体リストに従って主要被写体が出現するタイミングを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を具備することを特徴とする。 In order to achieve the above object, an image reproduction device according to the second aspect of the present invention includes an image acquisition unit that acquires moving image data including a plurality of frames, and each frame of the moving image data. A subject list acquisition unit that acquires a subject list in which information on the main subject is recorded; a main subject determination unit that determines a timing at which a main subject appears according to the subject list; and a frame in which the main subject appears An image processing unit that performs an effect addition process for emphasizing a main subject, and a reproduction control unit that reproduces the frame that has been subjected to the effect addition process.
また、上記の目的を達成するために、本発明の第3の態様の画像記録再生システムは、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を有することを特徴とする。 In order to achieve the above object, an image recording / reproducing system according to a third aspect of the present invention includes an image acquisition unit that acquires moving image data including a plurality of frames, and a frame in each frame of the moving image data. An image analysis unit that analyzes information about the main subject, a subject list generation unit that generates a subject list in which the analyzed information about the main subject is recorded for each frame, and the subject list is recorded in association with the moving image data. A recording unit, a main subject determination unit that determines whether or not a main subject appears according to the subject list for each frame, and an effect addition process for emphasizing the main subject in a frame in which the main subject appears An image processing unit; and a reproduction control unit that reproduces the frame subjected to the effect addition process. To.
本発明によれば、動画像であっても時間とともに変化する主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することができる。 According to the present invention, an image recording apparatus capable of correctly estimating a main subject that changes with time even in a moving image and recording information of the main subject, and a main subject that changes with time in a moving image. In addition, it is possible to provide an image reproducing apparatus capable of performing effective image processing and reproducing the image, and an image recording / reproducing system including the same.
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
図1は、本発明の各実施形態に係る画像記録装置及び画像再生装置を有する画像記録再生システムの一例としてのデジタルカメラの構成を示すブロック図である。図1に示すデジタルカメラ(カメラ)は、レンズ101と、アクチュエータ102と、アクチュエータ駆動回路103と、撮像素子104と、撮像回路105と、フレームメモリ(SDRAM)106と、表示駆動回路107と、表示パネル108と、バックライトユニット109と、映像信号出力回路110と、映像信号出力端子111と、記録媒体112と、発光回路(フラッシュ)113と、手ブレ補正用ジャイロセンサ114と、ステレオマイクロホン(ステレオマイク)115と、スピーカー116と、EEPROM(FlashROM)117と、キーマトリクス118と、CPU119と、電源回路120と、電池121と、電池状態検出回路122と、バックアップ電源123と、を有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a digital camera as an example of an image recording / reproducing system having an image recording apparatus and an image reproducing apparatus according to each embodiment of the present invention. A digital camera (camera) illustrated in FIG. 1 includes a
レンズ101は、図示しない被写体の像(被写体像)を撮像素子104の受光面上に結像させるための光学系である。このレンズ101は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。
アクチュエータ102は、モータ等を有し、アクチュエータ駆動回路103からの駆動信号に従ってレンズ101内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞りを開閉駆動させたりする。また、アクチュエータ102は、アクチュエータ駆動回路103からの駆動信号に従って、撮像素子104をその受光面と平行な平面内で移動させる。
The
The
撮像素子104は、フォトダイオード等で構成された受光面を有している。この撮像素子104は、レンズ101を介して受光面上に結像された被写体の像を電気信号(画像信号)に変換する。撮像素子の駆動方式としてはCCD方式を用いても、CMOS方式を用いても良い。撮像素子104の駆動はCPU119によって制御される。
The
撮像回路105は、撮像素子104により得られた画像信号に対してCDS(相関二重サンプリング)処理やAGC(自動利得制御)処理等のアナログ処理を施す。さらに、撮像回路105は、アナログ処理した画像信号をデジタル信号(画像データ)に変換することも行う。AGC処理の際のゲイン量等はCPU119によって指示される。撮像素子104と撮像回路105とは、後述のCPU119とともに画像取得部の一例として機能する。
The
SDRAM106は、撮像回路105で得られた画像データを一時的に保管する機能を有している。この他、SDRAM106は、CPU119による処理中のデータ等の各種データを一時的に保管する。
表示駆動回路107は、SDRAM106に保管されている画像データに基づく画像や記録媒体112に記録されている画像データに基づく画像を表示パネル108に表示させるように表示パネル108を駆動する。表示パネル108は、例えば液晶パネルである。この表示パネル108は、表示駆動回路107によって駆動されて各種の画像を表示する。バックライトユニット109は、表示パネル108が液晶パネルの場合に設けられるものである。このバックライトユニット109は、CPU119の制御に従って液晶パネルのバックライトを発光させる。映像信号出力回路110は、SDRAM106に保管されている画像データや記録媒体112に記録されている画像データを、映像信号出力端子111を介して例えばテレビジョン受像機(TV)等の外部画像表示装置200に出力させる。映像信号出力端子111は、コンポジット映像端子やHDMI(登録商標)端子等の映像信号出力端子である。
The SDRAM 106 has a function of temporarily storing image data obtained by the
The display driving circuit 107 drives the
記録媒体112は、例えばFlashメモリ等であって、例えばCPU119の画像圧縮伸長機能1237を用いて得られた画像ファイルを記録する。記録媒体112は、カメラに内蔵するようにしても良いし、カメラに対して着脱自在に構成するようにしても良い。
The
フラッシュ113は、フラッシュ充電用のコンデンサやフラッシュの発光回路等を備えており、CPU119の制御に従って発光する。フラッシュ113は、例えば低輝度時や逆光時において発光されるものであり、この発光によって被写体を照明する。
手ブレ補正用ジャイロセンサ114は、カメラの互いに直交する3軸方向の振動をカメラの手ブレとして検出するジャイロセンサである。手ブレ補正用ジャイロセンサ114によって検出される手ブレの影響を打ち消すように、撮像素子104を移動させることにより、カメラの手ブレによって生じる画像ブレが軽減される。
The
The camera shake
ステレオマイク115は、一対のマイクロホンを有しており、外部から入力されたステレオ音声を電気信号(音声信号)に変換する。例えば、動画像の撮影時においては、撮像素子104による画像信号の取得と並行してステレオマイク115による音声信号の取得が行われる。この音声信号は、デジタル化された後、画像データとともに1つの動画ファイルとして記録媒体112に記録される。スピーカー116は、記録媒体112に記録された音声データに基づく音声を出力する。
The
FlashROM117は、被写体管理情報の記憶機能1171と、カメラの駆動情報の記憶機能1172と、を主に有する電気的に情報を書き込み及び消去可能な記憶媒体である。ここで、被写体管理情報の記憶機能1171とは、後述する被写体リストの生成に必要な情報を記憶しておく機能である。この被写体リストの生成に必要な情報とは、顔の特徴量情報等である。カメラの駆動情報の記憶機能1172とは、撮影動作時の設定、画像処理設定、カメラの各ブロックの動作設定といった設定情報、撮像素子104やレンズ101の特性情報、カメラの動作に必要な処理プログラムといったカメラの各種の動作に必要な情報、及び撮影動作時の撮影条件等の、各種のカメラの駆動情報を記憶しておく機能である。
The
キーマトリクス118は、ボタンやスイッチ等の、ユーザの操作に応じて操作信号をCPU119に出力する各種の操作部材である。キーマトリクス118には、レリーズボタン1181や動画ボタン1182が含まれている。レリーズボタン1181は、ユーザが静止画撮影の実行を指示するためのボタンであり、動画ボタン1182は、ユーザが動画撮影の実行を指示するためのボタンである。この他、キーマトリクス118としては、カメラの動作モードや各種メニュー項目の選択、カメラの電源のオン/オフ切り替え等を行うための操作部材も含まれる。
The
CPU119は、システムコントロール機能1231と、画像記録・再生機能1232と、顔検出・認識機能1233と、顔サムネイル生成・管理機能1234と、画像処理機能1235と、記録媒体アクセス機能1236と、画像圧縮伸長機能1237と、を主に有している。
The
システムコントロール機能1231は、FlashROM117に記憶されている処理プログラムに従って、カメラの各ブロックの動作を制御する機能である。ここで、本実施形態におけるシステムコントロール機能1231としては、さらに、合焦判定機能1231aと、被写体リスト管理機能1231bと、ファイル生成・管理機能1231cと、演出タイミング管理機能1231dと、が含まれている。合焦判定機能1231aとは、撮影により得られた画像データ(静止画像データ又は動画像データ)中に合焦している被写体が存在しているか否かを判定し、合焦被写体が存在している場合にはその位置を検出する機能である。ここで、動画データについては、動画像データのフレーム毎に合焦被写体の有無を判定する。画像解析部及び被写体リスト生成部の一例としての被写体リスト管理機能1231bは、合焦判定機能1231aによる判定結果や顔検出・認識機能1233による認識結果といった画像データの解析結果を用いて被写体リストを生成し、生成した被写体リストをFlashROM117に記録して管理する機能である。この被写体リスト管理機能1231bの詳細については後述する。記録部の一例としてのファイル生成・管理機能1231cは、画像圧縮伸長機能1237によって圧縮された画像データから画像ファイル(静止画ファイル又は動画ファイル)を生成し、生成した画像ファイルを記録媒体112に記録して管理する機能である。被写体リスト取得部及び主要被写体判別部の一例としての演出タイミング管理機能1231dは、画像の再生時において、被写体リストを読み込み、読み込んだ被写体リストから画像内に主要被写体が出現しているか否かを判別することによって、画像内の主要被写体に対して所定の演出効果を施すタイミングを管理する機能である。この演出タイミング管理機能1231dの詳細については後述する。
The
画像記録・再生機能1232は、撮影により得られた画像データに従って生成された画像ファイルを記録するために記録媒体112を制御するとともに、記録媒体112に記録されている画像ファイルを再生するために表示駆動回路107を制御する機能である。
The image recording /
顔検出・認識機能1233は、画像データ中の顔を検出し、検出した顔が予め登録されている特定の顔であることを認識する機能である。顔検出は、周知の特徴点検出によって行うことが可能である。また、顔認識は、顔と推定される特徴点の特徴量(形状や色、配置等)を、予め登録してある顔の特徴量と比較することで行うことができる。この比較を行うため、FlashROM117の被写体管理情報として、複数の顔の特徴量の情報が登録されている。この顔の特徴量は、ユーザが自由に登録することが可能である。
The face detection /
顔サムネイル生成・管理機能1234は、顔検出・認識機能1233によって認識された画像データ中の顔を抽出して顔画像のサムネイルデータ(顔サムネイル画像データ)を生成し、生成した顔サムネイル画像データを被写体リストに記録して管理する機能である。
The face thumbnail generation /
画像処理機能1235は、記録媒体112に記録する画像データに対してガンマ補正等の画像処理を施す機能である。さらに、本実施形態における画像処理機能1235は、表示パネル108に再生する画像データに所定の演出効果を与えるための演出付加処理を施す機能も含む。この演出付加処理としては、例えば拡大(ズームアップ)処理やスポットライト処理等がある。
The
記録媒体アクセス機能1236は、記録媒体112にアクセスしてデータの書き込み又は読み出しを行う機能である。画像圧縮伸長機能1237は、撮像素子104を介して得られた画像データをJPEG形式やMPEG形式等の所定の形式で圧縮したり、圧縮された画像データを伸長したりする機能である。
The recording
電源回路120は、電池121やバックアップ電源123の電圧をカメラの各ブロックが必要とする電圧に変換する回路である。電池121は、カメラの電源電圧を供給するための例えば2次電池である。電池状態検出回路122は、電池121の電圧を測定することによって電池121の残量を検出する回路である。バックアップ電源123は、電池121の残量が不足した際等に用いられるバックアップ用の電源である。
The
以下、カメラの動作について説明する。まず、カメラの撮影モードの動作について、図2を参照して説明する。図2の動作は、カメラの動作モードが撮影モードのときに電源がオンされた場合やカメラの動作モードが撮影モードに変更された場合等に開始される。図2において、CPU119は、まず、初期化処理を行う(ステップS101)。初期化処理として、CPU119は、レンズ101や撮像素子104の位置を初期位置に復帰させたり、内部のレジスタを初期化したりする処理を行う。
Hereinafter, the operation of the camera will be described. First, the operation in the shooting mode of the camera will be described with reference to FIG. The operation of FIG. 2 is started when the power is turned on when the camera operation mode is the shooting mode, or when the camera operation mode is changed to the shooting mode. In FIG. 2, the
初期化処理の後、CPU119は、スルー画表示の後、撮影待機状態となる(ステップS102)。スルー画表示処理として、CPU119は、撮像素子104を連続動作させる。そして、CPU119は、表示駆動回路107を制御して、撮像素子104の連続動作によって逐次得られる画像データに対応した画像を表示パネル108に表示させる。このようなスルー画表示処理により、ユーザは、表示パネル108に表示された画像に基づいて構図の決定等を行うことが可能である。
After the initialization process, the
撮影待機状態に移行した後、CPU119は、キーマトリクス118のレリーズボタン1181又は動画ボタン1182が押されたか否かを判定する(ステップS103)。ステップS103の判定において、レリーズボタン1181又は動画ボタン1182が押された場合に、CPU119は、撮影動作を実行する(ステップS104)。この撮影動作については後述する。
After shifting to the shooting standby state, the
ステップS103においてレリーズボタン1181と動画ボタン1182の何れも押されていない場合、又はステップS104の撮影動作の後、CPU119は、カメラの電源をオフさせるか否かを判定する(ステップS105)。例えば、ユーザによってカメラの電源のオフ操作がなされた場合や、無操作状態が所定時間継続された場合に、カメラの電源をオフさせる。ステップS105の判定において、カメラの電源をオフさせない場合に、CPU119は、ステップS102の撮影待機状態に戻る。また、ステップS105の判定において、カメラの電源をオフさせる場合に、CPU119は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる(ステップS106)。この場合には、図2の処理が終了する。
If neither the release button 1181 nor the moving
図3は、撮影動作の処理の詳細を示すフローチャートである。撮影動作の処理の開始後、CPU119は、図2のステップS103においてユーザによって押されたボタンがレリーズボタン1181であるか否かを判定する(ステップS201)。
ステップS201の判定において、ユーザによって押されたボタンがレリーズボタン1181である場合に、CPU119は、静止画撮影を実行する(ステップS202)。静止画撮影において、CPU119は、合焦処理を行ってレンズ101のフォーカスレンズを合焦位置に駆動させたり、必要に応じてズーム処理を行ってレンズ101のズームレンズを駆動させたりする。また、CPU119は、レンズ101の合焦処理と並行して、撮影動作の実行時の露出条件(絞りの開放量、撮像素子104の露光時間・感度)をシーンモードや被写体輝度等に応じて決定する。その後、CPU119は、決定した露出条件に従って、撮像素子104による撮像を実行させる。この際、必要に応じてフラッシュ113を発光させる。撮像素子104による撮像によって得られた画像データはSDRAM106に記憶される。
FIG. 3 is a flowchart showing details of processing of the photographing operation. After the start of the photographing operation process, the
If it is determined in step S201 that the button pressed by the user is the release button 1181, the
静止画撮影の後、CPU119は、顔認識処理を行う(ステップS203)。顔認識処理において、CPU119は、静止画撮影によってSDRAM106に記憶されている画像データを読み出し、読み出した画像データにおける顔を検出する。その後、CPU119は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、CPU119は、顔認識結果等を用いて被写体リストを生成する(ステップS204)。被写体リストの生成処理の詳細については後述する。
After still image shooting, the
被写体リストの生成後、CPU119は、ステップS202において得られた画像データに対してガンマ補正等の画像処理を施し、また、CPU119は、画像処理を施した画像データに対してJPEG方式等の静止画圧縮処理を施す。その後、CPU119は、静止画圧縮処理後の画像データに、ステップS202における撮影条件を示す撮影情報とステップS204で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル(静止画ファイル)を生成する(ステップS205)。
After generating the subject list, the
また、ステップS201の判定において、ユーザによって押されたボタンがレリーズボタン1181でない、即ち動画ボタン1182である場合に、CPU119は、動画撮影を開始させる(ステップS206)。動画撮影の開始時においても、CPU119は、合焦処理や露出条件の設定をした後、撮像素子104による撮像を開始させる。また、CPU119は、撮像素子104による撮像の開始と同期してステレオマイク115を動作させて音声データの取得を開始させる。動画撮影が開始され、動画像データを構成する1フレームの撮像が終了した後、CPU119は、顔認識処理を行う(ステップS207)。顔認識処理において、CPU119は、撮像によってSDRAM106に記憶されている現フレームの画像データを読み出し、読み出した画像データにおける顔を検出する。その後、CPU119は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、CPU119は、顔認識結果等を用いて被写体リストを生成(又は更新)する(ステップS208)。被写体リストの生成処理の詳細については後述する。
If it is determined in step S201 that the button pressed by the user is not the release button 1181, that is, the moving
被写体リストの生成又は更新後、CPU119は、動画ボタン1182が押されたか否かを判定する(ステップS209)。ステップS209の判定において、動画ボタン1182が押されていない場合に、CPU119は、処理をステップS207に戻して、動画撮影を継続する。一方、ステップS209の判定において、動画ボタン1182が押された場合に、CPU119は、撮像素子104の動作を停止させる等の動画撮影を終了させるための処理を行う(ステップS210)。その後、CPU119は、SDRAM106に逐次記憶された画像データに対してガンマ補正等の画像処理を施す。また、CPU119は、SDRAM106に逐次記憶された音声データに対して音声処理を施す。その後、CPU119は、画像データ及び音声データに対してMPEG方式等の圧縮処理を施す。そして、CPU119は、圧縮処理後の画像データに音声データをマージし、さらにステップS206における撮影条件を示す撮影情報とステップS208で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル(動画ファイル)を生成する(ステップS211)。
After generating or updating the subject list, the
ステップS205又はステップS211において、画像ファイルを生成した後、CPU119は、生成した画像ファイルを記録媒体112に記録する(ステップS212)。その後、CPU119は、図3の処理を終了させて図2の処理に復帰する。
図4は、画像ファイルの構造例を示す図である。図4に示すように、画像ファイルは、ヘッダ情報部と、画像データ部とに分かれている。
ヘッダ情報部には、上述した撮影情報や被写体リストといった各種の情報が記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影に対応した撮影情報が記録される。また、画像ファイルが動画ファイルの場合には動画撮影に対応した撮影情報が記録される。さらに、本実施形態においては、ヘッダ情報部に、被写体リストの生成の際に生成される顔画像サムネイルデータも記録される。
画像データ部には、画像データが主に記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影時には静止画像データが圧縮されて記録される。一方、画像ファイルが動画ファイルの場合には動画像データと音声データとがそれぞれ圧縮されて記録される。
図4に示すような形式で画像ファイルを生成することで、被写体リストを画像データと関連付けて記録することが可能である。
After generating the image file in step S205 or step S211, the
FIG. 4 is a diagram illustrating a structure example of an image file. As shown in FIG. 4, the image file is divided into a header information part and an image data part.
Various information such as the above-described shooting information and subject list is recorded in the header information section. Here, when the image file is a still image file, shooting information corresponding to still image shooting is recorded. When the image file is a moving image file, shooting information corresponding to moving image shooting is recorded. Furthermore, in the present embodiment, face image thumbnail data generated when the subject list is generated is also recorded in the header information section.
In the image data portion, image data is mainly recorded. Here, when the image file is a still image file, still image data is compressed and recorded at the time of still image shooting. On the other hand, when the image file is a moving image file, moving image data and audio data are respectively compressed and recorded.
By generating an image file in a format as shown in FIG. 4, the subject list can be recorded in association with the image data.
図5は、被写体リスト生成処理について示すフローチャートである。ここで、図5の処理は、静止画撮影時であっても動画撮影時であっても実行されるものである。しかしながら、以下の説明においては特に動画撮影時の被写体リスト生成処理について説明する。 FIG. 5 is a flowchart showing subject list generation processing. Here, the processing of FIG. 5 is executed both during still image shooting and during moving image shooting. However, in the following description, a subject list generation process at the time of moving image shooting will be described.
図5において、CPU119は、撮像素子104を介して取得された画像データにおいて、予め登録してある顔が認識できたか否かを判定する(ステップS301)。
ステップS301の判定において、予め登録してある顔が認識できた場合に、CPU119は、その認識した顔の位置(座標)を判別するとともに、その認識した顔に対する合焦の有無を判別する(ステップS302)。顔の位置及び合焦の有無を判別した後、CPU119は、ステップS301で認識した顔が、被写体リスト生成処理を開始してから既に認識している顔であるか否かを判定する(ステップS303)。
In FIG. 5, the
If it is determined in step S301 that a pre-registered face has been recognized, the
ステップS303の判定において、ステップS301で認識した顔が既に認識している顔でない場合に、CPU119は、新たに認識した顔に対応した被写体番号を被写体リストに追加する(ステップS304)。次に、CPU119は、認識した顔の部分の画像データ(顔画像データ)を、撮像素子104を介して取得された画像データから抽出する(ステップS305)。その後、CPU119は、抽出した顔画像データに対して縮小処理等を施して顔画像サムネイルデータを生成する(ステップS306)。
If it is determined in step S303 that the face recognized in step S301 is not already recognized, the
ステップS303の判定において、ステップS301で認識した顔が既に認識している顔である場合、又はステップS306の後、CPU119は、被写体リストを生成(又は更新)する(ステップS307)。その後、CPU119は、図5の処理を終了させて図3の処理に復帰する。
If it is determined in step S303 that the face recognized in step S301 is an already recognized face, or after step S306, the
以下、被写体リストの生成についてさらに具体的に説明する。本実施形態においては、被写体リストに、図6に示す4種類の情報を記録する。図6に示す情報は何れも図5の処理によって判別される。
図6に示す「被写体番号」は、予め顔の情報が登録してある被写体(顔)の識別番号である。図6では、A〜Gで示す7つまでの被写体番号を登録できる例を示している。勿論、登録できる被写体番号の数は7つに限るものではない。
「被写体座標」は、画像内の被写体(顔)の位置(座標)を示す情報である。ここで、被写体座標は、顔を含む矩形領域の重心の位置又は顔そのものの重心の位置とする。例えば画像の重心位置を原点とし、この原点からの距離に応じて被写体座標が決定される。例えば、画面水平方向をX方向、画面垂直方向をY方向とする。勿論、原点位置やX方向、Y方向はここでの定義に限るものではない。
「被写体位置」は、被写体(顔)がフレーム内のどの領域に存在しているかを示す情報である。この被写体位置の情報としては、例えばフレーム内の領域毎に割り当てられた番号を記録する。図7に、被写体位置の領域分けの例を示す。図7の例では、フレーム中央の領域、フレーム端の領域と、その間の領域とを含む3つの領域に1つのフレームを分け、それぞれの領域に対して番号付けしている。このようにして領域分けをするのは、フレームの中央に存在する被写体が撮影者としてのユーザにとっての主要被写体である可能性が高いためである。なお、領域の分割数は3つに限るものではないが、中央領域は含めるようにすることが望ましい。また、同じ番号の領域を2つ以上設定するようにしても良い。
「合焦情報」は、認識された被写体(顔)に対してレンズ101が合焦しているか否かを示す情報である。レンズ101が画像中のどの被写体に合焦しているかは、合焦処理の結果から判別できる。図6では、丸印が該当する被写体に合焦していることを示し、ばつ印が該当する被写体に合焦していないことを示している。実際には、合焦情報は2値のフラグである。
Hereinafter, the generation of the subject list will be described more specifically. In the present embodiment, four types of information shown in FIG. 6 are recorded in the subject list. All the information shown in FIG. 6 is determined by the processing of FIG.
The “subject number” shown in FIG. 6 is an identification number of a subject (face) for which face information is registered in advance. FIG. 6 shows an example in which up to seven subject numbers indicated by A to G can be registered. Of course, the number of subject numbers that can be registered is not limited to seven.
“Subject coordinates” is information indicating the position (coordinates) of the subject (face) in the image. Here, the subject coordinates are the position of the center of gravity of the rectangular area including the face or the position of the center of gravity of the face itself. For example, the position of the center of gravity of the image is used as the origin, and subject coordinates are determined according to the distance from the origin. For example, the horizontal screen direction is the X direction, and the vertical screen direction is the Y direction. Of course, the origin position, the X direction, and the Y direction are not limited to the definitions here.
“Subject position” is information indicating in which area in the frame the subject (face) is present. As information on the subject position, for example, a number assigned to each region in the frame is recorded. FIG. 7 shows an example of area division of the subject position. In the example of FIG. 7, one frame is divided into three areas including an area at the center of the frame, an area at the end of the frame, and an area in between, and each area is numbered. The reason why the areas are divided in this way is that there is a high possibility that the subject present in the center of the frame is the main subject for the user as the photographer. Note that the number of divisions of the region is not limited to three, but it is desirable to include the central region. Two or more areas having the same number may be set.
“Focus information” is information indicating whether or not the
図8は、1回の動画撮影時に生成される被写体リストの例を示している。動画撮影の場合、1フレーム目において被写体リストを生成し、それ以後のフレームにおいては情報を順次追記していく。ここで、図8では、被写体A〜Dに対応した被写体位置、合焦情報、被写体座標をそれぞれ記録している。これは、動画撮影時において被写体E〜Gの顔が一度も認識されなかったことを示している。図8の被写体リストでは、被写体E、F、Gの欄も図示されているが、図5のステップS304でも説明したように、認識された被写体に対応した欄だけ設けられていれば良い。 FIG. 8 shows an example of a subject list generated during one movie shooting. In the case of moving image shooting, a subject list is generated in the first frame, and information is sequentially added in subsequent frames. Here, in FIG. 8, subject positions, focusing information, and subject coordinates corresponding to the subjects A to D are recorded. This indicates that the faces of the subjects E to G have never been recognized during moving image shooting. In the subject list of FIG. 8, the columns of subjects E, F, and G are also shown, but as described in step S304 of FIG. 5, only the column corresponding to the recognized subject needs to be provided.
また、図8の被写体リストにおいて、被写体位置については、領域3に顔が存在していたことを示す「3」が記録された回数を被写体番号毎にカウントしている。また、合焦情報については、合焦である旨を示す「丸印」が記録された回数を被写体番号毎にカウントしている。これらは、後述の被写体順位の特定処理の際に用いられる。 In the subject list of FIG. 8, for the subject position, the number of times “3” indicating that a face exists in the area 3 is counted for each subject number. As for in-focus information, the number of times “circle” indicating the in-focus state is recorded is counted for each subject number. These are used in subject rank specifying processing described later.
以上説明したような被写体リストを用いることで、画像データの再生時において主要被写体を正しく認識できるようにする。以下、画像データの再生時の動作について図9を参照して説明する。図9の動作は、カメラの動作モードが再生モードのときに電源がオンされた場合等に開始される。図9において、CPU119は、まず、初期化処理を行う(ステップS401)。初期化処理として、CPU119は、内部のレジスタを初期化したりする処理を行う。
By using the subject list as described above, it is possible to correctly recognize the main subject when reproducing the image data. Hereinafter, the operation at the time of reproducing the image data will be described with reference to FIG. The operation of FIG. 9 is started when the power is turned on when the operation mode of the camera is the playback mode. In FIG. 9, the
初期化処理の後、CPU119は、表示駆動回路107を制御して、記録媒体112に記録されている画像ファイル(静止画ファイル及び動画ファイル)の一覧を表示パネル108に表示させる。この後、CPU119は、ユーザからの画像ファイルの選択を待つべく、待機状態となる(ステップS402)。
After the initialization process, the
ユーザによって画像ファイルの選択がなされた後、CPU119は、選択された画像ファイルが静止画ファイルであるか否かを判定する(ステップS403)。
ステップS403の判定において、選択された画像ファイルが静止画ファイルである場合に、CPU119は、静止画再生モードの動作を実行する(ステップS404)。静止画再生モードにおいて、CPU119は、ユーザによって選択された静止画ファイルを記録媒体112から読み込んで伸長する。そして、CPU119は、表示駆動回路107を制御して、静止画ファイルを表示パネル108に再生する。ここで、静止画再生モードの動作において、後述する動画再生モードと同様の主要被写体を強調するような画像処理を施すようにしても良い。また、ステップS403の判定において、選択された画像ファイルが動画ファイルである場合に、CPU119は、動画再生モードの動作を実行する(ステップS405)。動画再生モードの動作については後述する。
After the image file is selected by the user, the
If it is determined in step S403 that the selected image file is a still image file, the
静止画再生モードの動作又は動画再生モードの動作の実行後、CPU119は、カメラの動作モードを再生モードから撮影モードに変更するか否かを判定する(ステップS406)。例えば、ユーザによって動作モードの変更が指示された場合に、カメラの動作モードを撮影モードに変更する。ステップS406の判定において、カメラの動作モードを再生モードから撮影モードに変更する場合に、CPU119は、図9の処理を終了させて図2の撮影モードの処理を実行する。
After executing the still image playback mode operation or the moving image playback mode operation, the
また、ステップS406の判定において、カメラの動作モードを変更しない場合に、CPU119は、カメラの電源をオフさせるか否かを判定する(ステップS407)。ステップS407の判定において、カメラの電源をオフさせない場合に、CPU119は、ステップS402の画像ファイルの選択待機状態に戻る。また、ステップS407の判定において、カメラの電源をオフさせる場合に、CPU119は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる(ステップS408)。この場合には、図9の処理が終了する。
In step S406, if the camera operation mode is not changed, the
図10は、本発明の第1の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図10は、動画再生中に主要被写体を強調する演出付加処理を施す例のみの動作を示している。動画再生中に主要被写体を強調する演出付加処理を施すか否かはユーザが自由に設定できるものである。 FIG. 10 is a flowchart showing the operation in the moving image playback mode in the first embodiment of the present invention. Here, FIG. 10 shows an operation only in an example in which an effect adding process for emphasizing the main subject is performed during moving image reproduction. The user can freely set whether or not to perform an effect addition process for emphasizing the main subject during moving image reproduction.
図10において、CPU119は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リストを読み込む(ステップS501)。次に、CPU119は、被写体リストに記録されている情報から「主人公順位」を特定する(ステップS502)。
In FIG. 10, the
主人公順位とは、選択された動画ファイルに記録されている動画像に出現する複数の被写体を、主要被写体である可能性の高い順に順位付けしたものである。例えば、撮影者は、主要被写体をフレームの中央領域に配置して撮影を行うことが多い。したがって、中央領域に存在している回数の多い、即ち被写体リストに「3」が記録された回数が多い被写体の主人公順位を高くする。また、撮影者は、主要被写体に合焦するように撮影を行うことが多い。したがって、合焦回数の多い、即ち被写体リストに「丸印」が記録された回数が多い被写体の主人公順位を高くする。 The protagonist rank is a ranking of a plurality of subjects appearing in a moving image recorded in a selected moving image file in order of the possibility of being a main subject. For example, a photographer often places a main subject in a central area of a frame and performs shooting. Therefore, the main character rank of the subject having a large number of times existing in the central area, that is, the number of times “3” is recorded in the subject list is increased. In addition, the photographer often takes a picture so as to focus on the main subject. Therefore, the main character rank of the subject having a large number of focusing times, that is, the number of times that “circle” is recorded in the subject list is increased.
本実施形態では、例えば「3」が記録された回数と「丸印」が記録された回数との合計値が大きい順に順位を付ける。図8の例では、被写体Aの主人公順位が1位となり、被写体Bの主人公順位が2位となり、被写体Cの主人公順位が3位となる。本実施形態では主人公順位を3位まで特定する。勿論、これに限るものではない。 In this embodiment, for example, the ranking is performed in descending order of the total value of the number of times “3” is recorded and the number of times “circle” is recorded. In the example of FIG. 8, the main character ranking of subject A is first, the main character ranking of subject B is second, and the main character ranking of subject C is third. In this embodiment, the main character rank is specified up to the third rank. Of course, it is not limited to this.
ここで、上述の例で顔が領域3に存在していた回数を被写体毎に加算している。これに対し、領域1、2に存在していた回数を考慮しても良い。この際、例えば領域3に存在していた場合に3を加算し、領域2に存在していた場合に2を加算し、領域1に存在していた場合に1を加算するようにして合計を求めるようにしても良い。
Here, the number of times the face was present in the region 3 in the above example is added for each subject. On the other hand, the number of times that existed in the
主人公順位を特定した後、CPU119は、ユーザによって選択された動画像ファイルから表示フレームを読み込む(ステップS503)。その後、CPU119は、読み込んだ表示フレームに主人公順位が1位の被写体(図8の例では被写体A)が存在しているか否かを判定する(ステップS504)。ステップS504の判定において、読み込んだ表示フレームに主人公順位が1位の被写体が存在している場合に、CPU119は、その主人公順位が1位の被写体をズームアップ(拡大)する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル108に再生する(ステップ505)。
After specifying the protagonist rank, the
また、ステップ504の判定において、読み込んだ表示フレームに主人公順位が1位の被写体が存在していない場合に、CPU119は、読み込んだ表示フレームに主人公順位が2位の被写体(図8の例では被写体B)が存在しているか否かを判定する(ステップ506)。ステップ506の判定において、読み込んだ表示フレームに主人公順位が2位の被写体が存在している場合に、CPU119は、その主人公順位が2位の被写体をズームアップ(拡大)する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル108に再生する(ステップ507)。
Also, in the determination of
また、ステップ506の判定において、読み込んだ表示フレームに主人公順位が2位の被写体が存在していない場合に、CPU119は、読み込んだ表示フレームに主人公順位が2位の被写体(図8の例では被写体C)が存在しているか否かを判定する(ステップ508)。ステップ508の判定において、読み込んだ表示フレームに主人公順位が3位の被写体が存在している場合に、CPU119は、その主人公順位が3位の被写体をズームアップ(拡大)する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル108に再生する(ステップ509)。
Also, in the determination of
また、ステップ508の判定において、読み込んだ表示フレームに主人公順位が3位の被写体が存在していない場合に、CPU119は、読み込んだ表示フレームに対して演出付加処理を施すことをせずに表示フレームを表示パネル108に再生する(ステップ510)。
Also, in the determination in
表示フレームを再生した後、CPU119は、動画再生を終了するか否かを判定する(ステップS511)。例えば、動画像ファイルを構成する全フレームの再生が終了したか又はユーザによって動画再生の終了指示がなされた場合に、動画再生を終了すると判定する。ステップS511の判定において、動画再生を終了しない場合に、CPU119は、処理をステップS503に戻して次の表示フレームの読み込みを行う。一方、ステップS511の判定において、動画再生を終了する場合に、CPU119は、図10の処理を終了させて図9の処理に復帰する。
After reproducing the display frame, the
図11(a)は、演出付加処理を施さないように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。演出付加処理を施さないように設定されている場合、主要被写体順位の高い被写体(被写体Aや被写体B)が存在している場合であっても、読み込んだ表示フレームがそのまま表示パネル108に再生される。
FIG. 11A is a diagram showing an image for each frame that is played back in the moving image playback mode of the present embodiment when it is set not to perform the effect addition process. When it is set not to perform the effect addition process, the read display frame is reproduced as it is on the
これに対し、図11(b)は、演出付加処理を施すように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。例えば、図11(b)の1フレーム目のように被写体Aと被写体Bとが同時に存在するような表示フレームでは被写体Aを拡大するような演出付加処理が施されて表示フレームが再生される。この後、被写体Aがいなくなると、次は被写体Bを拡大するような演出付加処理が施されて表示フレームが再生される。さらに、主要被写体順位が3位までの被写体が表示フレーム中に存在しなくなると、図11(a)と同様の演出付加処理を施さない表示フレームの再生に戻る。 On the other hand, FIG. 11B is a diagram showing an image for each frame that is played back in the moving image playback mode of the present embodiment when it is set to perform the effect adding process. For example, in the display frame in which the subject A and the subject B exist at the same time as in the first frame in FIG. 11B, an effect addition process for enlarging the subject A is performed and the display frame is reproduced. Thereafter, when the subject A disappears, an effect adding process for enlarging the subject B is performed and the display frame is reproduced. Further, when the subject whose main subject ranking is up to the third place no longer exists in the display frame, the display frame reproduction is resumed without performing the same effect addition processing as in FIG.
図11(b)に示すように、動画像の場合、主要被写体が時間的に変化する可能性がある。第1の実施形態においては、フレーム毎に主要被写体に関する情報を記録した被写体リストを撮影時に生成しておくことにより、再生時にはCPU119にそれほどの負荷をかけることなく、表示フレーム内に存在する被写体を主要被写体である可能性の高い順に順位付けすることが可能である。これにより、時間的に変化し得る主要被写体を適切に推定し、推定した主要被写体を強調するような演出付加処理を施すことが可能である。
As shown in FIG. 11B, in the case of a moving image, there is a possibility that the main subject changes with time. In the first embodiment, by generating a subject list in which information about the main subject is recorded for each frame at the time of shooting, subjects existing in the display frame can be detected without imposing a significant load on the
ここで、上述の被写体リストでは、被写体位置と合焦の有無とを記録しているが、さらに主要被写体を特定するための別の情報を記録するようにしても良い。例えば、女性を優先したり、男性を優先したりするような情報を記録しても良い。
また、演出付加処理も上述したズームアップ(拡大)処理に限るものではない。例えば、図11(c)に示すような、各表示フレームにおいて主要被写体と考えられる被写体の顔を含む領域の輝度を他の部分に対して高くする輝度変更処理を行っても良い。また、図11(c)の輝度変更処理は、被写体の顔を含む矩形領域の輝度を変更するようにしているが、図12に示すような、被写体の顔を含む円形領域の輝度を変更するようにしても良い。このようなスポットライト処理でも主要被写体を強調することが可能である。
Here, in the above-described subject list, the subject position and the presence / absence of focus are recorded, but other information for specifying the main subject may be further recorded. For example, information that gives priority to women or priority to men may be recorded.
Further, the effect addition process is not limited to the zoom-up (enlargement) process described above. For example, as shown in FIG. 11C, luminance change processing for increasing the luminance of the area including the face of the subject considered as the main subject in each display frame relative to other portions may be performed. Further, in the brightness changing process of FIG. 11C, the brightness of the rectangular area including the face of the subject is changed, but the brightness of the circular area including the face of the subject as shown in FIG. 12 is changed. You may do it. It is possible to emphasize the main subject even with such spotlight processing.
この他、領域の輝度ではなく、領域の彩度を変更するようにしても良い。また、被写体のコントラスト(輪郭)を強調したり、逆に輪郭をぼかすソフトフォーカス処理を施すようにしても良い。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。上述の第1の実施形態は、フレームの中央に存在する被写体や合焦している被写体といった、主に撮影者としてのユーザが考える主要被写体を特定するようにしている。しかしながら、動画像を視聴するユーザや視聴するときの気分等で、同じ動画像であっても主要とする被写体が変わる可能性もある。この場合には、動画像を視聴しているユーザが考えている主要被写体と撮影者が考えている主要被写体とが異なる可能性もある。第2の実施形態は、動画像を視聴する人が考えている主要被写体も特定可能とした例である。ここで、第2の実施形態は、動画再生モードの動作以外は第1の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
In addition, the saturation of the region may be changed instead of the luminance of the region. Alternatively, soft focus processing may be performed to enhance the contrast (contour) of the subject or conversely blur the contour.
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment described above, main subjects considered mainly by the user as a photographer, such as a subject existing in the center of the frame or a focused subject, are specified. However, depending on the user viewing the moving image, the mood when viewing, etc., the main subject may change even if the same moving image. In this case, there is a possibility that the main subject considered by the user viewing the moving image is different from the main subject considered by the photographer. The second embodiment is an example in which a main subject considered by a person viewing a moving image can also be specified. Here, the second embodiment is the same as the first embodiment except for the operation in the moving image playback mode. Therefore, descriptions of operations other than the camera configuration and the moving image playback mode are omitted.
図13は、本発明の第2の実施形態における動画再生モードの動作を示すフローチャートである。図13において、CPU119は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リスト及び顔画像サムネイルデータを読み込む(ステップS601)。
FIG. 13 is a flowchart showing the operation in the moving image playback mode in the second embodiment of the present invention. In FIG. 13, the
次に、CPU119は、手動で主人公順位を設定するように指定されているか否かを判定する(ステップS602)。ここで、手動で主人公順位を設定するか否かは例えば動画像の視聴者であるユーザが適宜指定できるものである。
ステップS602の判定において、手動で主人公順位を設定するように指定されている場合、CPU119は、表示駆動回路107を制御して、図14に示すような顔画像サムネイルの選択画面を表示パネル108に表示させる(ステップS603)。ここで、図14は、被写体リストの生成処理の結果、3人分の顔画像サムネイルデータが記録された場合(被写体リストに3人分の情報が記録されている場合)の顔画像サムネイルの選択画面の例である。図14のような顔画像サムネイルの選択画面を表示させた後、CPU119は、表示パネル108に表示されている顔画像サムネイルのユーザからの選択を待つべく、待機状態となる(ステップS604)。ユーザからの選択を受けて、CPU119は、主人公順位を特定する。
Next, the
If it is determined in step S602 that the main character rank is manually set, the
また、ステップS602の判定において、手動で主人公順位を設定するように指定されていない場合、CPU119は、第1の実施形態と同様にして被写体リストから主人公順位を特定する(ステップS605)。
ステップS606〜S614の動作は、図10のステップS503〜ステップS511の動作と同様であるので説明を省略する。
In the determination in step S602, if it is not designated to manually set the main character rank, the
The operations in steps S606 to S614 are the same as the operations in steps S503 to S511 in FIG.
以上説明したような第2の実施形態によれば、撮影者の意図する主要被写体だけでなく、動画像を視聴する視聴者の意図も反映して主要被写体を特定することが可能である。これにより、時間的に主要被写体が変化し得る動画像においてより適切に主要被写体を特定することが可能である。 According to the second embodiment as described above, it is possible to specify the main subject reflecting not only the main subject intended by the photographer but also the intention of the viewer viewing the moving image. Accordingly, it is possible to more appropriately identify the main subject in the moving image in which the main subject can change with time.
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。上述の第1及び第2の実施形態においては、フレーム中の主要被写体に対して特定の演出付加処理を施すようにしている。実際には、被写体の状態に応じて適切な演出付加処理を施すことが望ましい。第3の実施形態は、被写体の状態に応じて複数の演出付加処理を使い分ける例である。ここで、第3の実施形態は、動画再生モードの動作以外は第1の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the first and second embodiments described above, a specific effect addition process is performed on the main subject in the frame. Actually, it is desirable to perform an appropriate effect addition process according to the state of the subject. The third embodiment is an example in which a plurality of effect addition processes are selectively used according to the state of the subject. Here, the third embodiment is the same as the first embodiment except for the operation in the moving image playback mode. Therefore, descriptions of operations other than the camera configuration and the moving image playback mode are omitted.
図15は、本発明の第3の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図15は、ステップS718、S720、S722における演出付加処理がズームアップ処理ではなく、図16に示す演出付加処理である点のみが図10と異なっている。したがって、図15の説明は省略する。 FIG. 15 is a flowchart showing the operation in the moving image playback mode according to the third embodiment of the present invention. Here, FIG. 15 is different from FIG. 10 only in that the effect adding process in steps S718, S720, and S722 is not the zoom-up process but the effect adding process shown in FIG. Therefore, the description of FIG. 15 is omitted.
図16は、図15のステップS718、S720、S722における演出付加処理について示すフローチャートである。図16において、CPU119は、演出付加被写体(ステップS718の場合には主人公順位が1位の被写体、ステップS720の場合には主人公順位が2位の被写体、ステップS722の場合には主人公順位が3位の被写体)の現在の表示フレームに対応した合焦情報を被写体リストから取得する(ステップS801)。そして、CPU119は、取得した合焦情報から、演出付加被写体が合焦しているか否かを判定する(ステップS802)。
FIG. 16 is a flowchart showing the effect addition processing in steps S718, S720, and S722 of FIG. In FIG. 16, the
ステップS802の判定において、演出付加被写体が合焦している場合に、CPU119は、演出付加被写体をズームアップ(拡大)する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル108に再生する(ステップ803)。その後、CPU119は、図16の処理を終了させて図15の処理に復帰する。一方、ステップS804の判定において、演出付加被写体が合焦していない場合に、CPU119は、演出付加被写体に対してスポットライト処理を施し、スポットライト処理を施した表示フレームを表示パネル108に再生する(ステップ804)。その後、CPU119は、図16の処理を終了させて図15の処理に復帰する。
If it is determined in step S802 that the effect-added subject is in focus, the
以上説明したような第3の実施形態によれば、フレーム毎に記録されている合焦情報から、合焦していない被写体に対してはズームアップ処理を施さないようにしている。これにより、合焦していない不鮮明な像が拡大されてしまう可能性を低減することが可能である。ここで、図16の例では、ズームアップ処理とスポットライト処理との間での切り替えであるが、その他の組み合わせであっても良い。 According to the third embodiment as described above, zoom-in processing is not performed on a subject that is not in focus, based on the focus information recorded for each frame. Thereby, it is possible to reduce the possibility that an unfocused unclear image will be enlarged. Here, in the example of FIG. 16, the switching is between zoom-up processing and spotlight processing, but other combinations may be used.
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した各実施形態においては、画像記録装置と画像再生装置の両方を1つのデジタルカメラに設けている例を示している。しかしながら、各実施形態に係る画像記録装置と画像再生装置とは別体としても良い。また、画像再生装置は動画像の再生機能があれば良く、必ずしもデジタルカメラである必要はない。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, in each of the above-described embodiments, an example in which both an image recording apparatus and an image reproduction apparatus are provided in one digital camera is shown. However, the image recording apparatus and the image reproduction apparatus according to each embodiment may be separated. In addition, the image reproducing apparatus only needs to have a moving image reproducing function, and is not necessarily a digital camera.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
101…レンズ、102…アクチュエータ、103…アクチュエータ駆動回路、104…撮像素子、105…撮像回路、106…フレームメモリ(SDRAM)、107…表示駆動回路、108…表示パネル、109…バックライトユニット、110…映像信号出力回路、111…映像信号出力端子、112…記録媒体、113…発光回路(フラッシュ)、114…手ブレ補正用ジャイロセンサ、115…ステレオマイクロホン(ステレオマイク)、116…スピーカー、117…EEPROM(FlashROM)、118…キーマトリクス、119…CPU、120…電源回路、121…電池、122…電池状態検出回路、123…バックアップ電源、200…外部画像表示装置
DESCRIPTION OF
Claims (13)
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
を具備することを特徴とする画像記録装置。 An image acquisition unit for acquiring moving image data including a plurality of frames;
An image analysis unit for analyzing information on a main subject in each frame of the moving image data;
A subject list generation unit for generating a subject list in which information on the analyzed main subject is recorded for each frame;
A recording unit for recording the subject list in association with the moving image data;
An image recording apparatus comprising:
前記被写体リストは、前記それぞれのフレームにおいて認識された被写体の顔の位置を示す情報を含むことを特徴とする請求項1に記載の画像記録装置。 A face recognition unit for recognizing the face of the subject in each frame of the moving image data;
The image recording apparatus according to claim 1, wherein the subject list includes information indicating a face position of a subject recognized in each of the frames.
前記記録部は、前記抽出された顔の画像をさらに前記被写体リストと関連付けて記録することを特徴とする請求項2乃至4の何れか1項に記載の画像記録装置。 The subject list generation unit determines whether or not the face of the recognized subject is an already recognized face. If the face is not an already recognized face, an image of the unrecognized face is obtained. Extracted from the frame,
5. The image recording apparatus according to claim 2, wherein the recording unit further records the extracted face image in association with the subject list. 6.
前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を具備することを特徴とする画像再生装置。 An image acquisition unit for acquiring moving image data including a plurality of frames;
A subject list acquisition unit for acquiring a subject list in which information on a main subject is recorded for each frame of the moving image data;
A main subject determination unit for determining whether or not a main subject appears according to the subject list for each frame;
An image processing unit that performs an effect addition process for emphasizing the main subject in a frame in which the main subject appears;
A reproduction control unit that reproduces the frame subjected to the effect addition process;
An image reproducing apparatus comprising:
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の位置を判別し、顔の位置が前記フレームの中央領域に位置している回数の多い被写体を主要被写体と判別することを特徴とする請求項6に記載の画像再生装置。 In the subject list, information on the position of the face of the subject in each frame is recorded,
The main subject discriminating unit discriminates the position of the face in each frame from the subject list, and discriminates a subject having a large number of times that the face position is located in the central region of the frame as the main subject. The image reproducing apparatus according to claim 6.
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している回数の多い被写体を主要被写体と判別することを特徴とする請求項6又は7に記載の画像再生装置。 In the subject list, information indicating whether or not the subject's face is focused in each frame is recorded,
The main subject determination unit determines whether or not the face in each frame is in focus from the subject list, and determines a subject that is frequently focused as a main subject. 8. The image reproducing device according to 7.
前記主要被写体判別部は、前記主要被写体指定部によって指定された被写体を主要被写体と判別することを特徴とする請求項6に記載の画像再生装置。 A main subject designating unit for designating the main subject by manual operation;
The image reproducing apparatus according to claim 6, wherein the main subject determining unit determines that the subject specified by the main subject specifying unit is a main subject.
前記画像処理部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分を拡大する処理を行い、合焦していない主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分の輝度を上げて他の部分の輝度を下げる処理を行うことを特徴とする請求項6乃至9の何れか1項に記載の画像再生装置。 In the subject list, information indicating whether or not the subject's face is focused in each frame is recorded,
The image processing unit determines whether or not the face in each frame is in focus from the subject list, and the main subject in focus is a portion determined as the main subject in the frame as the effect adding process. The main subject that is not in focus is subjected to processing for increasing the luminance of the portion determined as the main subject in the frame and decreasing the luminance of the other portion as the effect adding processing. The image reproducing device according to claim 6.
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を有することを特徴とする画像記録再生システム。 An image acquisition unit for acquiring moving image data including a plurality of frames;
An image analysis unit for analyzing information on a main subject in each frame of the moving image data;
A subject list generation unit for generating a subject list in which information on the analyzed main subject is recorded for each frame;
A recording unit for recording the subject list in association with the moving image data;
A main subject determination unit for determining whether or not a main subject appears according to the subject list for each frame;
An image processing unit that performs an effect addition process for emphasizing the main subject in a frame in which the main subject appears;
A reproduction control unit that reproduces the frame subjected to the effect addition process;
An image recording / reproducing system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054352A JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054352A JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012191503A true JP2012191503A (en) | 2012-10-04 |
Family
ID=47084174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011054352A Withdrawn JP2012191503A (en) | 2011-03-11 | 2011-03-11 | Image recorder, image reproducer and image recording/reproduction system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012191503A (en) |
-
2011
- 2011-03-11 JP JP2011054352A patent/JP2012191503A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20060256203A1 (en) | Image sensing apparatus and its control method | |
US10205872B2 (en) | Display control apparatus and method for controlling the same | |
KR20120081516A (en) | Digital photographing apparatus and control method thereof | |
JP3976316B2 (en) | Image playback device | |
KR20120083085A (en) | Digital photographing apparatus and control method thereof | |
JP2012065129A (en) | Imaging apparatus | |
JP2007266659A (en) | Imaging reproducing apparatus | |
KR20110020518A (en) | Method and apparatus for determining shaken image using auto focusing | |
KR20130031176A (en) | Display apparatus and method | |
JP2007325152A (en) | Imaging device, and program thereof | |
WO2011021445A1 (en) | Image processing apparatus and image processing method | |
KR20080112866A (en) | Method of controlling digital image processing apparatus wherein moving-picture photographing mode is performed, and digital image processing apparatus adopting the method | |
US9197815B2 (en) | Image management apparatus and image management method | |
JP4743264B2 (en) | Recording / playback device | |
US10410674B2 (en) | Imaging apparatus and control method for combining related video images with different frame rates | |
JP2012191503A (en) | Image recorder, image reproducer and image recording/reproduction system | |
JP5593652B2 (en) | Camera and movie playback program | |
JP2012156750A (en) | System for automatic setting of preference degree | |
JP2012010358A (en) | Three-dimensional imaging apparatus and three-dimensional image display method | |
JP2011234180A (en) | Imaging apparatus, reproducing device, and reproduction program | |
JP2010187111A (en) | Image capturing apparatus | |
JP2008244976A (en) | Imaging device, and method and program for recording photographic image | |
JP2015192336A (en) | Image processing device and digital camera | |
JP2016129313A (en) | Stream recording device and control method for stream recording device | |
JP2020141189A (en) | Imaging apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |