JP2010177731A - Image reproducing device and imaging apparatus - Google Patents
Image reproducing device and imaging apparatus Download PDFInfo
- Publication number
- JP2010177731A JP2010177731A JP2009015029A JP2009015029A JP2010177731A JP 2010177731 A JP2010177731 A JP 2010177731A JP 2009015029 A JP2009015029 A JP 2009015029A JP 2009015029 A JP2009015029 A JP 2009015029A JP 2010177731 A JP2010177731 A JP 2010177731A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- display
- value
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像された複数の画像をスライドショー形式で再生表示する画像再生装置、及び該画像再生装置を備えるデジタルカメラ等の撮像装置に関する。 The present invention relates to an image playback device that plays back and displays a plurality of captured images in a slide show format, and an imaging device such as a digital camera including the image playback device.
撮像された複数の画像を閲覧する機能として、これらを一定時間毎に画像表示モニタに逐次的に表示するスライドショー機能を搭載したデジタルカメラが開発されている。このようなスライドショー機能において、撮像した複数の画像の中には、似たような画像が存在することも多く、これらを区別することなく一定時間間隔で再生表示すると、ユーザが倦怠を感じることがある。 As a function for browsing a plurality of captured images, a digital camera equipped with a slide show function for sequentially displaying these images on an image display monitor at regular intervals has been developed. In such a slide show function, a plurality of captured images often have similar images, and the user may feel frustrated if they are played back and displayed at regular time intervals without being distinguished. is there.
これを抑制するための従来技術として、連写された画像の表示間隔を一般の画像の表示間隔よりも短い時間間隔で行うようにしたもの(下記特許文献1)、複数の画像間の類似度を判定して、該類似度の高い画像の表示間隔を短くするようにしたもの(下記特許文献2)、画像の種類に応じて異なる時間間隔で表示するようにしたもの(下記特許文献3)が提案されている。
As a conventional technique for suppressing this, the display interval of continuously shot images is performed at a time interval shorter than the display interval of a general image (
しかしながら、似たような画像の表示間隔を短くしたとしても、当該似たような画像が繰り返し再生表示されることには変わりなく、また、表示の必要がないと考えられる失敗画像(例えば、露出不良画像、手ブレ画像)等も表示されるため、ユーザが感じる倦怠を十分に防止することはできなかった。 However, even if the display interval of a similar image is shortened, the similar image is repeatedly reproduced and displayed, and a failed image (for example, an exposure that is considered unnecessary to be displayed). (Failure image, camera shake image) and the like are also displayed, and thus the fatigue felt by the user cannot be sufficiently prevented.
本発明は、このような点に鑑みてなされたものであり、複数の画像をスライドショー形式で逐次的に再生表示させる場合に、ユーザが感じる倦怠を最小限に抑制することができる画像再生装置、及び該画像再生装置を備える撮像装置を提供することを目的とする。 The present invention has been made in view of such a point, and an image reproducing device capable of minimizing the fatigue felt by the user when sequentially reproducing and displaying a plurality of images in a slide show format, And an imaging apparatus including the image reproduction apparatus.
本発明に係る画像再生置は、複数の画像が記憶された記憶手段(31)と、画像を表示する表示手段(32)と、前記記憶手段に記憶された複数の画像について、画像の表示をスキップすべきか否かを判別する判別手段(33)と、前記記憶手段に記憶された複数の画像のうち、前記判別手段によりスキップすべきと判別された画像を前記表示手段での表示から除外しつつ、前記複数の画像を前記表示手段に逐次的に再生表示させる制御手段(34)と、を備えることを特徴とする。 The image reproduction apparatus according to the present invention displays an image of a storage means (31) storing a plurality of images, a display means (32) for displaying images, and a plurality of images stored in the storage means. Discriminating means (33) for discriminating whether or not to skip, and of the plurality of images stored in the storage means, images determined to be skipped by the discriminating means are excluded from display on the display means. And a control means (34) for sequentially reproducing and displaying the plurality of images on the display means.
また、本発明に係る撮像装置は、光学系による被写体の像を撮像する撮像素子と、上述した本発明に係る画像再生装置と、を備えることを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup element that picks up an image of a subject by an optical system, and the above-described image reproduction apparatus according to the present invention.
なお、この項の説明では、後述する実施形態を表す図面に示す部材等を示す符号を括弧を付して付記したが、これは単に理解の容易化のためであり、本発明の各構成要件は、これらの符号によって限定されるものではない。 In the description of this section, reference numerals indicating members and the like shown in the drawings showing embodiments to be described later are appended with parentheses, but this is merely for ease of understanding, and each component of the present invention Is not limited by these symbols.
本発明では、記憶された複数の画像について、画像の表示をスキップすべきか否かを判別して、スキップすべきと判別された画像を除外しつつ、複数の画像を逐次的に再生表示させるようにしており、例えば、似たような画像や失敗画像等は除外して、ユーザにとって必要性が高いと考えられる画像のみを再生表示させることにより、ユーザが感じる倦怠を最小限に抑制することができる。 In the present invention, for a plurality of stored images, it is determined whether or not image display should be skipped, and a plurality of images are sequentially reproduced and displayed while excluding images determined to be skipped. For example, by excluding similar images, failed images, etc., and reproducing and displaying only images that are considered to be highly necessary for the user, it is possible to minimize the fatigue felt by the user. it can.
の効果を説明するための事象を示す図である。
以下、図面を参照して本発明の実施形態の画像再生装置を備えるデジタルカメラについて説明する。 Hereinafter, a digital camera including an image reproduction apparatus according to an embodiment of the present invention will be described with reference to the drawings.
〔カメラの全体構成〕
図1は本発明の実施形態におけるデジタルカメラの全体構成を示すブロック図である。図1に示すように、このカメラ1は、カメラ本体2と光学系としての撮影レンズ3とを備えている。ここで、撮影レンズ3は、カメラ本体2に固定されているものでも良いし、交換式のものでも良い。
[Overall camera configuration]
FIG. 1 is a block diagram showing the overall configuration of a digital camera according to an embodiment of the present invention. As shown in FIG. 1, the
カメラ本体2には、CPU10が設けられており、CPU10はシステムバス11に接続されている。CPU10は、後述する各ブロックから出力される信号の入力を受け、システムバス11に接続されているフラッシュメモリ12に記憶されている制御プログラム(後述するスライドショー表示処理プログラムを含む)や各種の制御データ等に基づいて所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。
The camera body 2 is provided with a
システムバス11には、センサ駆動回路13を介して撮像素子14が接続されている。また、システムバス11には、A/D変換回路15、タイミングジェネレータ(TG)16、画像処理部17、バッファメモリ18、画像記録媒体19、及び操作部20がそれぞれ接続されている。さらに、システムバス11には、表示駆動部(不図示)を介して画像表示モニタ(液晶パネル)21が接続されている。
An
撮像素子14は、CCDまたはCMOS等により構成され、撮影レンズ3を介した被写体からの光を受光・撮像し、撮像信号(蓄積電荷としてのアナログ信号)を出力する。撮像素子14から出力された撮像信号は、A/D変換回路15においてデジタル信号に変換され、システムバス11を介して画像処理部17に送られる。なお、タイミングジェネレータ16は、撮像素子14を駆動するタイミング信号及びA/D変換回路15を駆動するタイミング信号を出力する。
The
画像処理部17は、ASIC(Application Specific Integrated Circuit)等で構成され、デジタル信号である原画像データに対してホワイトバランス(WB)調整、輪郭補償、ガンマ補正などの画像処理を行うと共に、所定の圧縮形式(例えば、JPEG等)で圧縮する圧縮処理や圧縮された画像データの伸長処理等を行う。
The
バッファメモリ18は、CPU10による処理のための作業領域として、原画像データや画像処理後の画像データ等を一時的に記憶するメモリである。
The
画像記録媒体19は、フラッシュメモリ等から構成される可搬性を有するメモリカード等であり、圧縮処理が実施された画像データ(静止画、動画)を所定の付随情報と共に記録するものである。画像記録媒体19は、カメラ本体2に設けられた所定のスロット(不図示)に交換可能に装着される。
The
操作部20は、半押し及び全押しの2つのスイッチングが可能なレリーズボタン、主電源をオン/オフするメインスイッチ、コマンドダイヤル、メニューボタン、項目選択用十字キー、OKボタン(決定ボタン)、スライドショー開始ボタン、各種の撮影モードを選択するためのボタン等を含み、撮影者はこれらのスイッチやボタン等を所定の手順に従って操作することにより、撮影指示の他、各種のモード等の選択や設定の切り換え、パラメータの選択や入力、その他の撮影に伴う指示を行うことができる。
The
画像処理部17から送られる画像、バッファメモリ18又は画像記録媒体19から読み出された画像、及び撮影に関する情報等は、不図示の表示駆動部を介して画像表示モニタ21に表示される。
The image sent from the
画像表示モニタ21は、カメラ本体2の背面に設けられており、ライブビュー表示モードにおいては、撮像素子14で撮像中の画像がスルー画像として画像表示モニタ21にリアルタイム表示される。なお、スルー画像とは、撮像素子14の解像度と画像表示モニタ21の解像度等との関係で原画像に対して所定の間引き処理が行われ、視覚的に動画像として認識できる程度のフレームレートで表示される画像のことである。
The image display monitor 21 is provided on the back surface of the camera body 2, and in the live view display mode, an image being captured by the
撮影者により操作部20のレリーズボタン(撮影指示ボタン)が押下されると、撮像素子14からの撮像画像に係る画像データが画像処理部17にて画像処理(補正、圧縮等)される。CPU10は、図2に示されているように、この画像処理後の画像データIDに、所定の付随情報ADを付加して、exif等の形式で画像ファイルDFとして、順次インクリメントされる連番を有する所定のファイル名で画像記憶媒体19に記録する。
When the release button (shooting instruction button) of the
付随情報ADとは、画像データに付随して記憶される撮影に関する情報であり、付随情報ADとしては、CPU10が備える不図示の時計ユニットからの撮影時刻情報(年月日時分秒)、GPSユニット(不図示)からの撮影場所情報(経緯度、標高等のGPS情報)、連写モードで撮影されたか否かを示す連写情報、ブラケティング撮影モードで撮影されたか否かを示すブラケティング情報、露出情報、撮影モード情報(スポーツモード、ポートレートモード等を識別する情報)、画像編集(加工)の基礎となった画像であることを示す編集情報等が必要に応じて含まれる。
The accompanying information AD is information relating to photographing stored along with the image data. The accompanying information AD includes photographing time information (year / month / day / hour / minute / second) from a clock unit (not shown) included in the
〔画像再生装置の機能構成〕
図3は本発明の実施形態における画像再生装置を実現するためのスライドショー処理プログラムの機能構成を示すブロック図である。この画像再生装置IPAは、コンピュータシステム上で、スライドショー表示処理プログラムを実行することにより実現される。
[Functional structure of image playback device]
FIG. 3 is a block diagram showing a functional configuration of a slide show processing program for realizing the image reproduction apparatus according to the embodiment of the present invention. This image reproduction device IPA is realized by executing a slide show display processing program on a computer system.
このスライドショー処理プログラムは、複数の画像が記憶された画像記憶部(記憶手段)31と、画像を表示する表示部(表示手段)32と、画像記憶部31に記憶された複数の画像について、画像の表示をスキップすべきか否かを判別する判別部(判別手段)33と、画像記憶部31に記憶された複数の画像のうち、判別部33によりスキップすべきと判別された画像を表示部32での表示から除外しつつ、複数の画像を表示部32に逐次的に再生表示させる制御部(制御手段)34と、各種のデータが記憶されるデータ記憶部(メモリ)35とを概略備えて構成されている。
This slide show processing program includes an image storage unit (storage unit) 31 that stores a plurality of images, a display unit (display unit) 32 that displays images, and a plurality of images stored in the
また、このスライドショー表示処理プログラムは、図示は省略しているが、必要に応じて、画像内の人物の顔が存在する領域を自動認識する顔認識部(顔認識手段)や複数の画像間での所定の被写体の動きを自動認識する被写体追跡部(被写体追跡手段)を備えていても良い。なお、制御部34は、上述した処理の他、このプログラムを全体的に管理するための処理等も行う。
Although not shown in the slide show display processing program, if necessary, a face recognition unit (face recognition means) that automatically recognizes an area where a person's face is present in an image or between a plurality of images. A subject tracking unit (subject tracking means) that automatically recognizes the movement of the predetermined subject may be provided. In addition to the processing described above, the
ここでは、このスライドショー表示処理プログラムは、上述したカメラ1のフラッシュメモリ12に予め記憶されており、CPU10がこれを読み出して、実行することにより、画像再生装置によるスライドショー機能が実現されるものとする。従って、画像記憶部31は上述した画像記録媒体19に、表示部32は上述した画像表示モニタ21に相当し、データ記憶部35としてはフラッシュメモリ12の一部が用いられる。
Here, the slide show display processing program is stored in advance in the
〔スライドショー実行条件の初期設定〕
図4は本発明の実施形態におけるスライドショー実行条件の初期設定処理を示すフローチャートである。
[Initial setting of slide show execution conditions]
FIG. 4 is a flowchart showing the initial setting process of the slide show execution condition in the embodiment of the present invention.
この初期設定処理は、操作部20のメニューボタンを押下することにより画像表示モニタ21に表示されるメインメニュー画面において、サブメニューとしてのスライドショーモード選択メニュー(スライドショーの初期設定画面)が選択されることにより開始する。
In the initial setting process, a slide show mode selection menu (slide show initial setting screen) as a sub menu is selected on the main menu screen displayed on the image display monitor 21 by pressing the menu button of the
スライドショーモード選択メニューが表示されると、まず、自動選択モード(自動選択画像表示モード)が選択されたか否かが判断される(ステップS10)。この判断は、スライドショーモード選択メニューにおけるユーザの設定操作に従って行われる。スライドショーモード選択メニューは、例えば、図5に示されているように、「全画像表示モード」、及び「選択画像スライドショーモード」を含み、「選択画像スライドショーモード」は更に「マニュアル選択画像表示モード」、及び「自動選択画像表示モード」を含むメニュー(画面)である。 When the slide show mode selection menu is displayed, it is first determined whether or not the automatic selection mode (automatic selection image display mode) has been selected (step S10). This determination is made according to a user setting operation in the slide show mode selection menu. The slide show mode selection menu includes, for example, as shown in FIG. 5, “all image display mode” and “selected image slide show mode”, and the “selected image slide show mode” further includes “manual selected image display mode”. , And a menu (screen) including “automatically selected image display mode”.
ここで、「全画像表示モード」は画像記憶部31に記憶されている全ての画像、又は特定のホルダ内の全ての画像をスライドショー表示するモードである。「選択画像スライドショーモード」の「マニュアル選択画像表示モード」は画像記憶部31に記憶された複数の画像のうち、スライドショーに用いる複数の画像を手動(マニュアル)で選択して、該選択された画像をスライドショー表示するモードである。「自動選択画像表示モード」は、画像記憶部31に記憶された複数の画像のうち、スライドショーに用いる複数の画像を自動的に選択するモードであり、判別部33による判別結果に従って、不要と判別された画像を適宜にスキップ(除外)しつつ、スライドショー表示を行うモードである。
Here, the “all image display mode” is a mode in which all images stored in the
なお、各種のメニュー画面内には、例えば、図5中に下向きの黒三角印で示されているように、項目(モード等)を選択するためのカーソルが表示されており、このカーソルは、操作部20の十字キーの上下方向(及び場合により左右方向)の操作により、画面内において各項目毎に上下(及び場合により左右)に移動させることができるようになっている。
In various menu screens, for example, a cursor for selecting an item (mode, etc.) is displayed as indicated by a downward black triangle mark in FIG. By operating the cross key of the
ユーザは、このカーソルを選択したい項目の文字列の位置に合わせて、操作部20のOKボタンを押下することにより、項目の選択設定や各種の数値等を入力設定することができる。図5においては、「自動選択画像表示モード」にカーソルが設定されており、この状態でOKボタンを押下することにより、この自動選択画像表示モードを選択設定することができる。
The user can input and set item selection settings and various numerical values by pressing the OK button of the
なお、図5では、カーソルが設定された項目の文字列は強調表示(反転表示や色違い表示等でも良い)されることにより、カーソル位置をより直感的に判断できるようにしている。 In FIG. 5, the character string of the item for which the cursor is set is highlighted (may be displayed in reverse or in different colors) so that the cursor position can be determined more intuitively.
ステップS10において、自動選択モードが選択されたと判断した場合(Yの場合)には、自動選択画像表示モードに設定し(ステップS13)、自動選択モードが選択されていないと判断した場合(Nの場合)には、スライドショーモード選択メニューにおけるユーザの操作に従って、全画像表示モード又はマニュアル選択画像表示モードに設定する(ステップS15)。なお、このモードの設定は、具体的には、対応するフラグにモードに応じた値を書き込むことにより行われる。 If it is determined in step S10 that the automatic selection mode has been selected (in the case of Y), the automatic selection image display mode is set (step S13), and if it is determined that the automatic selection mode has not been selected (N In the case), according to the user's operation in the slide show mode selection menu, the full image display mode or the manually selected image display mode is set (step S15). This mode setting is specifically performed by writing a value corresponding to the mode in the corresponding flag.
次いで、総再生時間、及び一画像あたりの再生時間の選択がなされたか否かが判断される(ステップS17)。ここで、「総再生時間」とは、予め設定されたスライドショーの全体の表示時間、即ちスライドショーにより最初の画像の表示を開始してから、最後の画像の表示を終了するまでの時間である。また、「一画像あたりの再生時間」とは、予め設定された画像1枚あたりの表示時間、即ち1枚の画像の表示を開始してからその表示を終了するまで(次の画像の表示を開始するまで)の時間である。 Next, it is determined whether or not the total playback time and the playback time per image have been selected (step S17). Here, the “total playback time” is a preset display time of the entire slide show, that is, the time from the start of the display of the first image to the end of the display of the last image. The “reproduction time per image” is a preset display time per image, that is, from the start of display of one image to the end of the display (display of the next image). Time to start).
ステップS17の判断は、再生時間選択メニューにおけるユーザの操作に従って行われる。再生時間選択メニューは、例えば、図6に示されているように、一画像あたりの再生時間として、「1秒」、「3秒」、「5秒」、「8秒」、「10秒」、及び「カスタム」という項目を含み、スライドショーの総再生時間として、「1分」、「3分」、「5分」、「8分」、「10分」、「15分」、「20分」、「30分」、「カスタム」、及び「制限なし」という項目を含むメニューである。 The determination in step S17 is made according to the user's operation on the playback time selection menu. For example, as shown in FIG. 6, the playback time selection menu includes “1 second”, “3 seconds”, “5 seconds”, “8 seconds”, “10 seconds” as the playback time per image. , And “custom”, and the total playback time of the slide show is “1 minute”, “3 minutes”, “5 minutes”, “8 minutes”, “10 minutes”, “15 minutes”, “20 minutes” ”,“ 30 minutes ”,“ custom ”, and“ no limit ”.
ユーザは、操作部20の十字キーを操作して、一画像あたりの再生時間について1つ、スライドショーの総再生時間について1つをそれぞれ選択してOKボタンを押下することにより、対応する項目を選択設定することができる。図6では、一例として、一画像当たりの再生時間として、「3秒」が、スライドショーの総再生時間として、「5分」が選択されている状態が示されている。この設定では、原則として、100枚の画像がスライドショー表示されることになる。
The user operates the cross key of the
なお、図6において、「(AUTO)」と付記されている項目(「3秒」、「制限なし」の項目)は、デフォルト値を示している。即ち、ユーザがここでの設定操作をスキップ(省略)した場合には、装置側で自動設定する条件であることを示している。また、「制限なし」とはスライドショーのために抽出された画像が全て再生されるまで、スライドショー表示を続けることを意味している。さらに、「カスタム」を選択した場合には、ユーザは、任意の時間を設定することができ、例えば、「一画像あたりの再生時間」については、1秒〜59秒まで1秒単位で、「スライドショーの総再生時間」については、1分〜59分まで1分単位で設定することができる。 In FIG. 6, items appended with “(AUTO)” (items of “3 seconds” and “no restriction”) indicate default values. That is, when the user skips (omits) the setting operation here, it indicates that the conditions are automatically set on the apparatus side. Further, “no restriction” means that the slide show display is continued until all the images extracted for the slide show are reproduced. Furthermore, when “custom” is selected, the user can set an arbitrary time. For example, “playback time per image” can be set in units of one second from 1 second to 59 seconds. The “total slide show playback time” can be set in increments of 1 minute from 1 minute to 59 minutes.
ステップS17において、総再生時間、及び一画像あたりの再生時間の選択がなされていないと判断した場合(Nの場合)には選択が行われるまで待ち、選択がなされていると判断した場合(Yの場合)には、各メニューで選択設定された「総再生時間」及び「一画像あたりの再生時間」、並びに「スライドショーモードの情報」を、メモリ35に記憶する。ここで、もしユーザにより選択操作がなされることなく、初期設定画面が終了された場合には、「自動選択画像表示モード」が自動決定され、且つ再生時間は「AUTO」の条件が付記された項目が自動決定されてメモリ35に記憶される。
If it is determined in step S17 that the total playback time and playback time per image have not been selected (in the case of N), the process waits until selection is made, and if it is determined that the selection has been made (Y In the case of (1), “total playback time” and “playback time per image” selected in each menu, and “slide show mode information” are stored in the
〔スライドショー実行時の動作〕
図7は本発明の実施形態におけるスライドショー実行時の動作を示すフローチャートである。この処理は、操作部20のスライドショー開始ボタンをユーザがオン(ON)操作することにより開始する。
[Operation during slide show execution]
FIG. 7 is a flowchart showing the operation at the time of executing the slide show in the embodiment of the present invention. This process starts when the user turns on (ON) the slide show start button of the
まず、初期設定フロー(図4)で設定されたスライドショー実行条件(スライドショーモード、総再生時間、一画像あたりの再生時間)をメモリ35から読み出す(ステップS31)。次いで、自動選択画像表示モードか否かを判断し(ステップS33)、自動選択画像表示モードと判断した場合(Yの場合)には、スライドショー用の画像を自動的に抽出する抽出処理を行う(ステップS35)。このステップS35は、後述する複数のサブルーチンの何れか、あるいはそれのうちの幾つか又はそれらの全部の組み合わせによって、スライドショー用画像を自動的に抽出するステップである。 First, the slide show execution conditions (slide show mode, total playback time, playback time per image) set in the initial setting flow (FIG. 4) are read from the memory 35 (step S31). Next, it is determined whether or not the mode is the automatic selection image display mode (step S33). If it is determined that the mode is the automatic selection image display mode (in the case of Y), an extraction process for automatically extracting slide show images is performed ( Step S35). This step S35 is a step of automatically extracting a slide show image by any one of a plurality of subroutines to be described later, or some or all of them.
次いで、総再生時間の設定があるか否かを判断し(ステップS37)、総再生時間の設定があると判断した場合(Yの場合)には、ステップS39に進む。 Next, it is determined whether there is a total playback time setting (step S37). If it is determined that there is a total playback time setting (in the case of Y), the process proceeds to step S39.
ステップS39においては、ステップS35で抽出した画像(抽出画像)が、一画像あたりの再生時間を踏まえて総再生時間内に収まるか否か、即ち、抽出画像の数が、総再生時間及び一画像あたりの再生時間とから求められる表示可能枚数を越えるか否かを判断する。 In step S39, whether or not the image (extracted image) extracted in step S35 is within the total playback time based on the playback time per image, that is, the number of extracted images is the total playback time and one image. It is determined whether or not the number of displayable images obtained from the per-playback time is exceeded.
ステップS39において、抽出画像が総再生時間内に収まる、即ち表示可能枚数を越えないと判断した場合(Yの場合)には、設定された一画像あたりの再生時間で各抽出画像を撮影時刻順に順次再生表示し、表示すべき全画像を再生したならば、スライドショーを終了する(ステップS41)。 In step S39, when it is determined that the extracted images are within the total reproduction time, that is, the number of displayable images is not exceeded (in the case of Y), the extracted images are arranged in the order of photographing time with the set reproduction time per image. If all the images to be displayed are reproduced and displayed sequentially, the slide show is terminated (step S41).
なお、ステップS41において、撮影時刻差に基づく撮影間隔の比で、各画像についてのそれぞれの再生時間を設定する、即ち、総再生時間を、それぞれの画像に係る撮影時刻に基づく撮影間隔の比に従って配分した表示時間間隔で画像を表示させるようにしても良い。 In step S41, the respective reproduction times for each image are set by the ratio of the photographing intervals based on the photographing time difference, that is, the total reproduction time is set according to the ratio of the photographing intervals based on the photographing times related to the respective images. Images may be displayed at the allocated display time intervals.
ステップS39において、抽出画像が、総再生時間内に収まらない、即ち表示可能枚数を越えると判断した場合(Nの場合)には、ステップS35で用いる後述する抽出条件(閾値)を変更し(ステップS43)、ステップS35に戻る。ステップS35,S37,S39,S43のループは、総再生時間内に抽出画像が全て表示されるようになるまで、ステップS43で抽出条件を変更しつつ、繰り返し行われる。 If it is determined in step S39 that the extracted image does not fit within the total playback time, that is, the number of displayable images is exceeded (in the case of N), an extraction condition (threshold) described later used in step S35 is changed (step S35). S43), the process returns to step S35. The loop of steps S35, S37, S39, and S43 is repeated while changing the extraction conditions in step S43 until all the extracted images are displayed within the total playback time.
なお、ステップS39及びS41においては、ステップS35で連写モードの動く被写体画像を複数抽出したときには(詳細後述)、これらの画像については、当該連写モードの連続撮影間隔(例えば、0.2秒)と同じ表示間隔で連写画像を切り替えて表示するよう考慮しても良い。 In steps S39 and S41, when a plurality of subject images that move in the continuous shooting mode are extracted in step S35 (details will be described later), for these images, the continuous shooting interval (for example, 0.2 seconds) in the continuous shooting mode. ), It may be considered to switch and display continuous shot images at the same display interval.
また、ステップS39及びS41においては、ステップS35で連写モードの動く被写体画像を複数抽出したときには(詳細後述)、当該連写モードの動く被写体に係る複数の画像を縮小した画像(サムネイル画像)を1画面に縦横に並べて、1つの画像として表示するようにしても良い。なお、サムネイル画像の表示としては、画像ファイルDFの付随情報ADにサムネイル画像が設定されている場合には、そのサムネイル画像を用いて行うと良い。 In steps S39 and S41, when a plurality of subject images moving in the continuous shooting mode are extracted in step S35 (details will be described later), images (thumbnail images) obtained by reducing a plurality of images related to the subject moving in the continuous shooting mode are extracted. The images may be arranged vertically and horizontally on one screen and displayed as one image. The thumbnail image may be displayed using the thumbnail image when the thumbnail image is set in the accompanying information AD of the image file DF.
ステップS37において、総再生時間の設定がないと判断した場合、即ち総再生時間の項目として「制限なし(AUTO)」が選択されている場合(Nの場合)には、設定されている一画像あたりの再生時間で各抽出画像を撮影時刻順に順次再生表示し、全画像を再生したならば、スライドショーを終了する(ステップS45)。 If it is determined in step S37 that the total playback time is not set, that is, if “no limit (AUTO)” is selected as the item of the total playback time (in the case of N), one set image is set. Each extracted image is sequentially reproduced and displayed in the order of the photographing time with the corresponding reproduction time, and when all the images are reproduced, the slide show is ended (step S45).
ステップS33において、自動選択画像表示モードでないと判断した場合、即ち全画像スライドショーモード又はマニュアル選択モードであると判断した場合(Nの場合)には、総再生時間の設定があるか否かを判断し(ステップS47)、総再生時間の設定があると判断した場合(Yの場合)には、設定された一画像あたりの再生時間で各抽出画像を撮影時刻順に順次再生表示し、表示すべき全画像を再生したならば、スライドショーを終了する(ステップS51)。この場合において、設定されている総再生時間を経過した場合には、未再生の画像が残っていても、スライドショーは打ち切り終了する。 If it is determined in step S33 that the mode is not the automatic selection image display mode, that is, if it is determined that the mode is the all-image slide show mode or the manual selection mode (in the case of N), it is determined whether there is a total playback time setting. If it is determined that there is a total playback time setting (in the case of Y), each extracted image should be sequentially played back and displayed in the order of the shooting time in the set playback time per image. If all the images have been reproduced, the slide show ends (step S51). In this case, when the set total playback time has elapsed, the slide show is terminated even if unplayed images remain.
なお、ステップS51において、撮影時刻差に基づく撮影間隔の比で、各画像についてのそれぞれの再生時間を設定する、即ち、総再生時間を、それぞれの画像に係る撮影時刻に基づく撮影間隔の比に従って配分した表示時間間隔で画像を表示させるようにしても良い。 In step S51, the reproduction time for each image is set by the ratio of the photographing intervals based on the photographing time difference, that is, the total reproduction time is set according to the ratio of the photographing intervals based on the photographing times related to the respective images. Images may be displayed at the allocated display time intervals.
ステップS47において、総再生時間の設定がないと判断した場合(Nの場合)には、設定されている一画像あたりの再生時間で各画像を撮影時刻順に順次再生し、表示すべき全画像を再生したならば、スライドショーを終了する(ステップS53)。 If it is determined in step S47 that the total playback time has not been set (in the case of N), each image is sequentially played back in the order of shooting time with the set playback time per image, and all images to be displayed are displayed. If it has been reproduced, the slide show is terminated (step S53).
なお、画像ファイルDFに付随情報ADとして、各種の撮影モード(例えば、スピード感あふれるスポーツシーンを撮影する場合等に用いるスポーツモード、背景を少しぼかして人物を引き立てた写真を撮る場合等に用いるポートレートモード)に関する撮影モード情報が記録されている場合には、ステップS41,S45,S51又はS53において、複数の画像をスライドショー表示する際に、付随情報ADに含まれる撮影モード情報に従って、表示部32に表示する表示方法を変更するようにしても良い。表示方法としては、例えば、スポーツモードの場合には本やアルバム等の頁をめくるようなエフェクトを与える表示方法、ポートレートモードの場合には画像毎にフェードイン/フェードアウトするエフェクトを与える表示方法等とすることができる。
The image file DF includes additional information AD, such as various shooting modes (for example, a sports mode used when shooting a sports scene with a sense of speed, a port used when taking a photo with a slightly blurred background and a person being highlighted) When shooting mode information related to (rate mode) is recorded, the
〔画像の抽出処理〕
図8は本発明の実施形態における画像の抽出処理(図7のステップS35のサブルーチン)を示すフローチャートである。
[Image extraction processing]
FIG. 8 is a flowchart showing image extraction processing (subroutine of step S35 of FIG. 7) in the embodiment of the present invention.
この画像の抽出処理は、現在再生予定の画像である現画像と該現画像よりも前に再生予定の画像である前画像との輝度値に基づく第1抽出処理(ステップS100)、現画像と前画像との色特性値に基づく第2抽出処理(ステップS200)、付随情報(撮影時刻情報、撮影場所情報)に基づく第3抽出処理(ステップS300)、ブラケティング撮影モードの場合の第4抽出処理(ステップS400)、連写モードの場合の第5抽出処理(ステップS500)、及び不適正な画像を排除する第6抽出処理(ステップS600)を備えて構成されている。 This image extraction process includes a first extraction process (step S100) based on luminance values of a current image that is an image scheduled to be reproduced and a previous image that is an image scheduled to be reproduced before the current image, Second extraction process (step S200) based on color characteristic values with the previous image, third extraction process (step S300) based on accompanying information (shooting time information, shooting location information), and fourth extraction in bracketing shooting mode The process (step S400), the fifth extraction process in the continuous shooting mode (step S500), and the sixth extraction process (step S600) for removing inappropriate images are configured.
なお、図8では、第1抽出処理〜第6抽出処理(ステップS100〜S600)は、この順に全てを実行するようにしているが、実行の順序はこの順に限られず、また、これらのうちの何れか1つのみを実行し、あるいは2つ以上を組み合わて実行するようにしても良い。 In FIG. 8, the first extraction process to the sixth extraction process (steps S100 to S600) are all executed in this order, but the order of execution is not limited to this order. Only one of them may be executed, or two or more may be executed in combination.
〔輝度値に基づく第1抽出処理(ステップS100)〕
(第1抽出処理の第1処理例)
図9は本発明の実施形態における輝度値に基づく第1抽出処理(図8のステップS100のサブルーチン)の第1処理例を示すフローチャートである。なお、ここでは、画像ファイルDF内の画像データIDの色空間(表色系)としては、YCbCr(YUV)表色系が用いられているものとする。ここで、Yは輝度値、Cb(U)は色特性値(青の色差)、Cr(V)は色特性値(赤の色差)であり、ここでは、輝度値としてのY値を用いて特徴量を算出する。
[First Extraction Processing Based on Luminance Value (Step S100)]
(First processing example of first extraction processing)
FIG. 9 is a flowchart showing a first processing example of the first extraction processing (subroutine of step S100 in FIG. 8) based on the luminance value in the embodiment of the present invention. Here, it is assumed that the YCbCr (YUV) color system is used as the color space (color system) of the image data ID in the image file DF. Here, Y is a luminance value, Cb (U) is a color characteristic value (blue color difference), and Cr (V) is a color characteristic value (red color difference). Here, the Y value is used as the luminance value. The feature amount is calculated.
この第1抽出処理の第1処理例は、現画像と前画像とに基づいて、類似性に関する特徴量を輝度値(Y値)を用いて算出し、該特徴量を輝度値に関する所定の閾値(第1閾値)と比較して、該特徴量が該閾値未満である場合に当該現画像をスライドショー表示からスキップすべき非抽出画像と判別し、該特徴量が該閾値以上である場合にスライドショー表示すべき抽出画像と判別する処理である。 In the first processing example of the first extraction process, a feature amount related to similarity is calculated using a luminance value (Y value) based on the current image and the previous image, and the feature amount is calculated using a predetermined threshold value related to the luminance value. Compared with (first threshold value), if the feature amount is less than the threshold value, the current image is determined as a non-extracted image to be skipped from the slide show display, and if the feature amount is greater than or equal to the threshold value, a slide show is performed. This is a process for discriminating an extracted image to be displayed.
なお、ここでは、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、必要に応じて、付随情報ADの全部又は一部も読み込むものとする。画像を読み込む際の撮影時刻の前後関係は、付随情報AD内の撮影時刻情報、画像ファイルDFの作成時刻(年月日時分秒)、又は画像ファイルDFのファイル名に含まれる番号等に基づいて認識することができる。なお、前画像とは、ここでは、現画像の直前に再生予定の画像であるものとするが、直前に再生予定の画像に限られず、該直前の画像よりも更に前に再生予定の画像であっても良い。
Here, the reading of the image from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)を読み込む(ステップS110)。即ち、現画像のX方向(横方向)の画素の位置をx(x=1,2,…,m)、現画像のY方向(縦方向)の画素の位置をy(y=1,2,…,n)とした二次元配列f(x,y)に、これらにそれぞれ対応する画素についての輝度値(Y値)を読み込む。なお、ここでは、輝度値(Y値)のみを用いて特徴量を算出するため、Y値のみを読み込むものとするが、色特性値としてのCb値及び/又は色特性値としてのCr値を同時に読み込むようにしても良い。なお、この処理が開始されてステップS110が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, current image data (image data related to the current image) is read from the image storage unit 31 (step S110). That is, the position of the pixel in the X direction (horizontal direction) of the current image is x (x = 1, 2,..., M), and the position of the pixel in the Y direction (vertical direction) of the current image is y (y = 1, 2). ,..., N) are read into the two-dimensional array f (x, y), and the luminance values (Y values) for the corresponding pixels are read. Here, since the feature amount is calculated using only the luminance value (Y value), only the Y value is read. However, the Cb value as the color characteristic value and / or the Cr value as the color characteristic value are used. You may make it read simultaneously. When this process is started and step S110 is executed for the first time, the image data with the earliest shooting time in the
次いで、同様に、画像記憶部31から前画像データ(前画像に係る画像データ)を読み込む(ステップS120)。即ち、前画像のX方向(横方向)の画素の位置をx(x=1,2,…,m)、前画像のY方向(縦方向)の画素の位置をy(y=1,2,…,n)とした二次元配列g(x,y)に、これらにそれぞれ対応する画素についての輝度値(Y値)を読み込む。なお、ここでは、輝度値(Y値)のみを用いて特徴量を算出するため、Y値のみを読み込むものとするが、色特性値としてのCb値及び/又は色特性値としてのCr値を同時に読み込むようにしても良いのは、現画像の場合と同様である。なお、この処理が開始されてステップS120が初めて実行される場合には、ステップS110で読み込まれた画像よりも撮影時刻が早いものは存在しないため、データの読み込みは行われず、配列g(x,y)は全てデフォルト値(例えば、最小輝度値又は最高輝度値)となっているものとする。 Next, similarly, the previous image data (image data related to the previous image) is read from the image storage unit 31 (step S120). That is, the position of the pixel in the X direction (horizontal direction) of the previous image is x (x = 1, 2,..., M), and the position of the pixel in the Y direction (vertical direction) of the previous image is y (y = 1, 2). ,..., N) are read into the two-dimensional array g (x, y) corresponding to the respective luminance values (Y values). Here, since the feature amount is calculated using only the luminance value (Y value), only the Y value is read. However, the Cb value as the color characteristic value and / or the Cr value as the color characteristic value are used. Similar to the case of the current image, it may be read at the same time. Note that when this process is started and step S120 is executed for the first time, there is no image whose shooting time is earlier than the image read in step S110, so that no data is read and the array g (x, It is assumed that all y) are default values (for example, the minimum luminance value or the maximum luminance value).
次いで、特徴量として、輝度値(Y値)の差の絶対値の積算値を算出する(ステップS130)。即ち、特徴量に係る作業変数dsumに、f(x,y)−g(x,y)の絶対値を、全画素(全領域)について順次加算することにより、当該特徴量を得る。 Next, an integrated value of absolute values of differences in luminance values (Y values) is calculated as a feature amount (step S130). That is, the feature value is obtained by sequentially adding the absolute value of f (x, y) -g (x, y) for all pixels (all regions) to the work variable dsum related to the feature value.
次いで、この特徴量dsumが所定の閾値として予め設定された閾値th1未満であるか否かを判断し(ステップS140)、該閾値未満である場合(Yの場合)には、現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定し(ステップS150)、該閾値以上である場合(Nの場合)には、現画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定する(ステップS160)。 Next, it is determined whether or not the feature amount dsum is less than a threshold th1 preset as a predetermined threshold (step S140). If it is less than the threshold (in the case of Y), display of the current image is performed. A numerical value “0” indicating non-display (non-extraction) is set in the flag flg1 (step S150), and if it is equal to or greater than the threshold (in the case of N), display (extraction) is displayed in the display flag flg1 for the current image. A numerical value “1” is set (step S160).
なお、閾値は、現画像と前画像との類似性の範囲を規定するものであり、この閾値として比較的に大きな値を用いれば、類似性の範囲を大きくすることができ、閾値として比較的に小さな値を用いれば、類似性の範囲を小さくすることができる。この閾値は、類似判別に用いる特徴量の内容(ここでは、輝度値)との関係で適宜な値が用いられ、ここでは、予め設定された固定の値が用いられるものとする。 The threshold value defines the range of similarity between the current image and the previous image. If a relatively large value is used as the threshold value, the range of similarity can be increased, and the threshold value can be relatively large. If a small value is used, the similarity range can be reduced. As this threshold value, an appropriate value is used in relation to the content of the feature amount used for similarity determination (here, the luminance value), and a preset fixed value is used here.
但し、この閾値は、ユーザによる操作部20を用いた所定の設定操作により、段階的に又は連続的に変更できるようにしても良い。また、この閾値は過去の判別結果を統計的に処理して得られる値に基づいて、動的に自動変更するようにしても良い。一例として、判別結果(抽出又は非抽出)の過去の履歴を一定量保持しておき、非抽出(類似性あり)との判別結果が長時間に渡って継続した場合には閾値をより小さい値に変更し、抽出(類似性なし)との判別結果が長時間に渡って継続した場合には閾値をより大きい値に変更するようにできる。この実施形態では、上述したように、図7のステップS43において、一画像あたりの再生時間と総再生時間との関係で定まる表示可能枚数以内に抽出画像の枚数が収まるように、動的に変更するようにしている。
However, this threshold value may be changed stepwise or continuously by a predetermined setting operation using the
その後、最終画像か否かを判断し(ステップS170)、最終画像でないと判断した場合(Nの場合)には、ステップS110に戻って、順次、次の画像を現画像とし、直前の現画像を前画像として、同様の処理を繰り返し(ステップS110〜S170)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, it is determined whether or not the image is the final image (step S170). If it is determined that the image is not the final image (in the case of N), the process returns to step S110 to sequentially set the next image as the current image and the immediately preceding current image. The same process is repeated (steps S110 to S170), and when it is determined that the image is the final image (in the case of Y), this process ends and the process returns to FIG.
なお、この処理では、類似性の判別に用いる特徴量の算出に、輝度値(Y値)のみを用いるものとしたが、色特性値としてのCb値及び/又はCr値についても、同様に、現画像と前画像との差の積算値を算出して、これらをこられに対応して予め設定された閾値と比較した結果をも用いて、類似性の判別を行うようにしても良い。この場合には、これらの輝度値と色特性値の何れか1つについて、類似と判別された場合に全体として類似と判別するようにしても良いし、これらの輝度値と色特性値の全部が類似と判別された場合に全体として類似と判別するようにしても良い。輝度値(Y値)と色特性値(Cb値及び/又はCr値)との組み合わせではなく、色特性値(Cb値及び/又はCr値)のみに基づいて類似性を判別するようにしても良い。このことは、後述する第1抽出処理の第2処理例〜第5処理例についても同様である。 In this process, only the luminance value (Y value) is used for the calculation of the feature amount used for the similarity determination. However, the Cb value and / or the Cr value as the color characteristic value are similarly described. The integrated value of the difference between the current image and the previous image may be calculated, and the similarity may be determined using the result of comparing these values with a preset threshold corresponding to the calculated value. In this case, if any one of these luminance values and color characteristic values is determined to be similar, it may be determined as similar as a whole, or all of these luminance values and color characteristic values may be determined. May be determined as similar as a whole. Similarity may be determined based on only the color characteristic value (Cb value and / or Cr value), not the combination of the luminance value (Y value) and the color characteristic value (Cb value and / or Cr value). good. The same applies to the second to fifth processing examples of the first extraction processing described later.
(第1抽出処理の第2処理例)
図10は本発明の実施形態における輝度値に基づく第1抽出処理(図8のステップS100のサブルーチン)の第2処理例を示すフローチャートである。なお、図9と実質的に同一のステップについては、同一の符号を付して、その説明の一部を省略する。
(Second processing example of first extraction processing)
FIG. 10 is a flowchart showing a second processing example of the first extraction processing (subroutine of step S100 in FIG. 8) based on the luminance value in the embodiment of the present invention. Note that steps substantially the same as those in FIG. 9 are denoted by the same reference numerals, and a part of the description is omitted.
上述した第1抽出処理の第1処理例では、輝度値に関する特徴量として、現画像の全体(全領域)と前画像の全体(全領域)について、互いに対応する画素毎に差分をとって、これらを積算したものを用いた。これに対し、この第1抽出処理の第2処理例では、現画像の全領域の中の特定の領域と前画像の全領域の中の特定の領域について、互いに対応する画素毎に差分をとって、これらを積算したものを用いるようにしている。現画像の特定の領域の位置と前画像の特定の領域の位置とは、互いに対応する位置であっても、異なる位置であっても良い。 In the first processing example of the first extraction process described above, as the feature value related to the luminance value, a difference is obtained for each pixel corresponding to each other with respect to the entire current image (all regions) and the entire previous image (all regions), What integrated these was used. On the other hand, in the second processing example of the first extraction process, a difference is taken for each pixel corresponding to a specific area in the entire area of the current image and a specific area in the entire area of the previous image. Thus, the sum of these is used. The position of the specific area of the current image and the position of the specific area of the previous image may be positions corresponding to each other or different positions.
画像の全領域の中の特定の領域は、操作部20を用いてユーザによって設定されるようにしても良いが、ここでは、公知の顔認識技術を用いた顔認識部を具備せしめて、画像中に存在する人物の顔に係る領域を自動的に抽出し、当該顔に係る領域を特定の領域とするようにしている。
A specific area in the entire area of the image may be set by the user using the
即ち、図10において、現画像の読み込み(ステップS110)、及び前画像の読み込み(ステップS120)を行った後に、現画像及び前画像の何れか一方(ここでは、現画像とする)について、顔の領域を検出する顔検出処理を行う(ステップS121)。 That is, in FIG. 10, after the current image is read (step S110) and the previous image is read (step S120), either the current image or the previous image (here, the current image) A face detection process for detecting the region is performed (step S121).
次いで、処理対象の画素(x、y)が当該顔の領域(エリア)の内側に存在するか、外側に存在するかをそれぞれ判断し(ステップS122)、顔の領域の内側に存在する画素については(Yの場合)ステップS130で積算処理を行い、外側に存在する画素については(Nの場合)ステップS130を実行せずにステップS140に進む。 Next, it is determined whether the pixel (x, y) to be processed exists inside or outside the face area (area) (step S122), and the pixels existing inside the face area are determined. (In the case of Y), the integration process is performed in step S130, and for pixels existing outside (in the case of N), the process proceeds to step S140 without executing step S130.
次いで、この特徴量dsumが所定の閾値(第1閾値)として予め設定された閾値th2未満であるか否かを判断し(ステップS140)、該閾値未満である場合(Yの場合)には、現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定し(ステップS150)、該閾値以上である場合(Nの場合)には、現画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定する(ステップS160)。 Next, it is determined whether or not the feature amount dsum is less than a predetermined threshold th2 set as a predetermined threshold (first threshold) (step S140). If it is less than the threshold (in the case of Y), A numerical value “0” indicating non-display (non-extraction) is set to the display flag flg1 for the current image (step S150), and if it is equal to or greater than the threshold (in the case of N), the display flag flg1 for the current image is set. A numerical value “1” indicating display (extraction) is set (step S160).
なお、ここでは、現画像についての顔検出処理により検出された人物の顔に係る特定の領域と、前画像のこれに対応する特定の領域について、輝度値の差の積算処理(ステップS130)を行うようにしたが、これと逆に、前画像についての顔検出処理により検出された人物の顔に係る特定の領域と、現画像のこれに対応する特定の領域について、輝度値の差の積算処理(ステップS130)を行うようにしても良い。 Here, the luminance value difference accumulation process (step S130) is performed for a specific area related to the human face detected by the face detection process for the current image and a specific area corresponding to this in the previous image. Contrary to this, on the contrary, the integration of the luminance value difference between the specific area related to the face of the person detected by the face detection process for the previous image and the specific area corresponding to this of the current image Processing (step S130) may be performed.
また、現画像の特定の領域と前画像の特定の領域とは、その位置は互いに対応している(一致している)必要もなく、現画像と前画像とで、顔検出処理(ステップS121)をそれぞれ別々に行い、現画像についての顔検出処理により検出された特定領域と、前画像についての顔検出処理により検出された特定領域について、輝度値の差の積算処理(ステップS130)を行うようにしても良い。 Further, the specific area of the current image and the specific area of the previous image do not need to correspond to each other (match), and face detection processing (step S121) is performed between the current image and the previous image. ) Are separately performed, and a luminance value difference accumulation process (step S130) is performed for the specific area detected by the face detection process for the current image and the specific area detected by the face detection process for the previous image. You may do it.
このように、この処理では、画像中の人物の顔に係る領域を特定の領域として、当該特定領域について輝度値の差の積算値を算出するようにしたので、現画像及び前画像中に互いに同一又は類似する顔が存在する場合には、背景が異なっている場合であっても、スライドショー表示において、当該現画像の表示はスキップされることになる。 In this way, in this process, the area related to the human face in the image is set as a specific area, and the integrated value of the luminance value difference is calculated for the specific area. When the same or similar face exists, even if the background is different, the display of the current image is skipped in the slide show display.
なお、これと逆に、画像中の人物の顔に係る領域以外の領域を特定領域として、その輝度値の差の積算値をとるようにしても良い。この場合には、背景が同一又は類似していれば、画像中の人物の顔が異なっていても、当該現画像の表示はスキップされることになる。特定領域として、画像中の人物の顔に係る領域を特定領域とするか、人物の顔に係る領域以外の領域(背景に係る領域)を特定領域とするかは、ユーザにより操作部20を用いて予め行われる選択操作に従って、選択し得るようにしても良い。
In contrast to this, an area other than the area related to the face of the person in the image may be set as the specific area, and an integrated value of the difference between the luminance values may be taken. In this case, if the background is the same or similar, the display of the current image is skipped even if the faces of persons in the image are different. The user uses the
また、ここでは、画像中の人物の顔に係る領域の大きさ(画像全体に占める割合)の大小にかかわらず、当該顔が同一又は類似する場合に、現画像をスキップさせるべき(非抽出)とし、類似しない場合に現画像をスキップさせるべきでない(抽出)と判別するようにしたが、当該顔に係る領域の大きさを、予め設定された特定領域(顔に係る領域)の大きさに関する所定の閾値(第2閾値)と比較して、当該顔に係る領域が該閾値よりも小さい場合には、当該現画像の表示をスキップすべきでないと判別した場合であっても、当該現画像の表示をスキップさせるようにしても良い。 Here, the current image should be skipped when the face is the same or similar regardless of the size of the area related to the face of the person in the image (ratio to the entire image) (non-extraction). If the current image is not similar, it is determined that the current image should not be skipped (extraction), but the size of the area related to the face is related to the size of the predetermined specific area (area related to the face). If the area related to the face is smaller than the threshold value compared to a predetermined threshold value (second threshold value), even if it is determined that the display of the current image should not be skipped, the current image May be skipped.
さらに、ここでは、特定領域を画像中の人物の顔に係る領域又は人物の顔に係る領域以外の領域としたが、人物の顔ではなく、動物、自動車、建築物、その他の物等の領域を検出して、この領域又はこれ以外の領域を特定領域とするようにしても良い。 Furthermore, here, the specific area is an area related to the face of the person in the image or an area other than the area related to the face of the person, but it is not an area of the person's face, but an area of animals, automobiles, buildings, other things, etc. May be detected, and this region or other regions may be set as the specific region.
(第1抽出処理の第3処理例)
図11は本発明の実施形態における輝度値に基づく第1抽出処理(図8のステップS100のサブルーチン)の第3処理例を示すフローチャートである。なお、図9と実質的に同一のステップについては、同一の符号を付して、その説明の一部を省略する。
(Third processing example of the first extraction processing)
FIG. 11 is a flowchart showing a third processing example of the first extraction processing (subroutine of step S100 in FIG. 8) based on the luminance value in the embodiment of the present invention. Note that steps substantially the same as those in FIG. 9 are denoted by the same reference numerals, and a part of the description is omitted.
上述した第1抽出処理の第1処理例では、現画像及び前画像のそれぞれの輝度値をそのまま用いて、特徴量の算出を行っていた。これに対して、この第2変形例では、読み込んだ現画像と前画像との輝度値(処理前輝度値)をそれぞれ微分フィルタ処理して得られた輝度値(処理後輝度値)について、差の積算値を算出するようにしている。なお、微分フィルタとしては、ラプラシアンフィルタ(ラプラスフィルタ)を例示できるが、これに限定されない。 In the first processing example of the first extraction process described above, the feature values are calculated using the luminance values of the current image and the previous image as they are. On the other hand, in the second modified example, the luminance values (post-process luminance values) obtained by performing differential filter processing on the luminance values (pre-process luminance values) of the read current image and the previous image are different. The integrated value is calculated. In addition, as a differential filter, although a Laplacian filter (Laplace filter) can be illustrated, it is not limited to this.
即ち、ステップS110で現画像f(x,y)の読み込みを行った後に、現画像をラプラシアンフィルタ処理して画像f’(x,y)を求め(ステップS111)、ステップS120で前画像g(x,y)の読み込みを行った後に、前画像をラプラシアンフィルタ処理して画像g’(x,y)を求め(ステップS123)、ステップS131において、dsum+=|f’(x,y)−g’(x,y)|を算出し、該ラプラシアンフィルタ処理後の輝度値に関する所定の閾値(第1閾値)としての閾値th3と比較するようにしている。その他は、図9の第1処理例と同様である。 That is, after reading the current image f (x, y) in step S110, the current image is subjected to Laplacian filter processing to obtain an image f ′ (x, y) (step S111). In step S120, the previous image g ( After reading x, y), the previous image is subjected to Laplacian filter processing to obtain an image g ′ (x, y) (step S123). In step S131, dsum + = | f ′ (x, y) −g '(X, y) | is calculated and compared with a threshold th3 as a predetermined threshold (first threshold) regarding the luminance value after the Laplacian filter processing. The rest is the same as the first processing example of FIG.
なお、微分フィルタ処理を、上述した第2処理例(図10)に適用して、画像中の人物の顔等に係る特定領域について微分フィルタ処理を行った後に、その差分の積算値を算出するようにしても良い。 The differential filter process is applied to the above-described second processing example (FIG. 10), and after the differential filter process is performed on a specific region related to a human face or the like in the image, an integrated value of the difference is calculated. You may do it.
また、画像中の人物の顔に係る領域の大きさ(画像全体に占める割合)を、予め設定された特定領域(顔に係る領域)の大きさに関する所定の閾値(第2閾値)と比較して、当該顔に係る領域が該閾値よりも小さい場合には、当該現画像の表示をスキップすべきでないと判別した場合であっても、当該現画像の表示をスキップさせるようにしても良い。 Also, the size of the area related to the face of the person in the image (ratio to the entire image) is compared with a predetermined threshold (second threshold) relating to the size of the predetermined specific area (area related to the face). Thus, when the area related to the face is smaller than the threshold value, the display of the current image may be skipped even when it is determined that the display of the current image should not be skipped.
(第1抽出処理の第4処理例)
図12は本発明の実施形態における輝度値に基づく第1抽出処理(図8のステップS100のサブルーチン)の第4処理例を示すフローチャートである。なお、図9又は図11と実質的に同一のステップについては、同一の符号を付して、その説明の一部を省略する。
(Fourth processing example of the first extraction processing)
FIG. 12 is a flowchart showing a fourth processing example of the first extraction processing (subroutine of step S100 in FIG. 8) based on the luminance value in the embodiment of the present invention. In addition, about the step substantially the same as FIG. 9 or FIG. 11, the same code | symbol is attached | subjected and the one part description is abbreviate | omitted.
上述した第1抽出処理の第1処理例では、現画像及び前画像のそれぞれの輝度値をそのまま用いて、特徴量の算出を行っていた。これに対して、この第4処理例では、読み込んだ現画像と前画像との輝度値(処理前輝度値)をそれぞれ周波数変換処理して得られた輝度値(処理後輝度値)について、差の積算値を算出するようにしている。なお、周波数変換処理としては、DCT(離散コサイン変換)フィルタ処理を例示できるが、これに限定されない。 In the first processing example of the first extraction process described above, the feature values are calculated using the luminance values of the current image and the previous image as they are. On the other hand, in the fourth processing example, the luminance values (post-process luminance values) obtained by frequency-converting the luminance values (pre-process luminance values) of the read current image and the previous image are different. The integrated value is calculated. In addition, as a frequency conversion process, although a DCT (discrete cosine transform) filter process can be illustrated, it is not limited to this.
即ち、ステップS110で現画像f(x,y)の読み込みを行った後に、現画像をDCTフィルタ処理して画像f’(x,y)を求め(ステップS112)、ステップS120で前画像g(x,y)の読み込みを行った後に、前画像をDCTフィルタ処理して画像g’(x,y)を求め(ステップS124)、ステップS131において、dsum+=|f’(x,y)−g’(x,y)|を算出し、該DCTフィルタ処理後の輝度値に関する所定の閾値(第1閾値)としての閾値th4と比較するようにしている。その他は、図9の第1処理例又は図11の第3処理例と同様である。 That is, after reading the current image f (x, y) in step S110, the current image is subjected to DCT filter processing to obtain an image f ′ (x, y) (step S112), and in step S120, the previous image g ( After reading x, y), the previous image is subjected to DCT filter processing to obtain an image g ′ (x, y) (step S124). In step S131, dsum + = | f ′ (x, y) −g '(X, y) | is calculated and compared with a threshold th4 as a predetermined threshold (first threshold) regarding the luminance value after the DCT filter processing. The rest is the same as the first processing example in FIG. 9 or the third processing example in FIG. 11.
なお、DCTフィルタ処理を、上述した第2処理例(図10)に適用して、画像中の人物の顔等に係る特定領域についてDCTフィルタ処理を行った後に、その差分の積算値を算出するようにしても良い。 Note that the DCT filter process is applied to the above-described second process example (FIG. 10), the DCT filter process is performed on a specific region related to a human face or the like in the image, and an integrated value of the difference is calculated. You may do it.
また、画像中の人物の顔に係る領域の大きさ(画像全体に占める割合)を、予め設定された特定領域(顔に係る領域)の大きさに関する所定の閾値(第2閾値)と比較して、当該顔に係る領域が該閾値よりも小さい場合には、当該現画像の表示をスキップすべきでないと判別した場合であっても、当該現画像の表示をスキップさせるようにしても良い。 Also, the size of the area related to the face of the person in the image (ratio to the entire image) is compared with a predetermined threshold (second threshold) relating to the size of the predetermined specific area (area related to the face). Thus, when the area related to the face is smaller than the threshold value, the display of the current image may be skipped even when it is determined that the display of the current image should not be skipped.
(第1抽出処理の第5処理例)
図13は本発明の実施形態における輝度値に基づく第1抽出処理(図8のステップS100のサブルーチン)の第5処理例を示すフローチャートである。なお、図9と実質的に同一のステップについては、同一の符号を付して、その説明の一部を省略する。
(Fifth processing example of first extraction processing)
FIG. 13 is a flowchart showing a fifth processing example of the first extraction processing (subroutine of step S100 in FIG. 8) based on the luminance value in the embodiment of the present invention. Note that steps substantially the same as those in FIG. 9 are denoted by the same reference numerals, and a part of the description is omitted.
上述した第1抽出処理の第1処理例では、現画像及び前画像のそれぞれの互いに対応する画素の輝度値の差の積算値を特徴量として、これを所定の閾値と比較して判別を行っている。これに対して、この第5処理例では、読み込んだ現画像と前画像とを、それぞれ互いに対応する複数の分割領域(分割エリア)に均等に分割し、現画像と前画像の各分割領域毎の輝度値の出現頻度の分布状態の差を特徴量とし、これを当該輝度値の分布状態に関する所定の閾値と比較して判別するものである。換言すると、両画像間の分割領域毎の輝度分布状態の類似度(分布形状)をテンプレートマッチングの手法で判別するものである。 In the first processing example of the first extraction process described above, an integrated value of differences in luminance values of pixels corresponding to each of the current image and the previous image is used as a feature amount, and this is compared with a predetermined threshold value for determination. ing. On the other hand, in the fifth processing example, the read current image and the previous image are equally divided into a plurality of corresponding divided areas (divided areas), and each divided area of the current image and the previous image is divided. The difference in the appearance frequency of the luminance value is used as a feature amount, and this is compared with a predetermined threshold value relating to the distribution state of the luminance value. In other words, the similarity (distribution shape) of the luminance distribution state for each divided region between the two images is determined by the template matching method.
即ち、ステップS110で現画像f(x,y)の読み込みを、ステップS120で前画像g(x,y)の読み込みを行った後に、画像を所定のサイズに分割する分割処理を行う(ステップS125)。ここで、画像の分割処理とは、画像(全領域)の横(X方向)の画素数mをa個に、縦(Y方向)の画素数nをb個に分割して、m’=m/a、n’=n/bとして、それぞれ画素m’×n’からなる複数(a×b個)の分割領域とする処理である。一例として、分割領域の大きさm’×n’は、8×8、16×16、32×32、…とすることができる。 That is, after the current image f (x, y) is read in step S110 and the previous image g (x, y) is read in step S120, a division process for dividing the image into a predetermined size is performed (step S125). ). Here, the image division processing is to divide the number of pixels m in the horizontal direction (X direction) of the image (all areas) into a and the number of pixels n in the vertical direction (Y direction) into b, and m ′ = In this example, m / a and n ′ = n / b are used as a plurality (a × b) of divided regions each including pixels m ′ × n ′. As an example, the size m ′ × n ′ of the divided regions can be 8 × 8, 16 × 16, 32 × 32,.
次いで、両画像間において位置的に対応する分割領域毎にマッチングを取る(ステップS132)。即ち、現画像中の一の分割領域f(x’,y’)と前画像中の一の分割領域g(x’,y’)におけるそれぞれの輝度値の差分の絶対値を順次積算して、積算値dsumを求め、これを現画像中の複数の分割領域と前画像中の複数の分割領域との全ての組み合わせについて行う。従って、(a×b)×(a×b)個の積算値dsumが算出される。 Next, matching is performed for each divided region corresponding to the position between both images (step S132). That is, the absolute values of the differences between the luminance values in one divided region f (x ′, y ′) in the current image and one divided region g (x ′, y ′) in the previous image are sequentially integrated. The integrated value dsum is obtained, and this is performed for all combinations of a plurality of divided areas in the current image and a plurality of divided areas in the previous image. Accordingly, (a × b) × (a × b) integrated values dsum are calculated.
次いで、dsumが一番小さくなる位置の座標と、テンプレートの元の位置の座標の積算を行う(dx+=Δx,dy+=Δy)。ここで、位置の座標とは、撮像された画像上におけるXY座標系上の座標のことである。その後、座標の積算値dxを所定の閾値th5と、座標の積算値dyを所定の閾値th6とそれぞれ比較判断し(ステップS141)、座標の積算値dxが閾値th5未満であり、かつ座標の積算値dyが閾値th6未満である場合(Yの場合)には、現画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定し(ステップS150)、座標の積算値dxが閾値th5以上であり、又は座標の積算値dyが閾値th6以上である場合(Nの場合)には、現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定し(ステップS160)、最終画像か否かを判断する(ステップS170)。 Next, the coordinates of the position where dsum is smallest and the coordinates of the original position of the template are integrated (dx + = Δx, dy + = Δy). Here, the position coordinates are coordinates on the XY coordinate system on the captured image. Thereafter, the coordinate integrated value dx is compared with the predetermined threshold th5 and the coordinate integrated value dy is compared with the predetermined threshold th6 (step S141), the coordinate integrated value dx is less than the threshold th5, and the coordinate integrated value is obtained. When the value dy is less than the threshold th6 (in the case of Y), a numerical value “1” indicating display (extraction) is set to the display flag flg1 for the current image (step S150), and the coordinate integrated value dx is the threshold value. If it is greater than or equal to th5, or if the coordinate integrated value dy is greater than or equal to the threshold th6 (in the case of N), a numerical value “0” indicating non-display (non-extraction) is set in the display flag flg1 for the current image ( In step S160, it is determined whether the image is the final image (step S170).
〔色特性値に基づく第2抽出処理(ステップS200)〕
以下に説明する色特性値に基づく第2抽出処理の第1処理例〜第5処理例は、上述した輝度値に基づく第1抽出処理の第1処理例〜第5処理例に、それぞれ対応して、その一部を変更したものである。即ち、上述した第1抽出処理では、YCbCr表色系で表現された画像データの輝度値(Y値)を特徴量の算出に原則として用いているが、この第2抽出処理では、画像ファイルDF内の画像データIDの色空間(表色系)として、RGB表色系が用いられている点が相違する。ここで、Rは色特性値としての赤(波長700nm)、Gは色特性値としての緑(波長546.1nm)、Bは色特性値としての青(波長435.8nm)である。
[Second Extraction Process Based on Color Characteristic Value (Step S200)]
The first to fifth processing examples of the second extraction process based on the color characteristic values described below correspond to the first to fifth processing examples of the first extraction process based on the luminance value described above, respectively. Part of it. That is, in the first extraction process described above, the luminance value (Y value) of the image data expressed in the YCbCr color system is used in principle for calculating the feature amount. In the second extraction process, the image file DF is used. The difference is that the RGB color system is used as the color space (color system) of the image data ID. Here, R is red (wavelength 700 nm) as a color characteristic value, G is green (wavelength 546.1 nm) as a color characteristic value, and B is blue (wavelength 435.8 nm) as a color characteristic value.
(第2抽出処理の第1処理例)
図14は本発明の実施形態における色特性値に基づく第2抽出処理(図8のステップS200のサブルーチン)の第1処理例を示すフローチャートである。この第2抽出処理の第1処理例は、現画像と前画像とに基づいて、類似性に関する特徴量を色特性値(R値、G値、B値)を用いて算出し、該特徴量を色特性値に関する所定の閾値(第1閾値)と比較して、該特徴量が該閾値未満である場合に当該現画像をスライドショー表示からスキップすべき非抽出画像と判別し、該特徴量が該閾値以上である場合にスライドショー表示すべき抽出画像と判別する処理である。
(First processing example of second extraction processing)
FIG. 14 is a flowchart showing a first processing example of the second extraction processing (subroutine of step S200 in FIG. 8) based on the color characteristic values in the embodiment of the present invention. In the first processing example of the second extraction process, a feature quantity related to similarity is calculated using color characteristic values (R value, G value, B value) based on the current image and the previous image, and the feature quantity is calculated. Is compared with a predetermined threshold value (first threshold value) for the color characteristic value, and when the feature amount is less than the threshold value, the current image is determined as a non-extracted image to be skipped from the slide show display, and the feature amount is This is a process for discriminating an extracted image to be displayed as a slide show when the threshold is exceeded.
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)を読み込む(ステップS210)。即ち、現画像のX方向(横方向)の画素の位置をx(x=1,2,…,m)、現画像のY方向(縦方向)の画素の位置をy(y=1,2,…,n)とした二次元配列f(x,y)に、これらにそれぞれ対応する画素についての輝度値(Y値)を読み込む。なお、ここでは、全ての色特性値(R値、G値、B値)を用いて特徴量を算出するものとして、全ての色特性値(R値、G値、B値)を読み込むものとするが、これらのうちの少なくとも1つを読み込むようにしても良い。 When this processing is started, first, current image data (image data relating to the current image) is read from the image storage unit 31 (step S210). That is, the position of the pixel in the X direction (horizontal direction) of the current image is x (x = 1, 2,..., M), and the position of the pixel in the Y direction (vertical direction) of the current image is y (y = 1, 2). ,..., N) are read into the two-dimensional array f (x, y), and the luminance values (Y values) for the corresponding pixels are read. Note that, here, all color characteristic values (R value, G value, B value) are read as the characteristic amount is calculated using all color characteristic values (R value, G value, B value). However, at least one of these may be read.
他のステップは、図9に示した輝度値についての第1抽出処理の第1処理例と同様であるので、実質的に同一のステップには同一の符号を付して、その説明は省略する。 The other steps are the same as in the first processing example of the first extraction processing for the luminance values shown in FIG. 9, and thus substantially the same steps are denoted by the same reference numerals and description thereof is omitted. .
なお、この処理では、類似判別に用いる特徴量の算出に、色特性値(R値、G値、B値)を用いるものとしているため、それぞれの色特性値について特徴量が算出され、こられに対応してそれぞれ予め設定された閾値とそれぞれ比較して、類似性の判別が行われることになる。この場合において、これらの色特性値の何れか1つについて、類似と判別された場合に全体として類似と判別するようにしても良いし、これらのうちの2つが類似と判別された場合に全体として類似と判別するようにしても良いし、これらの全部が類似と判別された場合に全体として類似と判別するようにしても良い。また、これらの3つの色特性値のうちの少なくとも1つを用いて類似性を判別するようにしても良い。以下に説明する第2抽出処理の第2処理例〜第5処理例についても同様である。 In this process, since the color characteristic values (R value, G value, B value) are used for calculating the feature quantity used for similarity determination, the feature quantity is calculated for each color characteristic value. The similarity is determined by comparing with a preset threshold value corresponding to each. In this case, if any one of these color characteristic values is determined to be similar, it may be determined to be similar as a whole, or if two of these are determined to be similar, It may be determined that they are similar, or when all of these are determined to be similar, they may be determined to be similar as a whole. Further, similarity may be determined using at least one of these three color characteristic values. The same applies to the second to fifth processing examples of the second extraction process described below.
(第2抽出処理の第2処理例)
図15は本発明の実施形態における色特性値に基づく第2抽出処理(図8のステップS200のサブルーチン)の第2処理例を示すフローチャートである。ステップS210及びS220において、現画像及び前画像として、色特性値(R値、G値、B値)が読み込まれ、これらの色特性値に基づいて特徴量の算出、該色特性値に関する閾値との比較が行われる点を除いて、上述の図10を参照して説明した第1抽出処理の第2処理例と同じであるので、実質的に同一のステップには同一の符号を付して、その説明は省略する。
(Second processing example of second extraction processing)
FIG. 15 is a flowchart showing a second processing example of the second extraction processing (subroutine of step S200 in FIG. 8) based on the color characteristic values in the embodiment of the present invention. In Steps S210 and S220, color characteristic values (R value, G value, B value) are read as the current image and the previous image, feature values are calculated based on these color characteristic values, and threshold values relating to the color characteristic values are calculated. Are the same as the second processing example of the first extraction processing described with reference to FIG. 10 described above, and thus substantially the same steps are denoted by the same reference numerals. The description is omitted.
(第2抽出処理の第3処理例)
図16は本発明の実施形態における色特性値に基づく第2抽出処理(図8のステップS200のサブルーチン)の第3処理例を示すフローチャートである。ステップS210及びS220において、現画像及び前画像として、色特性値(R値、G値、B値)が読み込まれ、これらを微分フィルタ処理したものに係る色特性値に基づいて特徴量の算出、該微分フィルタ処理した色特性値に関する閾値との比較が行われる点を除いて、上述の図11を参照して説明した第1抽出処理の第3処理例と同じであるので、実質的に同一のステップには同一の符号を付して、その説明は省略する。
(Third processing example of second extraction processing)
FIG. 16 is a flowchart showing a third processing example of the second extraction processing (subroutine of step S200 of FIG. 8) based on the color characteristic values in the embodiment of the present invention. In steps S210 and S220, color characteristic values (R value, G value, B value) are read as the current image and the previous image, and feature values are calculated based on the color characteristic values according to the differential filter processing. Since it is the same as the third processing example of the first extraction processing described with reference to FIG. 11 described above except that the comparison with the threshold value regarding the color characteristic value subjected to the differential filter processing is performed, it is substantially the same. These steps are denoted by the same reference numerals and description thereof is omitted.
(第2抽出処理の第4処理例)
図17は本発明の実施形態における色特性値に基づく第2抽出処理(図8のステップS200のサブルーチン)の第4処理例を示すフローチャートである。ステップS210及びS220において、現画像及び前画像として、色特性値(R値、G値、B値)が読み込まれ、これらを周波数変換処理したものに係る色特性値に基づいて特徴量の算出、該周波数変換処理した色特性値に関する閾値との比較が行われる点を除いて、上述の図12を参照して説明した第1抽出処理の第4処理例と同じであるので、実質的に同一のステップには同一の符号を付して、その説明は省略する。
(Fourth processing example of second extraction processing)
FIG. 17 is a flowchart showing a fourth processing example of the second extraction processing (subroutine of step S200 of FIG. 8) based on the color characteristic values in the embodiment of the present invention. In Steps S210 and S220, color characteristic values (R value, G value, B value) are read as the current image and the previous image, and feature amounts are calculated based on the color characteristic values related to those obtained by frequency conversion processing. Since it is the same as the fourth processing example of the first extraction process described above with reference to FIG. 12 except that a comparison with a threshold value regarding the color characteristic value subjected to the frequency conversion process is performed, it is substantially the same. These steps are denoted by the same reference numerals and description thereof is omitted.
(第2抽出処理の第4変形例)
図18は本発明の実施形態における色特性値に基づく第2抽出処理(図8のステップS200のサブルーチン)の第5処理例を示すフローチャートである。ステップS210及びS220において、現画像及び前画像として、色特性値(R値、G値、B値)が読み込まれる点を除いて、上述の図13を参照して説明した第1抽出処理の第5処理例と同じであるので、実質的に同一のステップには同一の符号を付して、その説明は省略する。
(Fourth modification of the second extraction process)
FIG. 18 is a flowchart showing a fifth processing example of the second extraction processing (subroutine of step S200 in FIG. 8) based on the color characteristic values in the embodiment of the present invention. In steps S210 and S220, the first extraction process described with reference to FIG. 13 described above is performed except that color characteristic values (R value, G value, B value) are read as the current image and the previous image. Since it is the same as 5 processing examples, the same code | symbol is attached | subjected to the substantially same step, and the description is abbreviate | omitted.
〔付随情報に基づく第3抽出処理(ステップS300)〕
(撮影時刻情報に基づく例)
図19は本発明の実施形態における付随情報に基づく第3抽出処理(図8のステップS300のサブルーチン)の撮影時刻情報に基づく例を示すフローチャートである。
[Third extraction process based on accompanying information (step S300)]
(Example based on shooting time information)
FIG. 19 is a flowchart showing an example based on the photographing time information of the third extraction process (subroutine of step S300 in FIG. 8) based on the accompanying information in the embodiment of the present invention.
この第3抽出処理の撮影時刻情報に基づく例は、現画像の付随情報のうちの撮影時刻情報と前画像の付随情報のうちの撮影時刻情報との差(撮影時刻差)を類似性に関する特徴量とし、該特徴量を撮影時刻差に関する所定の閾値(第1閾値)と比較して、該特徴量が該閾値以下である場合に当該現画像をスライドショー表示からスキップすべき非抽出画像と判別し、該特徴量が該閾値を越える場合にスライドショー表示すべき抽出画像と判別する処理である。 In the example based on the shooting time information of the third extraction process, the difference (shooting time difference) between the shooting time information of the accompanying information of the current image and the shooting time information of the accompanying information of the previous image is related to similarity. The feature amount is compared with a predetermined threshold value (first threshold value) related to the shooting time difference, and when the feature amount is equal to or less than the threshold value, the current image is determined as a non-extracted image to be skipped from the slide show display. Then, when the feature amount exceeds the threshold value, it is a process of discriminating the extracted image to be displayed as a slide show.
なお、ここでは、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、付随情報ADのうち少なくとも撮影時刻情報を読み込むものとする。
Here, it is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)をimage1として、その付随情報(撮影時刻情報)を含めて読み込む(ステップS311)。なお、この処理が開始されてステップS311が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this processing is started, first, the current image data (image data related to the current image) is read from the
次いで、同様に、画像記憶部31から前画像データ(前画像に係る画像データ)をimage2として、その付随情報(撮影時刻情報)を含めて読み込む(ステップS312)。なお、この処理が開始されてステップS312が初めて実行される場合には、ステップS311で読み込まれた画像よりも撮影時刻が早いものは存在しないため、データの読み込みは行われず、image2及びその撮影時刻情報はデフォルト値となっているものとする。
Next, similarly, the previous image data (image data related to the previous image) is read from the
次いで、原画像image1の撮影時刻情報と前画像image2の撮影時刻情報の差である撮影時刻差(diff)を求める(ステップS313)。この撮影時刻差diffが撮影時刻差に関する所定の閾値(第1閾値)として予め設定された閾値th7を越えるか否かを判断し(ステップS314)、該閾値を越える場合(Yの場合)には、現画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定し(ステップS315)、該閾値以下である場合(Nの場合)には、現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定する(ステップS316)。 Next, a photographing time difference (diff) that is a difference between the photographing time information of the original image image1 and the photographing time information of the previous image image2 is obtained (step S313). It is determined whether or not the shooting time difference diff exceeds a threshold th7 set in advance as a predetermined threshold (first threshold) relating to the shooting time difference (step S314). Then, a numerical value “1” indicating display (extraction) is set in the display flag flg1 for the current image (step S315), and if it is equal to or less than the threshold value (in the case of N), the display flag flg1 for the current image is not set. A numerical value “0” indicating display (non-extraction) is set (step S316).
なお、現画像と前画像との撮影時刻差が短い場合には、類似の撮影が行われている蓋然性が高いと考えられ、逆に該撮影時刻差が長い場合には、異なる撮影が行われている蓋然性が高いと考えられるので、この閾値は、この観点から適宜な値を設定する。この閾値は、ここでは、予め設定された固定の値が用いられるものとするが、ユーザによる操作部20を用いた所定の設定操作により、段階的に又は連続的に変更できるようにしても良い。
It should be noted that if the difference in shooting time between the current image and the previous image is short, it is considered that there is a high probability that similar shooting has been performed. Conversely, if the difference in shooting time is long, different shooting is performed. The threshold is set to an appropriate value from this viewpoint. Here, a fixed value set in advance is used as the threshold value, but it may be changed stepwise or continuously by a predetermined setting operation using the
また、この閾値は過去の判別結果を統計的に処理して得られる値に基づいて、動的に自動変更するようにしても良い。一例として、判別結果(抽出、非抽出)の過去の履歴を一定量保持しておき、非抽出との判別結果が長時間に渡って継続した場合には閾値をより小さい値に変更し、抽出との判別結果が長時間に渡って継続した場合には閾値をより大きい値に変更するようにできる。この実施形態では、上述したように、図7のステップS43において、一画像あたりの再生時間と総再生時間との関係で定まる表示可能枚数以内に抽出画像の枚数が収まるように、動的に変更するようにしている。 Further, this threshold value may be automatically and dynamically changed based on a value obtained by statistically processing past discrimination results. As an example, keep a certain amount of past history of discrimination results (extracted, non-extracted), and if the discrimination result with non-extraction continues for a long time, change the threshold to a smaller value and extract When the determination result is continued for a long time, the threshold value can be changed to a larger value. In this embodiment, as described above, in step S43 in FIG. 7, the number of extracted images is dynamically changed so that the number of extracted images is within the displayable number determined by the relationship between the reproduction time per image and the total reproduction time. Like to do.
その後、最終画像か否かを判断し(ステップS317)、最終画像でないと判断した場合(Nの場合)には、ステップS311に戻って、順次、次の画像を現画像とし、直前の現画像を前画像として、同様の処理を繰り返し(ステップS311〜S317)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, it is determined whether or not the image is the final image (step S317). If it is determined that the image is not the final image (in the case of N), the process returns to step S311 to sequentially set the next image as the current image and the previous current image. Is repeated as a previous image (steps S311 to S317), and when it is determined that the image is the final image (in the case of Y), this process is terminated and the process returns to FIG.
(撮影場所情報に基づく例)
図20は本発明の実施形態における付随情報に基づく第3抽出処理(図8のステップS300のサブルーチン)の撮影場所情報に基づく例を示すフローチャートである。
(Example based on shooting location information)
FIG. 20 is a flowchart showing an example based on the shooting location information of the third extraction process (subroutine of step S300 of FIG. 8) based on the accompanying information in the embodiment of the present invention.
この第3抽出処理の撮影場所情報に基づく例は、現画像の付随情報のうちの撮影場所情報(GPS情報としての経緯度等)と前画像の付随情報のうちの撮影場所情報との差(撮影場所差)を類似性に関する特徴量とし、該特徴量を撮影場所差に関する所定の閾値(第1閾値)と比較して、該特徴量が該閾値を以下である場合に当該現画像をスライドショー表示からスキップすべき非抽出画像と判別し、該特徴量が該閾値を越える場合にスライドショー表示すべき抽出画像と判別する処理である。 An example based on the shooting location information of the third extraction process is a difference between shooting location information (eg, longitude and latitude as GPS information) in the accompanying information of the current image and shooting location information in the accompanying information of the previous image ( (Shooting location difference) is used as a feature amount related to similarity, and the feature amount is compared with a predetermined threshold value (first threshold value) relating to the shooting location difference. If the feature amount is equal to or less than the threshold value, the current image is displayed as a slideshow. This is a process for discriminating from the display a non-extracted image to be skipped and discriminating it as an extracted image to be displayed as a slide show when the feature amount exceeds the threshold.
なお、ここでは、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、付随情報ADのうち少なくとも撮影場所情報を読み込むものとする。但し、画像記憶部31からの画像の読み出しは、このような撮影時刻順ではなく、特定の地点を基準として(例えば、撮影時刻が最も早いものの場所を基準として)、各画像の撮影場所情報に基づいて求められる直線距離が近いものから順に行うようにしても良い。
Here, it is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)をimage1として、その付随情報(撮影場所情報)を含めて読み込む(ステップS321)。なお、この処理が開始されてステップS321が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, the current image data (image data relating to the current image) is read from the
次いで、同様に、画像記憶部31から前画像データ(前画像に係る画像データ)をimage2として、その付随情報(撮影場所情報)を含めて読み込む(ステップS322)。なお、この処理が開始されてステップS322が初めて実行される場合には、ステップS321で読み込まれた画像よりも撮影時刻が早いものは存在しないため、データの読み込みは行われず、image2及びその撮影場所情報は所定のデフォルト値となっているものとする。
Next, similarly, the previous image data (image data related to the previous image) is read from the
次いで、原画像image1の撮影場所情報と前画像image2の撮影場所情報の差である撮影場所差(diff)を求める(ステップS323)。この撮影場所差diffが撮影場所差に関する所定の閾値として予め設定された閾値th8を越えるか否かを判断し(ステップS324)、該閾値を越える場合(Yの場合)には、現画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定し(ステップS325)、該閾値以下である場合(Nの場合)には、現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定する(ステップS326)。 Next, a shooting location difference (diff), which is the difference between the shooting location information of the original image image1 and the shooting location information of the previous image image2, is obtained (step S323). It is determined whether or not the shooting location difference diff exceeds a threshold th8 set in advance as a predetermined threshold relating to the shooting location difference (step S324). If this threshold is exceeded (in the case of Y), the current image is detected. A numerical value “1” indicating display (extraction) is set in the display flag flg1 (step S325), and if it is equal to or less than the threshold value (in the case of N), it is not displayed (not extracted) in the display flag flg1 for the current image. A numerical value “0” is set (step S326).
なお、現画像と前画像との撮影場所差が小さい場合には、類似の撮影が行われている蓋然性が高いと考えられ、逆に該撮影場所差が大きい場合には、異なる撮影が行われている蓋然性が高いと考えられるので、この閾値は、この観点から適宜な値を設定する。この閾値は、ここでは、予め設定された固定の値が用いられるものとするが、ユーザによる操作部20を用いた所定の設定操作により、段階的に又は連続的に変更できるようにしても良い。
It should be noted that if the difference in shooting location between the current image and the previous image is small, it is considered that there is a high probability that similar shooting has been performed. Conversely, if the difference in shooting location is large, different shooting is performed. The threshold is set to an appropriate value from this viewpoint. Here, a fixed value set in advance is used as the threshold value, but it may be changed stepwise or continuously by a predetermined setting operation using the
また、この閾値は過去の判別結果を統計的に処理して得られる値に基づいて、動的に自動変更するようにしても良い。一例として、判別結果(抽出、非抽出)の過去の履歴を一定量保持しておき、非抽出との判別結果が長時間に渡って継続した場合には閾値をより小さい値に変更し、抽出との判別結果が長時間に渡って継続した場合には閾値をより大きい値に変更するようにできる。この実施形態では、上述したように、図7のステップS43において、一画像あたりの再生時間と総再生時間との関係で定まる表示可能枚数以内に抽出画像の枚数が収まるように、動的に変更するようにしている。 Further, this threshold value may be automatically and dynamically changed based on a value obtained by statistically processing past discrimination results. As an example, keep a certain amount of past history of discrimination results (extracted, non-extracted), and if the discrimination result with non-extraction continues for a long time, change the threshold to a smaller value and extract When the determination result is continued for a long time, the threshold value can be changed to a larger value. In this embodiment, as described above, in step S43 in FIG. 7, the number of extracted images is dynamically changed so that the number of extracted images is within the displayable number determined by the relationship between the reproduction time per image and the total reproduction time. Like to do.
その後、最終画像か否かを判断し(ステップS327)、最終画像でないと判断した場合(Nの場合)には、ステップS321に戻って、順次、次の画像を現画像とし、直前の現画像を前画像として、同様の処理を繰り返し(ステップS321〜S327)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, it is determined whether or not the image is the final image (step S327). If it is determined that the image is not the final image (in the case of N), the process returns to step S321 to sequentially set the next image as the current image and the previous current image. Is repeated as a previous image (steps S321 to S327), and when it is determined that the image is the final image (in the case of Y), this process ends and the process returns to FIG.
〔オートブラケティング撮影モードの場合の第4抽出処理(ステップS400)〕
オートブラケティング撮影モードとは、同一の被写体を各種の撮影パラメータ(撮影条件)を徐々に変えながら複数枚の画像を連続的に記録する撮影モードである。撮影パラメータとしては、特に限定はされないが、露出やホワイトバランス等を例示することができる。ブラケティング撮影で記録する画像の枚数は、例えば、露出ブラケティング撮影モードでは、標準で1枚、プラス側に1段補正して1枚、マイナス側に1段補正して1枚の合計3枚が一般的であるが、標準で1枚、プラス側に1段補正して1枚、プラス側に2段補正して1枚、マイナス側に1段補正して1枚、マイナス側に2段補正して1枚の合計5枚等であってもよい。
[Fourth Extraction Processing in Auto Bracketing Shooting Mode (Step S400)]
The auto bracketing shooting mode is a shooting mode for continuously recording a plurality of images of the same subject while gradually changing various shooting parameters (shooting conditions). The shooting parameters are not particularly limited, but examples include exposure and white balance. For exposure bracketing shooting mode, the number of images recorded by bracketing shooting is, for example, one standard, one correction on the plus side, one correction, and one correction on the minus side, for a total of three images. Generally, 1 sheet is standard, 1 sheet is corrected to the plus side, 1 sheet is corrected, 2 sheets is corrected to the plus side, 1 sheet is corrected, 1 sheet is corrected to the minus side, 1 sheet is corrected, and 2 sheets are aligned to the minus side. It may be corrected to a total of 5 sheets.
オートブラケティング撮影モードで記録された場合には、その画像ファイル内に、画像データの付随情報として、ブラケティング情報が付加されている。ブラケティング情報としては、ブラケティング撮影モードで撮影されたことを示す情報、ブラケティングに用いた撮影パラメータの種類(露出、ホワイトバランス等)を示す情報、ブラケティングに用いた撮影パラメータの補正値(数値又は段数等)を示す情報、ブラケティング撮影された画像群の画像を関連付けるための情報等が設定される。 When recorded in the auto bracketing shooting mode, bracketing information is added to the image file as accompanying information of the image data. The bracketing information includes information indicating that the image was shot in the bracketing shooting mode, information indicating the type of shooting parameters used for bracketing (exposure, white balance, etc.), and correction values for shooting parameters used for bracketing ( Information indicating a numerical value or the number of steps), information for associating images of an image group captured by bracketing, and the like are set.
ブラケティング撮影モードで撮影する場合には、ユーザが操作部20を操作して、所定の設定操作を行うことにより、所望の撮影パラメータについてのブラケティング撮影を行うことができる。撮影パラメータの補正値や1回のブラケティング撮影で記録する画像の枚数等は、ユーザが操作部20を操作して、所定の設定操作を行うことにより、変更設定することができるようにすると良い。
When shooting in the bracketing shooting mode, the user operates the
ブラケティング撮影モードでは、通常、1回のレリーズ(撮影指示)で撮影パラメータを自動変更しつつ所定枚数回(例えば、3回)の記録が行われる。但し、レリーズ毎に撮影パラメータを自動変更しつつ記録が行われる場合もある。これらは撮影パラメータ毎に適宜に決められていたり、ユーザの設定操作により予め設定できるようにしたものもある。 In the bracketing shooting mode, recording is normally performed a predetermined number of times (for example, three times) while automatically changing shooting parameters in one release (shooting instruction). However, recording may be performed while automatically changing the shooting parameters for each release. Some of these are appropriately determined for each shooting parameter, or can be set in advance by a user setting operation.
一例として、露出ブラケティングでは、標準露出で1枚、露出をプラス側に補正して1枚、及び露出をマイナス側に補正して1枚の合計3枚の撮影及び記録が連続的に行われ、ホワイトバランスブラケティングでは、1枚の撮影が行われた後、ホワイトバランスを異ならせて、3つの画像が記録される。これらブラケティング撮影された複数の画像のスライドショー表示を考慮すると、画像群(1回のブラケティングで撮影された複数の画像)は、そのうちの1枚のみが再生されれば十分と考えられる場合がある。そこで、この実施形態では、ブラケティング撮影モードで撮影された場合には、ブラケティングモードで撮影された画像のうちから所定の選択条件に従って選択した1画像をスキップすべきでないと判別して表示すべき抽出画像とし、残余の画像(他の2枚)をスキップすべきと判別して表示すべきでない非抽出画像とするようにしている。 As an example, in exposure bracketing, a total of three images are taken and recorded continuously, one with standard exposure, one with exposure adjusted to the plus side, and one with exposure adjusted to the minus side. In white balance bracketing, after one image is taken, three images are recorded with different white balance. Considering the slide show display of a plurality of bracketed images, it may be considered sufficient that only one of the images (a plurality of images captured by one bracketing) is reproduced. is there. Therefore, in this embodiment, when an image is shot in the bracketing shooting mode, it is determined that one image selected according to a predetermined selection condition from images shot in the bracketing mode should not be skipped and displayed. It is determined as a power extraction image, and the remaining images (the other two images) are determined to be skipped and are set as non-extraction images that should not be displayed.
(標準値を用いて抽出する例)
図21は本発明の実施形態におけるブラケティング撮影モードの場合の第4抽出処理(図8のステップS400のサブルーチン)の標準値の画像を抽出する例を示すフローチャートである。
(Example of extraction using standard values)
FIG. 21 is a flowchart showing an example of extracting an image of a standard value in the fourth extraction process (subroutine of step S400 in FIG. 8) in the bracketing shooting mode according to the embodiment of the present invention.
なお、ここでは、説明を簡単にするため、オート露出ブラケティング(AEB:Automatic Exposure Bracketing)撮影モードで撮影された3枚の画像からなる画像群を処理の対象とするものとする。また、所定の選択条件としては、最適露出の画像を抽出するものとし、標準露出(露出補正値が「0」)の画像が最適露出の画像であるものとみなして抽出するものとする。また、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、付随情報ADのうち少なくともブラケティング情報を読み込むものとする。
Here, in order to simplify the description, it is assumed that an image group composed of three images photographed in an auto exposure bracketing (AEB) photographing mode is a processing target. Further, as a predetermined selection condition, an image with optimum exposure is extracted, and an image with standard exposure (exposure correction value “0”) is regarded as an image with optimum exposure. In addition, it is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)をimage1として、その付随情報(ブラケティング情報)を含めて読み込む(ステップS411)。なお、この処理が開始されてステップS411が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, the current image data (image data related to the current image) is read from the
次いで、現画像image1がオート露出ブラケティング撮影モードで撮影された画像であるか否かを判断する(ステップS412)。この判断は、現画像のブラケティング情報に設定されている、オート露出ブラケティング撮影された画像であるか否かを示す情報に基づいて行われる。ステップS412で、現画像がオート露出ブラケティング撮影モードで撮影された画像であると判断した場合(Yの場合)にはステップS413に進み、オート露出ブラケティング撮影モードで撮影された画像でないと判断した場合(Nの場合)には、ステップS17に進む。 Next, it is determined whether or not the current image image1 is an image shot in the auto exposure bracketing shooting mode (step S412). This determination is made based on information indicating whether or not the image has been subjected to auto-exposure bracketing shooting, which is set in the bracketing information of the current image. If it is determined in step S412 that the current image is an image shot in the auto exposure bracketing shooting mode (in the case of Y), the process proceeds to step S413, and it is determined that the current image is not an image shot in the auto exposure bracketing shooting mode. If so (N), the process proceeds to step S17.
次いで、当該現画像image1とブラケティング撮影に係る画像群をなす他の画像を、image2,image3として読み込む(ステップS413)。なお、ステップS410で画像の読み込みに用いるポインタを、このステップS413で読み込んだ画像数分(ここでは、2つ分)だけインクリメントさせる。 Next, the current image image1 and other images forming the image group related to the bracketing shooting are read as image2 and image3 (step S413). In step S410, the pointer used for reading the image is incremented by the number of images read in step S413 (here, two).
次いで、該画像群を構成する各画像image1,image2,image3のそれぞれについて、露出補正値が「0」であるか否かを判断する(ステップS414)。この判断は、各画像についてのブラケティング情報内のブラケティングに用いた撮影パラメータの補正値(数値又は段数等)を示す情報の設定に基づいて行われる。ステップS414でYと判断された画像(露出補正値が「0」と判断された画像)については、ステップS415で当該画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定し、ステップS414でNと判断された画像(露出補正値が「0」でないと判断された画像)については、ステップS416で当該画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定する。 Next, it is determined whether or not the exposure correction value is “0” for each of the images image1, image2 and image3 constituting the image group (step S414). This determination is made based on the setting of information indicating the correction value (numerical value or number of steps, etc.) of the shooting parameter used for bracketing in the bracketing information for each image. For an image determined to be Y in step S414 (an image whose exposure correction value is determined to be “0”), a numerical value “1” indicating display (extraction) is set in the display flag flg1 for the image in step S415. For the image determined to be N in step S414 (the image for which the exposure correction value is determined not to be “0”), the numerical value “0” indicating non-display (non-extraction) in the display flag flg1 for the image in step S416. "Is set.
その後、ステップS417において、最終画像か否かを判断し、最終画像でないと判断した場合(Nの場合)には、ステップS411に戻って、順次、当該原画像(ステップS413で画像が読み込まれた場合には最後に読み込まれた画像)の次の画像を現画像として、同様の処理を繰り返し(ステップS411〜S417)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, in step S417, it is determined whether or not the image is the final image. If it is determined that the image is not the final image (in the case of N), the process returns to step S411 to sequentially read the original image (the image is read in step S413). In this case, the next image after the last read image) is set as the current image, and the same processing is repeated (steps S411 to S417). When it is determined that the image is the final image (in the case of Y), this processing is performed. When finished, return to FIG.
なお、ここでは、標準露出(標準値)で撮影された画像を最適露出の画像として、表示すべき抽出画像とし、プラス側又はマイナス側に補正された露出値で撮影された画像を表示すべきでない非抽出画像とするようにしたが、プラス側の補正値で補正された画像を表示すべき抽出画像とし、又はマイナス側の補正値で補正された画像を表示すべき抽出画像とし、その余の画像を非抽出画像とするようにしても良い。標準露出、プラス側補正、マイナス側補正に係る画像の何れを抽出画像とするかは、ユーザが操作部20を用いて所定の設定操作を行うことにより、任意に設定できるようにしても良い。
It should be noted that here, an image photographed with the standard exposure (standard value) should be displayed as an optimum exposure image, an extracted image to be displayed, and an image photographed with the exposure value corrected to the plus side or the minus side should be displayed. The image corrected with the positive correction value is set as the extracted image to be displayed, or the image corrected with the negative correction value is set as the extracted image to be displayed. These images may be non-extracted images. Which of the images related to the standard exposure, the plus side correction, and the minus side correction is used as the extracted image may be arbitrarily set by the user performing a predetermined setting operation using the
(ヒストグラムを用いて抽出する例)
この第4抽出処理のヒストグラムを用いて抽出する例は、ブラケティングモードで撮影された画像のうちから所定の選択条件に従って選択した1画像をスキップすべきでないと判別して表示すべき抽出画像とし、残余の画像をスキップすべきと判別して表示すべきでない非抽出画像とする処理である。
(Example of extraction using a histogram)
An example of extraction using the histogram of the fourth extraction process is an extracted image to be displayed by determining that one image selected according to a predetermined selection condition from images taken in the bracketing mode should not be skipped. This is a process of determining that the remaining image should be skipped and making it a non-extracted image that should not be displayed.
図22は本発明の実施形態におけるブラケティング撮影モードの場合の第4抽出処理(図8のステップS400のサブルーチン)のヒストグラムを用いて画像を抽出する例を示すフローチャートである。 FIG. 22 is a flowchart showing an example of extracting an image using the histogram of the fourth extraction process (subroutine of step S400 in FIG. 8) in the bracketing shooting mode according to the embodiment of the present invention.
なお、ここでは、説明を簡単にするため、オート露出ブラケティング(AEB:Automatic Exposure Bracketing)撮影モードで撮影された3枚の画像からなる画像群を処理の対象とするものとする。また、所定の選択条件としては、最適露出の画像を抽出するものとする。また、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、付随情報ADのうち少なくともブラケティング情報を読み込むものとする。上述した標準値を用いて画像を抽出する例(図21)では、標準露出(露出補正値が「0」)の画像を最適露出の画像として抽出したのに対して、この例では、画像群を構成する各画像のそれぞれについて、ヒストグラムの分布を求め、該分布の一番大きいものを最適露出の画像として抽出するようにした点が相違する。
Here, in order to simplify the description, it is assumed that an image group composed of three images photographed in an auto exposure bracketing (AEB) photographing mode is a processing target. As a predetermined selection condition, an image with optimum exposure is extracted. In addition, it is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)をimage1として、その付随情報(ブラケティング情報)を含めて読み込む(ステップS421)。なお、この処理が開始されてステップS421が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, the current image data (image data related to the current image) is read from the
次いで、現画像image1がオート露出ブラケティング撮影モードで撮影された画像であるか否かを判断する(ステップS422)。この判断は、現画像のブラケティング情報に設定されている、オート露出ブラケティング撮影された画像であるか否かを示す情報に基づいて行われる。ステップS422で、現画像がオート露出ブラケティング撮影モードで撮影された画像であると判断した場合(Yの場合)にはステップS423に進み、オート露出ブラケティング撮影モードで撮影された画像でないと判断した場合(Nの場合)には、ステップS428に進む。 Next, it is determined whether or not the current image image1 is an image shot in the auto exposure bracketing shooting mode (step S422). This determination is made based on information indicating whether or not the image has been subjected to auto-exposure bracketing shooting, which is set in the bracketing information of the current image. If it is determined in step S422 that the current image is an image shot in the auto exposure bracketing shooting mode (in the case of Y), the process proceeds to step S423, and it is determined that the current image is not an image shot in the auto exposure bracketing shooting mode. If so (N), the process proceeds to step S428.
次いで、当該現画像image1とブラケティング撮影に係る画像群をなす他の画像を、image2,image3として読み込む(ステップS423)。なお、ステップS423で画像の読み込みに用いるポインタを、このステップS423で読み込んだ画像数分(ここでは、2つ分)だけインクリメントさせる。 Next, the current image image1 and other images forming the image group related to the bracketing shooting are read as image2 and image3 (step S423). In step S423, the pointer used for reading the image is incremented by the number of images read in step S423 (here, two).
次いで、該画像群を構成する各画像image1,image2,image3のそれぞれについて、輝度値に関するヒストグラムの分布(diff)を求める(ステップS424)。なお、ここでは、当該画像に係る画像ファイルDF内の画像データIDの色空間(表色系)として、YCbCr(YUV)表色系が用いられているものとする。この輝度値に関するヒストグラムとは、例えば、YCbCr表色系の輝度値としてのY値に関して、横軸上に各Y値の階級を、縦軸に度数(出現頻度)をとった度数分布図であり、その分布とは、その分散又は標準偏差のことである。 Next, for each of the images image1, image2, and image3 constituting the image group, a histogram distribution (diff) relating to the luminance value is obtained (step S424). Here, it is assumed that the YCbCr (YUV) color system is used as the color space (color system) of the image data ID in the image file DF relating to the image. The histogram relating to the luminance value is, for example, a frequency distribution diagram in which the Y value as the luminance value of the YCbCr color system is expressed on the horizontal axis and the frequency (appearance frequency) on the vertical axis. The distribution is its variance or standard deviation.
次いで、各画像について、そのdiffの値が一番大きい画像であるか否かを判断する(ステップS425)。ステップS425でYと判断した画像(diffが一番大きいと判断した画像)については、ステップS426で当該画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定し、ステップS425でNと判断された画像(diffが一番大きいと判断された画像以外の画像)については、ステップS427で当該画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定する。 Next, it is determined whether or not each image has the largest diff value (step S425). For an image determined to be Y in step S425 (an image determined to have the largest diff), a numerical value “1” indicating display (extraction) is set in the display flag flg1 for the image in step S426, and in step S425. For an image determined to be N (an image other than an image determined to have the largest diff), a numerical value “0” indicating non-display (non-extraction) is set in the display flag flg1 for the image in step S427. .
その後、ステップS428において、最終画像か否かを判断し、最終画像でないと判断した場合(Nの場合)には、ステップS421に戻って、順次、当該原画像(ステップS423で画像が読み込まれた場合には最後に読み込まれた画像)の次の画像を現画像として、同様の処理を繰り返し(ステップS421〜S428)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, in step S428, it is determined whether or not the image is the final image. If it is determined that the image is not the final image (in the case of N), the process returns to step S421 and sequentially the original image (the image is read in step S423). In this case, the next image after the last read image) is used as the current image, and the same processing is repeated (steps S421 to S428). If it is determined that the image is the final image (in the case of Y), this processing is performed. When finished, return to FIG.
なお、ヒストグラムとして、輝度値としてのY値を用いる場合について例示したが、色特性値としてのCb値若しくはCr値又はこれらの組み合わせを用いても良い。 Although the case where the Y value as the luminance value is used as the histogram has been exemplified, a Cb value or a Cr value as a color characteristic value, or a combination thereof may be used.
また、ヒストグラムは、各画像の全領域を対象として求めているが、該全領域のうちの一部である特定領域について求めるようにしても良い。この場合において、画像内の人物の顔を自動認識する顔認識手段により認識された人物の顔に係る領域を特定領域として、上記の処理を行い、最適露出に係る1画像をスキップすべきでない画像として抽出するようにしても良い。 Further, although the histogram is obtained for the entire area of each image, it may be obtained for a specific area that is a part of the entire area. In this case, the above processing is performed with the area related to the face of the person recognized by the face recognition means automatically recognizing the face of the person in the image as the specific area, and one image related to the optimal exposure should not be skipped May be extracted.
さらに、画像中の人物の顔に係る領域の大きさ(画像全体に占める割合)を、予め設定された特定領域(顔に係る領域)の大きさに関する所定の閾値(第2閾値)と比較して、当該顔に係る領域が該閾値よりも小さい場合には、当該現画像の表示をスキップすべきでないと判別した場合であっても、当該現画像の表示をスキップさせるようにしても良い。 Furthermore, the size of the area related to the face of the person in the image (ratio to the entire image) is compared with a predetermined threshold (second threshold) relating to the size of the specific area (area related to the face) set in advance. Thus, when the area related to the face is smaller than the threshold value, the display of the current image may be skipped even when it is determined that the display of the current image should not be skipped.
〔連写モードの場合の第5抽出処理(ステップS500)〕
この連写モードの場合の第5抽出処理(図8のステップS500)は、所定の撮影間隔で複数枚の撮影を連続的に行う連写モードで撮影が行われた場合の処理である。ここで、連写モードで撮影された場合には、その画像ファイル内に、画像データの付随情報として、連写情報が付加されている。連写情報としては、連写モードで撮影されたことを示す情報、連写モードで撮影された画像群の画像を関連付けるための情報等が設定される。
[Fifth Extraction Processing in Continuous Shooting Mode (Step S500)]
The fifth extraction process (step S500 in FIG. 8) in the continuous shooting mode is a process when shooting is performed in the continuous shooting mode in which a plurality of images are continuously captured at a predetermined shooting interval. Here, in the case of shooting in the continuous shooting mode, continuous shooting information is added as the accompanying information of the image data in the image file. As the continuous shooting information, information indicating that the image is shot in the continuous shooting mode, information for associating the images of the group of images shot in the continuous shooting mode, and the like are set.
連写モードで撮影が行われた複数の画像については、該画像内の主要被写体が静止している場合には、スライドショー表示としては、連写されたもののうちの1枚(又は数枚)が表示されれば十分であると考えられ、これと逆に、主要被写体が動いている場合には、当該動きの全体を表示させたいとする要望があると考えられる。 For a plurality of images shot in continuous shooting mode, if the main subject in the image is stationary, one (or several) of the continuous shots is displayed as a slide show. On the contrary, if the main subject is moving, it is considered that there is a demand to display the entire movement.
そこで、この第5抽出処理では、複数の画像間での所定の被写体の動きを被写体追跡手段により認識し、連写モードで撮影された複数の画像間において被写体が静止していることが被写体追跡手段により認識された場合に、該静止していると認識された複数の画像のうちの1画像をスキップすべきでないと判別してスライドショー表示に供すべき抽出画像とし、残余の画像をスキップすべきと判別してスライドショー表示に供すべきでない非抽出画像とするようにしている。 Therefore, in the fifth extraction process, it is recognized that the movement of a predetermined subject between the plurality of images is recognized by the subject tracking unit, and the subject tracking is performed between the plurality of images taken in the continuous shooting mode. When it is recognized by the means, it is determined that one of the plurality of images recognized as still should not be skipped, and an extracted image to be used for a slide show display, and the remaining images should be skipped And a non-extracted image that should not be used for the slide show display.
また、連写モードで撮影された複数の画像間において被写体が動いていると被写体追跡手段により認識された場合には、該動いていると認識された全ての画像をスキップすべきでないと判別してスライドショー表示に供すべき抽出画像とするようにしている。この処理により、上述した第1抽出処理〜第4抽出処理の何れか又は複数の実行によって、スライドショー表示に供すべきでない非抽出画像と判別された場合であっても、連写され且つ被写体が動いている場合には、その全ての画像がスライドショー表示に供すべき抽出画像として判別されることになる。 Further, when the subject tracking means recognizes that the subject is moving between a plurality of images taken in the continuous shooting mode, it is determined that all images recognized as moving should not be skipped. Thus, an extracted image to be used for slide show display is used. By this process, even if it is determined that it is a non-extracted image that should not be used for the slide show display by executing any one or more of the first extraction process to the fourth extraction process described above, continuous shooting is performed and the subject moves. If so, all the images are determined as extracted images to be used for slide show display.
主要被写体の動きを検出する手法としては、被写体追跡等の公知の技術を用いて行うことができる。例えば、前画像と現画像とについて、テンプレート画像を用いるテンプレートマッチング処理をそれぞれ行い、テンプレート画像とマッチングした領域の移動量を算出する。 As a technique for detecting the movement of the main subject, a known technique such as subject tracking can be used. For example, the template matching process using the template image is performed for the previous image and the current image, respectively, and the movement amount of the region matched with the template image is calculated.
ここで、テンプレート画像とは、テンプレートマッチング処理の基準となる画像データであり、予め所定の登録操作を行うことにより、単一又は複数のテンプレート画像を予め登録しておいたものを用いる。テンプレート画像としては、任意の画像を登録することができるが、例えば、人物の顔等をテンプレート画像とすることができる。但し、テンプレート画像としては、予め登録したものに限られず、例えば画像中の人間の顔を特定する公知の顔認識等の技術を用いて、登録操作を行うことなく動的に設定されるものを用いるようにしても良い。 Here, the template image is image data that serves as a reference for template matching processing, and uses a single or a plurality of template images registered in advance by performing a predetermined registration operation. An arbitrary image can be registered as the template image. For example, a human face or the like can be used as the template image. However, the template image is not limited to one registered in advance, and for example, a template image that is dynamically set without performing a registration operation using a known technique such as face recognition for identifying a human face in the image. It may be used.
テンプレートマッチング処理を行う場合には、前画像と現画像のそれぞれについて、画像(ターゲット画像)中に該テンプレート画像にマッチングするマッチング領域が存在するか否かを検出し、存在する場合にそれぞれの位置を検出し、その位置の差を移動量とする。なお、テンプレートマッチング処理としては、例えば相互相関法や残差逐次検定法等の公知の手法を用いることができる。 When template matching processing is performed, for each of the previous image and the current image, it is detected whether or not there is a matching region that matches the template image in the image (target image). Is detected, and the difference between the positions is set as the movement amount. In addition, as template matching processing, well-known methods, such as a cross-correlation method and a residual sequential test method, can be used, for example.
テンプレートマッチング処理は、具体的には、ターゲット画像中にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば1画素ずつ移動させながら、それぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、ターゲット画像全体に対してテンプレートマッチング処理を実施した結果、ターゲット領域内でテンプレート画像との類似度が最も高い領域(マッチング領域)の位置をマッチング結果とする。前画像についてのマッチング領域の位置と現画像についてのマッチング領域の位置との差を移動量として、該移動量に関する所定の閾値と比較して動きの有無を判断する。 Specifically, in the template matching process, a rectangular frame for matching with the template image is set as a target area in the target image, and the position of the target area is moved by a predetermined amount within the target image, for example, by one pixel. Then, the similarity between the image in the target area and the template image at each position is calculated. As a result of performing the template matching process on the entire target image, the position of the region (matching region) having the highest similarity with the template image in the target region is set as the matching result. The difference between the position of the matching area for the previous image and the position of the matching area for the current image is taken as a movement amount, and the presence or absence of movement is determined by comparison with a predetermined threshold relating to the movement amount.
なお、主要被写体の動きの検出は、このようなテンプレートマッチング処理によるものに限られず、例えば、特開2000−59699号公報に記載されているような被写体の動き検出処理を応用して行うようにしても良い。 The detection of the movement of the main subject is not limited to the template matching process, and for example, the movement detection process of the subject as described in JP-A-2000-59699 is applied. May be.
図23は本発明の実施形態における連写モードの場合の第5抽出処理(図8のステップS500のサブルーチン)を示すフローチャートである。なお、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとし、連写モードにおいて9枚の画像が撮影されたものとする。
FIG. 23 is a flowchart showing a fifth extraction process (subroutine of step S500 in FIG. 8) in the continuous shooting mode in the embodiment of the present invention. It is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データ(現画像に係る画像データ)をimage1として、その付随情報(連写情報)を含めて読み込む(ステップS510)。なお、この処理が開始されてステップS510が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, the current image data (image data related to the current image) is read from the
次いで、現画像image1が連写モードで撮影された画像であるか否かを判断する(ステップS520)。この判断は、現画像の連写モードで撮影されたか否かを示す連写情報に基づいて行われる。ステップS520で、現画像が連写モードで撮影された画像であると判断した場合(Yの場合)にはステップS530に進み、連写モードで撮影された画像でないと判断した場合(Nの場合)には、ステップS580に進む。 Next, it is determined whether or not the current image image1 is an image shot in the continuous shooting mode (step S520). This determination is made based on continuous shooting information indicating whether or not the current image was shot in the continuous shooting mode. If it is determined in step S520 that the current image is an image shot in the continuous shooting mode (in the case of Y), the process proceeds to step S530, and if it is determined that the current image is not an image shot in the continuous shooting mode (in the case of N) ), The process proceeds to step S580.
次いで、当該現画像image1と連写撮影に係る画像群をなす他の画像を、image2,image3,…,image9として読み込む(ステップS530)。なお、ステップS510で画像の読み込みに用いるポインタを、このステップS530で読み込んだ画像数分(ここでは、8つ分)だけインクリメントさせる。 Next, other images forming the group of images related to the current image image1 and continuous shooting are read as image2, image3,..., Image9 (step S530). In step S510, the pointer used for reading the image is incremented by the number of images read in step S530 (here, eight).
次いで、該画像群を構成する各画像image1〜image9のうち、所定の2枚の画像(例えば、連写の最初の画像と最後の画像)について、上述した被写体追跡手段により主要被写体が静止しているか否かを判断する(ステップS540)。なお、ここでは、簡単のため、被写体が静止しているか否かを最初と最後の2枚の画像間で判断するようにしたが、適宜に選択される3枚以上の画像間で判断するようにしても良い。互いに相前後する2枚の画像のそれぞれについて全て判断し、その判断結果の全体から総合的に静止しているか、動いているかを判断するようにしても良い。 Next, among the images image1 to image9 constituting the image group, for the two predetermined images (for example, the first image and the last image in continuous shooting), the main subject is stopped by the subject tracking unit described above. It is determined whether or not there is (step S540). Here, for the sake of simplicity, it is determined between the first and last two images whether or not the subject is stationary, but it is determined between three or more images that are appropriately selected. Anyway. It is also possible to determine all of two images that are adjacent to each other, and determine whether the image is totally stationary or moving from the overall determination result.
ステップS540において、被写体が静止していると判断した場合(Yの場合)には、連写の最初の画像(image1)1枚のみについて、当該画像の表示フラグflg1に表示(抽出)を示す数値「1」を設定し、残余の画像(image2〜image9)についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定する(ステップS550)。なお、ここでは、最初の画像1枚のみをスライドショー表示すべき抽出画像とし、残余の画像を全てスライドショー表示すべきでない非抽出画像とするようにしたが、最初の画像ではなく、最後の画像又はこれらの中間の1画像を抽出画像としても良い。また、抽出画像とする画像の枚数は1枚に限られず、2枚以上としても良い。2枚以上の画像を抽出画像とする場合には、例えば、最初の画像image1、中間の画像image5、最後の画像image9の3枚を抽出画像とする如く、間欠的に選定することが好ましい。 When it is determined in step S540 that the subject is stationary (in the case of Y), only the first image (image1) of continuous shooting is a numerical value indicating display (extraction) in the display flag flg1 of the image. “1” is set, and a numerical value “0” indicating non-display (non-extraction) is set to the display flag flg1 for the remaining images (image2 to image9) (step S550). Here, only the first image is an extracted image that should be displayed as a slide show, and the remaining images are all non-extracted images that should not be displayed as a slide show. However, instead of the first image, the last image or One intermediate image may be used as the extracted image. Further, the number of images to be extracted images is not limited to one, and may be two or more. When two or more images are extracted images, for example, it is preferable to select the images intermittently so that the first image image1, the intermediate image image5, and the last image image9 are extracted images.
ステップS540において、被写体が静止していない、即ち動いていると判断した場合(Nの場合)には、全ての画像image1〜image9についての表示フラグflg1に表示(抽出)を示す数値「1」を設定する(ステップS570)。 If it is determined in step S540 that the subject is not stationary, that is, is moving (in the case of N), a numerical value “1” indicating display (extraction) is displayed on the display flag flg1 for all the images image1 to image9. It sets (step S570).
次いで、ステップS570において、最終画像か否かを判断し、最終画像でないと判断した場合(Nの場合)には、ステップS510に戻って、順次、当該原画像(ステップS530で画像が読み込まれた場合には最後に読み込まれた画像)の次の画像を現画像として、同様の処理を繰り返し(ステップS510〜S580)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Next, in step S570, it is determined whether or not the image is the final image. If it is determined that the image is not the final image (in the case of N), the process returns to step S510 to sequentially read the original image (the image is read in step S530). In this case, the next image after the last read image) is used as the current image, and the same processing is repeated (steps S510 to S580). If it is determined that the image is the final image (in the case of Y), this processing is performed. When finished, return to FIG.
〔不要画像を排除する第6抽出処理(ステップS600)〕
図24は本発明の実施形態における不要画像を排除する第6抽出処理(図8のステップS600のサブルーチン)を示すフローチャートである。
[Sixth Extraction Processing for Eliminating Unnecessary Images (Step S600)]
FIG. 24 is a flowchart showing a sixth extraction process (subroutine of step S600 in FIG. 8) for eliminating unnecessary images in the embodiment of the present invention.
この不要画像を排除する第6抽出処理では、画像が編集(加工)されて編集元の画像と編集後の画像とが存在する場合における当該編集元の画像、露出オーバー(過大)又は露出アンダー(過小)な画像である露出不適正画像、手振れ画像等のスライドショー表示には不要と考えられる画像の排除が行われる。なお、画像記憶部31からの画像の読み出しは、撮影時刻順に順次行われるものとする。
In the sixth extraction process for eliminating the unnecessary image, when the image is edited (processed) and the original image and the edited image exist, the original image, the over-exposed (over-exposed), or the under-exposed ( Exclusion of images that are considered unnecessary for slide show display such as underexposure improperly exposed images and hand shake images is performed. It is assumed that reading of images from the
この処理が開始されると、まず、画像記憶部31から現画像データをimage1として、その付随情報(編集情報)を含めて読み込む(ステップS610)。なお、この処理が開始されてステップS610が初めて実行される場合には、画像記憶部31内の撮影時刻が最も早い画像データが読み込まれることになる。
When this process is started, first, the current image data is read from the
次いで、現画像image1が編集(加工)の元となった画像(編集元画像)であるか否かを判断する(ステップS620)。この判断は、現画像の付随情報に設定された編集情報に基づいて行われる。ステップS620で、現画像が編集元画像であると判断した場合(Yの場合)にはステップS630に進み、編集画像でない(未編集画像である)と判断した場合(Nの場合)には、ステップS660に進む。 Next, it is determined whether or not the current image image1 is an image (editing source image) that is the source of editing (processing) (step S620). This determination is made based on the editing information set in the accompanying information of the current image. If it is determined in step S620 that the current image is an editing source image (Y), the process proceeds to step S630. If it is determined that the current image is not an edited image (unedited image) (N), The process proceeds to step S660.
次いで、現画像image1が手振れ画像であるか否かを判断する(ステップS630)。この判断は、現画像を画像解析することにより行われる。ステップS630で、手振れ画像であると判断した場合(Yの場合)にはステップS640に進み、手振れ画像でないと判断した場合(Nの場合)には、ステップS660に進む。 Next, it is determined whether or not the current image image1 is a camera shake image (step S630). This determination is made by analyzing the current image. If it is determined in step S630 that the image is a camera shake image (in the case of Y), the process proceeds to step S640. If it is determined that the image is not a camera shake image (in the case of N), the process proceeds to step S660.
次いで、現画像image1が露出不適正画像であるか否かを判断する(ステップS640)。この判断は、現画像を画像解析することにより行われる。露出不適正画像とは、露出オーバー(過大)又は露出アンダー(過小)である画像であり、例えば画像中の白抜け部分又は黒潰れ部分の全体に対する割合を所定の閾値と比較することで判断することができる。ステップS640で、露出不適正画像であると判断した場合(Yの場合)にはステップS650に進み、露出不適正画像でないと判断した場合(Nの場合)には、ステップS660に進む。 Next, it is determined whether or not the current image image1 is an inappropriate exposure image (step S640). This determination is made by analyzing the current image. An improperly exposed image is an image that is overexposed (overexposed) or underexposed (underexposed), and is determined, for example, by comparing the ratio of the white-out or black-out portion in the image with a predetermined threshold. be able to. If it is determined in step S640 that the image is an inappropriate exposure image (in the case of Y), the process proceeds to step S650. If it is determined that the image is not an inappropriate exposure image (in the case of N), the process proceeds to step S660.
次いで、ステップS650では当該現画像についての表示フラグflg1に非表示(非抽出)を示す数値「0」を設定し、ステップS660では当該画像についての表示フラグflg1に表示(抽出)を示す数値「1」を設定する。 Next, in step S650, a numerical value “0” indicating non-display (non-extraction) is set in the display flag flg1 for the current image, and in step S660, a numerical value “1” indicating display (extraction) in the display flag flg1 for the image. "Is set.
その後、ステップS670において、最終画像か否かを判断し、最終画像でないと判断した場合(Nの場合)には、ステップS610に戻って、順次、当該原画像の次の画像を現画像として、同様の処理を繰り返し(ステップS610〜S670)、最終画像であると判断した場合(Yの場合)には、この処理を終了して、図8にリターンする。 Thereafter, in step S670, it is determined whether or not the image is the final image. If it is determined that the image is not the final image (in the case of N), the process returns to step S610 to sequentially set the next image of the original image as the current image. The same processing is repeated (steps S610 to S670), and when it is determined that the image is the final image (in the case of Y), this processing ends and the process returns to FIG.
なお、露出不適正画像か否かは、ここでは、現画像の全領域について行うものとしたが、上述した顔認識部により現画像中の人物の顔に係る特定の領域について判断するようにしても良い。 Here, whether or not the image is an inappropriate exposure image is assumed to be performed for the entire area of the current image. However, the above-described face recognition unit determines a specific area related to the human face in the current image. Also good.
なお、本発明に係る画像再生装置が適用可能なデジタルカメラとしては、コンパクトデジタルカメラ、一眼レフ方式のデジタルカメラ、その他のデジタルカメラであっても良い。また、一般的にカメラと称呼される装置にも限定されず、携帯電話、PDA、その他の撮像機能を備えるあらゆる電子装置にも適用可能である。さらに、このようなデジタルカメラ等に適用する以外に、画像再生装置単独として構成することができ、記憶部に記憶された画像ファイル(画像データ及び付随情報を含む)を処理の対象として、上述したスライドショー表示処理プログラムと同様のプログラムを専用又は汎用のパーソナルコンピュータ等に実行させることにより実現することもでき、必ずしも撮像機能を備える必要もない。 The digital camera to which the image reproducing apparatus according to the present invention can be applied may be a compact digital camera, a single-lens reflex digital camera, or other digital cameras. Further, the present invention is not limited to a device generally called a camera, and can be applied to any electronic device having a mobile phone, a PDA, and other imaging functions. Further, in addition to being applied to such a digital camera or the like, it can be configured as an image reproducing apparatus alone, and the above-described image file (including image data and accompanying information) stored in the storage unit is the target of processing. It can be realized by causing a dedicated or general-purpose personal computer or the like to execute a program similar to the slide show display processing program, and does not necessarily have an imaging function.
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment includes all design changes and equivalents belonging to the technical scope of the present invention.
1…デジタルカメラ、2…カメラ本体、3…撮影レンズ、10…CPU、11…システムバス、12…フラッシュメモリ、13…センサ駆動回路、14…撮像素子、15…A/D変換回路、16…タイミングジェネレータ、17…画像処理部、18…バッファメモリ、19…画像記録媒体、20…操作部、21…画像表示モニタ、31…画像記憶部、32…表示部、33…判別部、34…制御部、35…データ記憶部、DF…画像ファイル。
DESCRIPTION OF
Claims (24)
画像を表示する表示手段と、
前記記憶手段に記憶された複数の画像について、画像の表示をスキップすべきか否かを判別する判別手段と、
前記記憶手段に記憶された複数の画像のうち、前記判別手段によりスキップすべきと判別された画像を前記表示手段での表示から除外しつつ、前記複数の画像を前記表示手段に逐次的に再生表示させる制御手段と、
を備えることを特徴とする画像再生装置。 Storage means for storing a plurality of images;
Display means for displaying an image;
A discriminating unit for discriminating whether or not to skip the display of the images for the plurality of images stored in the storage unit;
Out of the plurality of images stored in the storage unit, the image determined to be skipped by the determination unit is excluded from the display on the display unit, and the plurality of images are sequentially reproduced on the display unit. Control means to display;
An image reproducing apparatus comprising:
前記特徴量は、前記現画像と前記前画像とのそれぞれに係る撮影時刻の差であることを特徴とする請求項2に記載の画像再生装置。 The storage means stores the shooting time information of each image accompanying the plurality of stored images.
The image reproducing apparatus according to claim 2, wherein the feature amount is a difference in shooting time between the current image and the previous image.
前記判別手段は、前記顔認識手段により認識された前記人物の顔に係る領域又は該顔に係る領域以外の領域を前記特定の領域として、前記判別を行うことを特徴とする請求項3〜8の何れか一項に記載の画像再生装置。 A face recognition means for automatically recognizing a person's face in the image;
The determination unit performs the determination using the region related to the face of the person recognized by the face recognition unit or a region other than the region related to the face as the specific region. The image reproducing device according to any one of the above.
前記判別手段は、前記ブラケティングモードで撮影された前記複数の画像のうちから所定の選択条件に従って選択した1画像をスキップすべきでないと判別し、残余の画像をスキップすべきと判別することを特徴とする請求項1に記載の画像再生装置。 The plurality of images stored in the storage means include information indicating whether or not the images are shot in a bracketing mode in which a plurality of shootings are continuously performed while changing shooting conditions,
The determining means determines that one image selected according to a predetermined selection condition from the plurality of images taken in the bracketing mode should not be skipped, and determines that the remaining image should be skipped. The image reproducing apparatus according to claim 1, wherein
前記判別手段は、前記顔認識手段により認識された前記人物の顔に係る領域について、最適露出に係る1画像をスキップすべきでない画像として選択することを特徴とする請求項12に記載の画像再生装置。 A face recognition means for automatically recognizing a person's face in the image;
13. The image reproduction according to claim 12, wherein the determination unit selects one image related to the optimal exposure as an image that should not be skipped for the region related to the face of the person recognized by the face recognition unit. apparatus.
前記記憶手段に記憶された複数の画像は、所定の撮影間隔で複数枚の撮影を連続的に行う連写モードで撮影されたか否かを示す情報を含み、
前記判別手段は、前記連写モードで撮影された複数の画像間において前記被写体が静止していることが前記被写体追跡手段により認識された場合に、該静止していると認識された複数の画像のうちの1画像をスキップすべきでないと判別し、残余の画像をスキップすべきと判別することを特徴とする請求項1に記載の画像再生装置。 Subject tracking means for automatically recognizing movement of a predetermined subject between a plurality of images;
The plurality of images stored in the storage unit includes information indicating whether or not the images are captured in a continuous shooting mode in which a plurality of images are continuously captured at a predetermined shooting interval,
The discriminating means, when the subject tracking means recognizes that the subject is stationary between a plurality of images taken in the continuous shooting mode, the plurality of images recognized as stationary. The image reproducing apparatus according to claim 1, wherein it is determined that one of the images should not be skipped and the remaining image is determined to be skipped.
前記記憶手段に記憶された複数の画像は、所定の撮影間隔で複数枚の撮影を連続的に行う連写モードで撮影されたか否かを示す情報を含み、
前記判別手段は、前記連写モードで撮影された複数の画像間で前記被写体が動いていることが前記被写体追跡手段により認識された場合に、該動いていると認識された全ての画像をスキップすべきでないと判別することを特徴とする請求項1に記載の画像再生装置。 Subject tracking means for automatically recognizing movement of a predetermined subject between a plurality of images;
The plurality of images stored in the storage unit includes information indicating whether or not the images are captured in a continuous shooting mode in which a plurality of images are continuously captured at a predetermined shooting interval,
The discriminating unit skips all images recognized as moving when the subject tracking unit recognizes that the subject is moving between a plurality of images taken in the continuous shooting mode. The image reproducing apparatus according to claim 1, wherein it is determined that it should not be performed.
前記特徴量は、前記現画像と前記前画像とのそれぞれに係る撮影場所間の距離であることを特徴とする請求項2に記載の画像再生装置。 The storage means accompanies each of the plurality of stored images and stores the shooting location information thereof.
The image reproducing apparatus according to claim 2, wherein the feature amount is a distance between shooting locations of the current image and the previous image.
前記制御手段は、前記画像を前記表示手段に表示する際の表示方法を当該撮影モードに従って変更することを特徴とする請求項1〜19の何れか一項に記載の画像再生装置。 The plurality of images stored in the storage means include information on a shooting mode used at the time of shooting among a plurality of types of shooting modes,
The image reproduction device according to claim 1, wherein the control unit changes a display method when the image is displayed on the display unit according to the shooting mode.
前記制御手段は、前記顔認識手段により認識された前記人物の顔に係る領域を前記特定の領域とすることを特徴とする請求項21に記載の画像再生装置。 A face recognition means for automatically recognizing a person's face in the image;
The image reproduction apparatus according to claim 21, wherein the control unit sets a region related to the face of the person recognized by the face recognition unit as the specific region.
請求項1〜23の何れか一項に記載の画像再生装置と、
を備えることを特徴とする撮像装置。 An image sensor for capturing an image of a subject by an optical system;
An image reproduction device according to any one of claims 1 to 23;
An imaging apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015029A JP2010177731A (en) | 2009-01-27 | 2009-01-27 | Image reproducing device and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015029A JP2010177731A (en) | 2009-01-27 | 2009-01-27 | Image reproducing device and imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010177731A true JP2010177731A (en) | 2010-08-12 |
Family
ID=42708293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009015029A Pending JP2010177731A (en) | 2009-01-27 | 2009-01-27 | Image reproducing device and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010177731A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3171365A1 (en) | 2015-11-18 | 2017-05-24 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and program |
JP2017098638A (en) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | Image processing device, image selecting method, and program |
JP2018196066A (en) * | 2017-05-19 | 2018-12-06 | 株式会社ユピテル | Drive recorder, display device for drive recorder, and program |
JP2019096972A (en) * | 2017-11-20 | 2019-06-20 | トヨタ自動車株式会社 | Information processing device |
US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149902A (en) * | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | Animation image recording medium, animation image recorder and animation image reproducing device |
JP2000324499A (en) * | 1999-05-14 | 2000-11-24 | Fujitsu Ltd | Picture processor and method for detecting scene change |
JP2001285779A (en) * | 2000-03-29 | 2001-10-12 | Minolta Co Ltd | Digital camera, image preserving method, image reproducing method, image reproducing device and recording medium |
JP2004247807A (en) * | 2003-02-12 | 2004-09-02 | Fuji Photo Film Co Ltd | Recording method and image reproducing method for group image |
JP2006079461A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Electronic album display system, image classification device, electronic album display method, image classification method, and program |
JP2006222503A (en) * | 2005-02-08 | 2006-08-24 | Seiko Epson Corp | Method, device and program for reproducing continuous photographed image |
JP2006261933A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Image processor and program |
WO2007055334A1 (en) * | 2005-11-10 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Viewer device, slide show display method in viewer device, and program |
JP2007165959A (en) * | 2005-12-09 | 2007-06-28 | Nikon Corp | Image display |
JP2007243570A (en) * | 2006-03-08 | 2007-09-20 | Casio Comput Co Ltd | Image display system and image retrieval system |
WO2007114021A1 (en) * | 2006-03-30 | 2007-10-11 | Pioneer Corporation | Image data managing apparatus and image data managing method |
JP2008278347A (en) * | 2007-05-02 | 2008-11-13 | Nikon System:Kk | Image display system |
WO2008143167A1 (en) * | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | Image difference detection method and apparatus, scene change detection method and apparatus, as well as image difference value detection method and apparatus |
-
2009
- 2009-01-27 JP JP2009015029A patent/JP2010177731A/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149902A (en) * | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | Animation image recording medium, animation image recorder and animation image reproducing device |
JP2000324499A (en) * | 1999-05-14 | 2000-11-24 | Fujitsu Ltd | Picture processor and method for detecting scene change |
JP2001285779A (en) * | 2000-03-29 | 2001-10-12 | Minolta Co Ltd | Digital camera, image preserving method, image reproducing method, image reproducing device and recording medium |
JP2004247807A (en) * | 2003-02-12 | 2004-09-02 | Fuji Photo Film Co Ltd | Recording method and image reproducing method for group image |
JP2006079461A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Electronic album display system, image classification device, electronic album display method, image classification method, and program |
JP2006222503A (en) * | 2005-02-08 | 2006-08-24 | Seiko Epson Corp | Method, device and program for reproducing continuous photographed image |
JP2006261933A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Image processor and program |
WO2007055334A1 (en) * | 2005-11-10 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Viewer device, slide show display method in viewer device, and program |
JP2007165959A (en) * | 2005-12-09 | 2007-06-28 | Nikon Corp | Image display |
JP2007243570A (en) * | 2006-03-08 | 2007-09-20 | Casio Comput Co Ltd | Image display system and image retrieval system |
WO2007114021A1 (en) * | 2006-03-30 | 2007-10-11 | Pioneer Corporation | Image data managing apparatus and image data managing method |
JP2008278347A (en) * | 2007-05-02 | 2008-11-13 | Nikon System:Kk | Image display system |
WO2008143167A1 (en) * | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | Image difference detection method and apparatus, scene change detection method and apparatus, as well as image difference value detection method and apparatus |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3171365A1 (en) | 2015-11-18 | 2017-05-24 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and program |
JP2017098638A (en) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | Image processing device, image selecting method, and program |
CN107018348A (en) * | 2015-11-18 | 2017-08-04 | 卡西欧计算机株式会社 | Image processing apparatus and image-selecting method |
US10658006B2 (en) | 2015-11-18 | 2020-05-19 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
JP2018196066A (en) * | 2017-05-19 | 2018-12-06 | 株式会社ユピテル | Drive recorder, display device for drive recorder, and program |
JP7122729B2 (en) | 2017-05-19 | 2022-08-22 | 株式会社ユピテル | Drive recorder, display device and program for drive recorder |
JP2019096972A (en) * | 2017-11-20 | 2019-06-20 | トヨタ自動車株式会社 | Information processing device |
US11093791B2 (en) | 2017-11-20 | 2021-08-17 | Toyota Jidosha Kabushiki Kaisha | Information processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101115148B (en) | Image-taking apparatus and image display control method | |
JP4645685B2 (en) | Camera, camera control program, and photographing method | |
US8736704B2 (en) | Digital camera for capturing an image sequence | |
KR100933416B1 (en) | Camera device, imaging method and computer program recording medium | |
JP4487872B2 (en) | Image processing apparatus and method, program, and recording medium | |
US8736697B2 (en) | Digital camera having burst image capture mode | |
US20120243802A1 (en) | Composite image formed from an image sequence | |
US8582891B2 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
JP4126721B2 (en) | Face area extraction method and apparatus | |
CN100553296C (en) | Filming apparatus and exposal control method | |
JP5782813B2 (en) | Imaging apparatus and image display method | |
CN101753822A (en) | Imaging apparatus and image processing method used in imaging device | |
US20120098989A1 (en) | Imaging apparatus and method of displaying a number of captured images | |
JP4200428B2 (en) | Face area extraction method and apparatus | |
JP2010245607A (en) | Image recording device and electronic camera | |
JP2005107885A (en) | Image classifying device and program | |
JP2010177731A (en) | Image reproducing device and imaging apparatus | |
JP4725854B2 (en) | Image display device and image display method | |
JPH08331495A (en) | Electronic album system with photographing function | |
JP5808056B2 (en) | Imaging apparatus, imaging control program, image reproduction apparatus, and image reproduction control program | |
US20090160995A1 (en) | Display device, photographing apparatus, and display method | |
US20070086765A1 (en) | Digital camera | |
JP4948014B2 (en) | Electronic camera | |
JP4632417B2 (en) | Imaging apparatus and control method thereof | |
US20100054693A1 (en) | Apparatuses for and methods of previewing a moving picture file in digital image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140225 |