JP2010206508A - Display device, imaging device, and program for display device - Google Patents

Display device, imaging device, and program for display device Download PDF

Info

Publication number
JP2010206508A
JP2010206508A JP2009049592A JP2009049592A JP2010206508A JP 2010206508 A JP2010206508 A JP 2010206508A JP 2009049592 A JP2009049592 A JP 2009049592A JP 2009049592 A JP2009049592 A JP 2009049592A JP 2010206508 A JP2010206508 A JP 2010206508A
Authority
JP
Japan
Prior art keywords
image
display
unit
images
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009049592A
Other languages
Japanese (ja)
Other versions
JP5249090B2 (en
JP2010206508A5 (en
Inventor
Satoru Hara
哲 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009049592A priority Critical patent/JP5249090B2/en
Publication of JP2010206508A publication Critical patent/JP2010206508A/en
Publication of JP2010206508A5 publication Critical patent/JP2010206508A5/en
Application granted granted Critical
Publication of JP5249090B2 publication Critical patent/JP5249090B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To automatically determine whether slide-show display is continued, based on a feature of an image in executing the slide-show display. <P>SOLUTION: This display device is equipped with: a leading image generation part for generating a leading image having a region for displaying a representative image representing an image group, and displayed immediately before displaying a corresponding image group in slide-show display; a similarity determination part for determining the similarity of the representative images respectively possessed by two leading images in which display orders of the leading images in the slide-show display are adjacent to each other; and a control part for making control to display the leading image corresponding to each image group immediately before each image group and continuously display the respective image groups in the generation order. The leading image generation part generates a masked leading image with a mask treatment applied to the representative image to be displayed later in the slide-show display when the similarity of the two representative images determined by the similarity determination part does not reach a predetermined criterion, and the control part suspends the slide show while the masked leading image is displayed in executing the slide-show display. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像を表示する表示装置、当該表示装置を備えた撮像装置および表示装置用プログラムに関する。   The present invention relates to a display device that displays an image, an imaging device including the display device, and a program for the display device.

画像を撮像して電子的な画像データを生成するデジタルカメラ等の撮像装置では、記憶用のメモリーカードの大容量化に伴って、膨大な数の画像を記憶することが可能になってきている。このような状況の下、撮影テーマに基づいて撮影画像を分類し、分類結果に応じたサムネイル画像を表示することによって画像の検索を容易に行うことを可能にする技術が開示されている(例えば、特許文献1を参照)。この技術では、分類した画像群の最初に、テーマ画像の開始を示すテーマスタートマークを挿入することによって画像の検索の容易化を実現している。テーマスタートマークとしては、例えばテーマ内容を具体的に示すシンボル画像を含むマークを適用することができる。   In an imaging apparatus such as a digital camera that captures an image and generates electronic image data, it has become possible to store an enormous number of images as the capacity of a memory card for storage increases. . Under such circumstances, a technique is disclosed that makes it possible to easily search for an image by classifying captured images based on a shooting theme and displaying thumbnail images according to the classification result (for example, , See Patent Document 1). In this technique, an easy-to-search image is realized by inserting a theme start mark indicating the start of the theme image at the beginning of the classified image group. As the theme start mark, for example, a mark including a symbol image specifically showing the theme content can be applied.

ところで、近年、撮影画像に外部機器との通信機能を具備させ、外部機器に画像データを送信する技術が進歩してきている。撮像装置と通信可能な外部機器としては、例えばテレビ、プロジェクタ、パソコン、デジタルフォトフレームなどのように、撮像装置の液晶パネルよりも大画面の表示部を備えた表示装置を挙げることができる。このような表示装置に対して撮像装置が画像データを送信すれば、撮像装置が撮影した画像を大画面で見ることができるため、大人数で画像を鑑賞して楽しむことができる。   By the way, in recent years, a technique for providing a captured image with a communication function with an external device and transmitting image data to the external device has been advanced. Examples of the external device that can communicate with the imaging device include a display device including a display unit having a larger screen than the liquid crystal panel of the imaging device, such as a television, a projector, a personal computer, and a digital photo frame. If the imaging device transmits image data to such a display device, the image captured by the imaging device can be viewed on a large screen, so that an image can be viewed and enjoyed by a large number of people.

特開2008−109338号公報JP 2008-109338 A

画像を大人数で鑑賞する場合、再生する画像の中には撮影者が他の人に見せたくない画像が含まれている可能性がある。例えば、図12に示すスライドショーを行う場合、画像P11〜P14までは被写体として赤ちゃんが入った画像であるが、画像P21〜P23は被写体に赤ちゃんは入っておらず画像P11〜P14では写っていない女性が写っているため、撮影時の場所や状況が大きく異なっていると考えられる。この場合にスライドショー表示を行って画像P11〜P23を連続的に再生すると、スライドショー表示を行う人が画像P21〜P23を他の人に見せたくないと思っても、画像P21の画像は少なくとも表示されてしまう。この点については、上記特許文献1に記載の従来技術の場合にも、テーマスタートマークが表示されることによってシンボル画像が表示され、後続の画像の内容が判明してしまう可能性があった。 When viewing an image with a large number of people, there is a possibility that the image to be reproduced includes an image that the photographer does not want to show to other people. For example, when the slide show shown in FIG. 12 is performed, images P 11 to P 14 are images with a baby as a subject, but images P 21 to P 23 are images P 11 to P 23 with no baby in the subject. In 14 there is a woman who is not shown, so it seems that the location and situation at the time of shooting are very different. In this case continuously play the image P 11 ~P 23 perform the slide show display, the person performing the slide show display, even if I do not want to show the image P 21 ~P 23 to the other person, the image P 21 At least the image is displayed. With regard to this point, even in the case of the conventional technique described in Patent Document 1, there is a possibility that the symbol image is displayed by displaying the theme start mark, and the content of the subsequent image is revealed.

このように、従来の撮像装置では、大人数でスライドショーを行う状況下において、撮影者が見せたくない画像があったとしても、そのうちの何枚かは表示されてしまう可能性が高く、見せたくない画像が表示されることによってその場にいる人同士が気まずくなったり撮影者が恥ずかしくなったりして場の雰囲気が壊されてしまうおそれがあった。そのため、スライドショー表示を行う際、画像の特徴に基づいてスライドショー表示を続行するか否かを自動的に判定することができる技術が待望されていた。   As described above, in the conventional imaging apparatus, even if there is an image that the photographer does not want to show in a situation where a slide show is performed with a large number of people, there is a high possibility that some of them will be displayed and it is desired The display of the unsatisfactory image may make people in the place feel awkward and the photographer may be embarrassed and the atmosphere of the place may be destroyed. Therefore, there is a need for a technique that can automatically determine whether or not to continue the slide show display based on the characteristics of the images when performing the slide show display.

本発明は、上記に鑑みてなされたものであって、スライドショー表示を行う際に画像の特徴に基づいてスライドショー表示を続行するか否かを自動的に判定することができる表示装置、当該表示装置を備えた撮像装置および表示装置用プログラムを提供することを目的とする。   The present invention has been made in view of the above, and a display device that can automatically determine whether or not to continue a slide show display based on image characteristics when performing a slide show display, and the display device It is an object of the present invention to provide a program for an imaging device and a display device including the above.

上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、複数の画像を連続的に表示するスライドショー表示を行うことが可能な表示装置であって、各々が複数の画像からなる少なくとも二つの画像群を記憶する記憶部と、各画像群を代表する代表画像を表示する領域を有し、前記スライドショー表示において対応する画像群を表示する直前に表示する先頭画像を生成する先頭画像生成部と、前記先頭画像生成部が生成した先頭画像のうち、前記スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像がそれぞれ有する代表画像の類似度を判定する類似度判定部と、前記少なくとも二つの画像群の各々に対応する先頭画像を各画像群の直前に表示させるとともに、前記少なくとも二つの画像群を画像群の生成順に連続的に表示させる制御を行う制御部と、を備え、前記先頭画像生成部は、前記類似度判定部が判定した二つの代表画像の類似度が所定の基準に達しない場合、前記スライドショー表示において後で表示する代表画像にマスク処理を施すことによってマスク先頭画像を生成し、前記制御部は、前記スライドショー表示を行う際、前記マスク先頭画像を表示した状態で前記スライドショーを中断する制御を行うことを特徴とする。   In order to solve the above-described problems and achieve the object, a display device according to the present invention is a display device capable of performing a slide show display that continuously displays a plurality of images, each of which includes a plurality of images. A storage unit for storing at least two image groups, and an area for displaying a representative image representing each image group, and generating a head image to be displayed immediately before displaying the corresponding image group in the slide show display A head image generation unit and a similarity determination unit that determines the similarity between representative images of two head images adjacent to each other in the display order of the head image in the slide show display among the head images generated by the head image generation unit And a head image corresponding to each of the at least two image groups is displayed immediately before each image group, and the at least two image groups are generated as image groups. A control unit that performs control to sequentially display in order, and the head image generation unit displays the slide show when the similarity between the two representative images determined by the similarity determination unit does not reach a predetermined reference A mask head image is generated by performing a mask process on a representative image to be displayed later in step, and the control unit performs control to interrupt the slide show while displaying the mask head image when performing the slide show display. It is characterized by that.

また、本発明に係る表示装置は、上記発明において、画像の特徴を抽出する特徴抽出部と、前記特徴抽出部が抽出した特徴に基づいて画像を分類する分類部と、前記分類部が分類した画像の特徴に応じて該画像が属する画像群を判定し、この判定結果を前記記憶部へ書き込む画像群判定部と、をさらに備え、前記先頭画像生成部は、前記画像群判定部によって新たな画像群に属すると判定された画像を代表画像とすることを特徴とする。   In the display device according to the present invention, in the above invention, the feature extraction unit that extracts the features of the image, the classification unit that classifies the images based on the features extracted by the feature extraction unit, and the classification unit An image group determining unit that determines an image group to which the image belongs according to the feature of the image and writes the determination result to the storage unit, and the head image generating unit is configured to add a new image by the image group determining unit. An image determined to belong to the image group is used as a representative image.

また、本発明に係る表示装置は、上記発明において、前記特徴抽出部は、画像に含まれる人物の顔を検出し、前記分類部は、前記特徴抽出部が顔を検出した場合、この検出した顔の特徴を用いて分類を行うことを特徴とする。   In the display device according to the present invention, in the above invention, the feature extraction unit detects a human face included in the image, and the classification unit detects the face when the feature extraction unit detects a face. Classification is performed using facial features.

また、本発明に係る撮像装置は、画像を撮像して該画像の画像データを生成する撮像装置であって、上記いずれかの発明に係る表示装置を備えたことを特徴とする。   An imaging apparatus according to the present invention is an imaging apparatus that captures an image and generates image data of the image, and includes the display device according to any one of the above-described inventions.

また、本発明に係る撮像装置は、上記発明において、画像を含む情報を表示する表示部を備えた外部装置との間で画像データを含む情報の通信を行う通信部をさらに備え、前記制御部は、前記通信部に対し、前記少なくとも二つの画像群および各画像群に対応する前記先頭画像を、前記表示装置における表示順と同じ順序で前記外部装置へ連続的に送信させる制御を行うことを特徴とする。   The imaging device according to the present invention further includes a communication unit that performs communication of information including image data with an external device including a display unit that displays information including an image. Performs control for causing the communication unit to continuously transmit the at least two image groups and the top image corresponding to each image group to the external device in the same order as the display order on the display device. Features.

また、本発明に係る表示装置用プログラムは、画像を記憶する記憶部を備え、複数の画像を連続的に表示するスライドショー表示を行うことが可能な表示装置に、画像の特徴を抽出する特徴抽出ステップ、前記特徴抽出ステップで抽出した特徴に基づいて画像を分類する分類ステップ、前記分類ステップで分類した画像の分類結果に応じて該画像が属する画像群を判定する画像群判定ステップ、前記画像群判定ステップで画像が新たな画像群に属すると判定した場合、該画像を代表画像として表示する領域を有し、前記スライドショー表示において前記新たな画像群を表示する直前に表示する先頭画像を生成する先頭画像生成ステップ、前記先頭画像生成ステップで生成した先頭画像のうち、前記スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像がそれぞれ有する代表画像の類似度を判定する類似度判定ステップ、前記類似度判定ステップで判定した二つの代表画像の類似度が所定の基準に達しない場合、前記スライドショー表示において後で表示する代表画像にマスク処理を施すことによってマスク先頭画像を生成するマスク先頭画像生成ステップ、前記画像群判定ステップで判定した複数の画像群を、前記マスク先頭画像生成ステップで生成したマスク先頭画像を表示するまで順次表示する表示ステップ、を実行させることを特徴とする。   In addition, the display device program according to the present invention includes a storage unit that stores images, and a feature extraction that extracts image features on a display device capable of performing a slide show display that continuously displays a plurality of images. A step of classifying an image based on the features extracted in the feature extraction step, an image group determination step of determining an image group to which the image belongs according to a classification result of the image classified in the classification step, and the image group If it is determined in the determination step that the image belongs to a new image group, a head image that has an area for displaying the image as a representative image and is displayed immediately before displaying the new image group in the slide show display is generated. Of the first images generated in the first image generation step and the first image generation step, display of the first image in the slide show display If the similarity between the two representative images determined in the similarity determination step does not reach a predetermined reference, a slideshow display is performed. A mask head image generation step for generating a mask head image by performing mask processing on a representative image to be displayed later in step, and a plurality of image groups determined in the image group determination step are masks generated in the mask head image generation step A display step of sequentially displaying until the head image is displayed is executed.

本発明によれば、画像の特徴に応じて画像を分類し、類似した複数の画像を一つの画像群と見なし、この画像群を特徴付ける先頭画像を生成した後、スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像の代表画像同士の類似度を判定することによって画像群が切り換わった場合にスライドショーを続行するか否かを決定しているため、スライドショー表示を行う際に画像の特徴に基づいてスライドショー表示を続行するか否かを自動的に判定することが可能となる。   According to the present invention, images are classified according to image characteristics, a plurality of similar images are regarded as one image group, and a head image characterizing this image group is generated, and then the display order of the head image in the slide show display is displayed. Determines whether or not to continue the slideshow when the image group is switched by determining the similarity between the representative images of the two adjacent top images. It is possible to automatically determine whether to continue the slide show display based on the above.

以下、添付図面を参照して本発明を実施するための最良の形態(以後、「実施の形態」と称する)を説明する。   The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below with reference to the accompanying drawings.

図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置1は、所定の視野領域に含まれる被写体からの光を集光し、この集光した光を光電変換することによって得られる画像信号からデジタルの画像データを生成する撮像部2と、撮像部2が生成した画像データに対して画像処理を施す画像処理部3と、画像処理部3で処理が施された画像データに対応する画像を表示する表示部4と、レリーズ信号を含む撮像装置1の操作信号等の入力を受け付ける入力部5と、明るさを含む撮像部2の視野領域の状態や撮影場所の情報を検知するセンサ部6と、撮影日時の判定機能やタイマー機能を有する時計7と、外部の機器との間で所定の通信方式による情報の送受信を行う通信部8と、撮像部2が撮影した画像の画像データを含む各種情報を記憶する記憶部9と、センサ部6の検知結果や入力部5から入力された操作信号に応じて撮像装置1の動作を制御する制御部10と、を備える。このうち、撮像部2およびセンサ部6を除いた構成要素は、本実施の形態に係る表示装置の少なくとも一部をなしている。換言すれば、撮像装置1は、本実施の形態に係る表示装置を備えている。   FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. An imaging apparatus 1 shown in FIG. 1 collects light from a subject included in a predetermined field of view and generates digital image data from an image signal obtained by photoelectrically converting the collected light. 2, an image processing unit 3 that performs image processing on the image data generated by the imaging unit 2, a display unit 4 that displays an image corresponding to the image data processed by the image processing unit 3, and a release signal An input unit 5 that receives an input of an operation signal or the like of the imaging device 1 including a sensor, a sensor unit 6 that detects information on a state of a field of view of the imaging unit 2 including brightness and information on a shooting location, a shooting date determination function, and a timer A communication unit 8 that transmits and receives information by a predetermined communication method between a clock 7 having a function and an external device; a storage unit 9 that stores various types of information including image data of an image captured by the imaging unit 2; , Detection result of sensor unit 6 And in response to the inputted operation signal from the input unit 5 and a control unit 10 for controlling the operation of the imaging apparatus 1, a. Among these, the components excluding the imaging unit 2 and the sensor unit 6 form at least a part of the display device according to the present embodiment. In other words, the imaging device 1 includes the display device according to the present embodiment.

撮像部2は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ信号に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。   The imaging unit 2 includes one or a plurality of lenses, and includes an optical system that collects light from a subject existing in a predetermined visual field area, a diaphragm that adjusts the amount of incident light collected by the optical system, and a release. An image sensor such as a CCD (Charge Coupled Device) that receives the light that has passed through the shutter and the shutter, and operates according to the signal, and converts it into an electrical signal, and an analog signal output from the image sensor is amplified and white balanced And a signal processing circuit that generates digital image data by performing A / D conversion after performing signal processing such as the above.

画像処理部3は、撮像部2が撮影した画像の特徴を抽出する特徴抽出部31と、特徴抽出部31が抽出した特徴に基づいて画像を分類する分類部32と、分類部32が分類した結果に基づいて、一つ前に分類された画像と同じ画像群に属するか否かを判定する画像群判定部33と、画像群判定部33が判定した画像が一つ前に分類された画像と同じ画像群に属しない場合、当該画像を代表画像として表示する領域を有し、当該画像に先立って表示される先頭画像を生成する先頭画像生成部34と、先頭画像生成部34が生成した先頭画像と該先頭画像の一つ前に先頭画像生成部34が生成した先頭画像との類似度を判定する類似度判定部35と、を有する。特徴抽出部31は、撮像部2が撮影した画像に含まれる人物の顔を記憶部9が記憶する顔のパターン情報を用いたパターンマッチングを行うことによって検出する機能を有する。   The image processing unit 3 includes a feature extraction unit 31 that extracts features of an image captured by the imaging unit 2, a classification unit 32 that classifies images based on the features extracted by the feature extraction unit 31, and a classification unit 32 that classifies the images. Based on the result, an image group determination unit 33 that determines whether or not the image group belongs to the same image group as the previous classified image, and an image in which the image determined by the image group determination unit 33 is classified the previous time The first image generation unit 34 for generating a first image to be displayed prior to the image, and the first image generation unit 34. A similarity determination unit 35 that determines the similarity between the head image and the head image generated by the head image generation unit 34 immediately before the head image; The feature extraction unit 31 has a function of detecting a person's face included in the image captured by the imaging unit 2 by performing pattern matching using face pattern information stored in the storage unit 9.

表示部4は、液晶、プラズマまたは有機EL(Electro Luminescence)等からなる表示パネルを用いて実現され、画像データのほかに撮像装置1の操作情報や撮影に関する情報を適宜表示する。   The display unit 4 is realized by using a display panel made of liquid crystal, plasma, organic EL (Electro Luminescence), or the like, and appropriately displays operation information of the imaging apparatus 1 and information related to photographing in addition to image data.

入力部5は、撮像装置1の電源ボタン、撮像指示を与えるレリーズ信号を入力するレリーズボタン、撮影時のズームや露出を調整するためのボタン、撮像装置1で設定可能な各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタン、などを有する。また、入力部5として表示部4にタッチパネルを積層することにより、ユーザが表示部4の上で操作信号の入力を行えるようにしてもよい。   The input unit 5 switches a power button of the imaging apparatus 1, a release button for inputting a release signal for giving an imaging instruction, a button for adjusting zoom and exposure at the time of shooting, and various operation modes that can be set by the imaging apparatus 1. A mode switching button for performing, a control button including instructions for reproducing and editing image data, and the like. Further, a touch panel may be stacked on the display unit 4 as the input unit 5 so that the user can input an operation signal on the display unit 4.

センサ部6は、撮像装置1の動きを検出する加速度センサおよび/または角速度センサ、GPS(Global Positioning System)から送られてくる情報を受信して撮像装置1の位置を検出する位置センサなどを有する。   The sensor unit 6 includes an acceleration sensor and / or angular velocity sensor that detects the movement of the imaging device 1, a position sensor that receives information sent from a GPS (Global Positioning System) and detects the position of the imaging device 1. .

通信部8は、画像を表示する外部装置200との間で無線LAN(Local Area Network)または赤外通信などの近距離無線通信を行う。なお、通信部8と外部装置200との間の通信を有線によって実現してもよい。   The communication unit 8 performs short-range wireless communication such as wireless LAN (Local Area Network) or infrared communication with the external device 200 that displays an image. Note that communication between the communication unit 8 and the external device 200 may be realized by wire.

記憶部9は、撮像部2が撮影し、画像処理部3によって処理が施された画像の画像データを記憶する画像データ記憶部91と、特徴抽出部31がパターンマッチングによって顔を検出する際に参照する顔のパターン情報を記憶するパターン情報記憶部92と、分類部32が分類した画像の分類情報を記憶する分類情報記憶部93と、本実施の形態に係る撮像装置用プログラムを含み、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部94とを有する。   The storage unit 9 includes an image data storage unit 91 that stores image data of an image captured by the imaging unit 2 and processed by the image processing unit 3, and a feature extraction unit 31 that detects a face by pattern matching. A pattern information storage unit 92 that stores the pattern information of the face to be referred to, a classification information storage unit 93 that stores the classification information of the image classified by the classification unit 32, and the imaging apparatus program according to the present embodiment. And a program storage unit 94 that stores various programs executed by the apparatus 1.

記憶部9は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部9に、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。   The storage unit 9 is realized using a semiconductor memory such as a flash memory or a RAM (Random Access Memory) that is fixedly provided inside the imaging apparatus 1. The storage unit 9 may be provided with a function as a recording medium interface for reading information recorded on a recording medium while recording information on a recording medium such as a memory card mounted from the outside.

制御部10は、MPU(Micro Processing Unit)等を用いて実現され、撮像装置1の各構成部位とバスラインを介して接続されている。   The control unit 10 is realized using an MPU (Micro Processing Unit) or the like, and is connected to each component of the imaging apparatus 1 via a bus line.

以上の構成を有する撮像装置1は、入力部5によるレリーズ信号の入力によって画像を撮影する撮影モードと、撮影した画像を記憶部9から読み出して再生表示する再生モードとを設定することができる。   The imaging apparatus 1 having the above-described configuration can set a shooting mode for shooting an image by inputting a release signal from the input unit 5 and a playback mode for reading the shot image from the storage unit 9 for playback display.

撮像装置1と通信し、撮像装置1から送信されてくる画像データに含まれる画像を表示する外部装置200は、テレビ、プロジェクタ、パソコン、デジタルフォトフレームのいずれかを用いて実現することができる。外部装置200は、撮像装置1から送信されてきた画像データに基づく画像の表示と、それ以外の機能に基づく画像の表示とを切り換える表示切換手段を具備している。   The external device 200 that communicates with the imaging device 1 and displays an image included in the image data transmitted from the imaging device 1 can be realized using any of a television, a projector, a personal computer, and a digital photo frame. The external device 200 includes display switching means for switching between displaying an image based on the image data transmitted from the imaging device 1 and displaying an image based on other functions.

図2は、撮像装置1の特徴的な処理として、撮像装置1が行うスライドショー表示の概要を示す図である。本実施の形態においては、連続的に撮影され、互いに類似している複数の画像(撮影画像)P11〜P14を一つの画像群G1としてグループ化し、その画像群G1に先立って表示する画像群G1の撮影日および代表画像を表示する先頭画像P1を表示する。図2に示す場合、先頭画像P1は、画像群G1の中で最初に撮影された画像P11を代表画像として代表画像表示領域PS1に表示している。なお、代表画像は変更することができる。画像群P21〜P23からなる画像群G2の直前に表示される先頭画像では、代表画像表示領域PS2でマスク処理が施されており、本来代表画像として表示されるべき画像P21が表示されていない。このように、撮像装置1は画像群G1の代表画像である画像P11と画像群G2の代表画像である画像P21との類似度が所定の基準に達していない場合、後で表示する先頭画像P2の代表画像にマスク処理を施すことによってマスク先頭画像P2'を生成し、このマスク先頭画像P2'を表示した状態でスライドショーを中断する。したがって、画像群G2は、入力部5によって表示を指示する操作信号が入力されない限り、表示部4で表示されることはない。 FIG. 2 is a diagram illustrating an outline of a slide show display performed by the imaging apparatus 1 as a characteristic process of the imaging apparatus 1. In the present embodiment, a plurality of images (photographed images) P 11 to P 14 that are continuously photographed and similar to each other are grouped as one image group G 1 and displayed prior to the image group G 1. shooting date and representative images of the image group G 1 that displays the first image P 1 to be displayed. In the case shown in FIG. 2, the first image P 1 is displayed in the representative image display area PS 1 with the image P 11 taken first in the image group G 1 as a representative image. The representative image can be changed. In the first image which is displayed immediately before the image group G 2 consisting of images P 21 to P 23, and the mask processing is performed by the representative image display area PS 2, an image P 21 to be displayed as originally representative image It is not displayed. Thus, if the similarity between the images P 21 is a representative image of the imaging apparatus 1 images P 11 and the image group G 2 is a representative image of the image group G 1 has not reached the predetermined reference, the display later A mask head image P 2 ′ is generated by performing mask processing on the representative image of the head image P 2 to be performed, and the slide show is interrupted while the mask head image P 2 ′ is displayed. Therefore, the image group G 2 is not displayed on the display unit 4 unless an operation signal instructing display is input by the input unit 5.

このように、本実施の形態では、撮影画像を分類して複数の類似画像からなる画像群を生成し、この画像群の先頭に画像群の特徴を示す先頭画像を表示するため、スライドショーを行う人の意思によって見せたくない画像は意図的に表示しないで済む。   As described above, in this embodiment, a slide show is performed to classify captured images to generate an image group including a plurality of similar images, and to display a head image indicating the characteristics of the image group at the head of the image group. It is not necessary to intentionally display images that you do not want to show due to human intention.

図3は、以上の構成を有する撮像装置1が撮影モードまたは再生モードに設定されている場合の処理の概要を示すフローチャートである。まず、撮像装置1が撮影モードに設定されている場合(ステップS1:撮影モード)を説明する。この場合、表示部4は、撮像部2が撮像している画像(スルー画像)を表示する(ステップS2)。   FIG. 3 is a flowchart showing an outline of processing when the imaging apparatus 1 having the above-described configuration is set to the shooting mode or the playback mode. First, the case where the imaging apparatus 1 is set to the shooting mode (step S1: shooting mode) will be described. In this case, the display unit 4 displays an image (through image) captured by the imaging unit 2 (step S2).

続いて、特徴抽出部31は、スルー画像の特徴を抽出する(ステップS3)。この際、特徴抽出部31は、パターン情報記憶部92が記憶する顔のパターン情報を参照してパターンマッチングを行うことにより、スルー画像に含まれる顔の検出等を行う。   Subsequently, the feature extraction unit 31 extracts features of the through image (step S3). At this time, the feature extraction unit 31 detects a face included in the through image by performing pattern matching with reference to the face pattern information stored in the pattern information storage unit 92.

その後、撮像部2はピントの調整を行う(ステップS4)。この際、特徴抽出部31が顔を検出していれば、撮像部2は検出された顔にピントを合わせる。   Thereafter, the imaging unit 2 adjusts the focus (step S4). At this time, if the feature extraction unit 31 detects a face, the imaging unit 2 focuses on the detected face.

ステップS4の後、入力部5によってレリーズ信号が入力された場合(ステップS5:Yes)、撮像部2は撮影を行い(ステップS6)、制御部10は撮像部2が撮影した画像の画像データを画像データ記憶部91へ記録する(ステップS7)。   When a release signal is input by the input unit 5 after step S4 (step S5: Yes), the imaging unit 2 performs imaging (step S6), and the control unit 10 obtains image data of an image captured by the imaging unit 2. It records in the image data storage part 91 (step S7).

続いて、分類部32は、撮影画像を分類する(ステップS8)。図4は、分類部32が行う画像の分類処理の詳細を示すフローチャートである。特徴抽出部31が顔を検出した場合(ステップS81:Yes)、特徴抽出部31は顔の大きさを判定する。この顔の大きさが所定の基準よりも大きい場合(ステップS82:Yes)、分類部32は画像を「ポートレート」というカテゴリに分類する(ステップS83)。一方、顔の大きさが所定の基準未満である場合(ステップS82:No)、分類部32は画像を「スナップ」というカテゴリに分類する(ステップS84)。ステップS83またはS84の後、分類部32は、画像中の顔の数をカウントする(ステップS85)。なお、画像中に複数の顔がある場合、ステップS82の判断は、複数の顔の大きさの平均値を用いて判断するようにすればよい。   Subsequently, the classification unit 32 classifies the captured images (step S8). FIG. 4 is a flowchart showing details of the image classification processing performed by the classification unit 32. When the feature extraction unit 31 detects a face (step S81: Yes), the feature extraction unit 31 determines the size of the face. When the size of the face is larger than the predetermined reference (step S82: Yes), the classification unit 32 classifies the image into the category “portrait” (step S83). On the other hand, when the face size is less than the predetermined reference (step S82: No), the classification unit 32 classifies the image into the category “snap” (step S84). After step S83 or S84, the classification unit 32 counts the number of faces in the image (step S85). When there are a plurality of faces in the image, the determination in step S82 may be performed using an average value of the sizes of the plurality of faces.

次に、特徴抽出部31が顔を検出しなかった場合(ステップS81:No)を説明する。まず、ピント距離が遠距離と見なしうる距離としてあらかじめ定められた第1の距離よりも大きい場合(ステップS86:Yes)、分類部32は画像を「風景」というカテゴリに分類する(ステップS87)。   Next, a case where the feature extraction unit 31 does not detect a face (step S81: No) will be described. First, when the focus distance is larger than a first distance that is predetermined as a distance that can be regarded as a long distance (step S86: Yes), the classification unit 32 classifies the image into a category of “landscape” (step S87).

ステップS86でピント距離が第1の距離よりも小さく(ステップS86:No)、かつ至近距離と見なしうる距離としてあらかじめ定められた第2の距離よりも大きい場合(ステップS88:No)、分類部32は画像を「ペット」というカテゴリに分類する(ステップS89)。   If the focus distance is smaller than the first distance in step S86 (step S86: No) and larger than a second distance that is predetermined as a distance that can be regarded as the closest distance (step S88: No), the classification unit 32. Classifies images into the category “pet” (step S89).

ステップS86でピント距離が第1の距離よりも小さく(ステップS86:No)、かつ第2の距離よりも小さい場合(ステップS88:Yes)、分類部32は画像の彩度に基づく判定をさらに行う(ステップS90)。具体的には、画像の彩度が所定値よりも大きい場合(ステップS90:Yes)、分類部32が画像を「花」というカテゴリに分類する(ステップS91)。一方、画像の彩度が所定値以下である場合(ステップS90:No)、分類部32は画像を「小物」というカテゴリに分類する(ステップS92)。   If the focus distance is smaller than the first distance in step S86 (step S86: No) and smaller than the second distance (step S88: Yes), the classification unit 32 further performs determination based on the saturation of the image. (Step S90). Specifically, when the saturation of the image is larger than a predetermined value (step S90: Yes), the classification unit 32 classifies the image into the category “flower” (step S91). On the other hand, when the saturation of the image is equal to or less than the predetermined value (step S90: No), the classification unit 32 classifies the image into the category “accessories” (step S92).

ステップS85、S87、S89、S91またはS92の後、撮像装置1は、図3に示すメインルーチンへ戻る。   After step S85, S87, S89, S91 or S92, the imaging apparatus 1 returns to the main routine shown in FIG.

なお、特徴抽出部31が顔を検出しない場合に分類されるカテゴリである「風景」、「ペット」、「花」、「小物」は、そのような画像が含まれる可能性が高いことを考慮した上で設定したカテゴリ名に過ぎず、例えば「風景」のカテゴリに風景以外の写真が含まれていてもかまわない。また、カテゴリの分け方は上述した場合に限られるわけではない。   Note that “landscape”, “pet”, “flower”, and “accessory”, which are categories classified when the feature extraction unit 31 does not detect a face, considers that such an image is likely to be included. In addition, the category name is just set, and for example, a photo other than landscape may be included in the category of “landscape”. Moreover, the way of dividing the category is not limited to the case described above.

以上説明したステップS8の後、撮像装置1は図3に示すメインルーチンに戻り、制御部10がステップS8における分類結果(カテゴリ、カテゴリが「スナップ」および「ポートレート」の場合には画像中の顔の数、等)を撮影日時や撮影場所の情報とともに分類情報記憶部93へ記録する(ステップS9)。   After step S8 described above, the imaging apparatus 1 returns to the main routine shown in FIG. 3, and the control unit 10 determines that the result of classification in step S8 (in the case where the category and category are “snap” and “portrait”) The number of faces, etc.) is recorded in the classification information storage unit 93 together with information on the shooting date and time and the shooting location (step S9).

続いて、画像群判定部33は、分類部32が分類した結果に基づいて、一つ前に分類された撮影画像と同じ画像群に属するか否かの判定を行う(ステップS10〜S15)。   Subsequently, the image group determination unit 33 determines whether or not the image group belongs to the same image group as the photographed image previously classified based on the result of the classification by the classification unit 32 (steps S10 to S15).

まず、撮影画像の撮影日時が一つ前の撮影画像の撮影日時と異なる場合(ステップS10:Yes)、画像群判定部33は、判定対象の撮影画像が一つ前の撮影画像と異なる画像群に属すると判定する(ステップS14)。この判定に基づいて、先頭画像生成部34は、撮影画像を代表画像とする先頭画像を生成し(ステップS16)、生成した先頭画像に関する先頭画像情報を分類情報記憶部93へ記録する(ステップS17)。   First, when the shooting date / time of the captured image is different from the shooting date / time of the previous captured image (step S10: Yes), the image group determination unit 33 sets the image group whose determination target captured image is different from the previous captured image. (Step S14). Based on this determination, the head image generation unit 34 generates a head image with the captured image as a representative image (step S16), and records head image information regarding the generated head image in the classification information storage unit 93 (step S17). ).

一方、撮影画像の撮影日時が一つ前の撮影画像の撮影日時と同じである場合(ステップS10:No)、画像群判定部33は、最新の先頭画像に用いられた撮影画像から所定枚数(例えば5枚)撮影後に撮影した画像であるか否かを判定する(ステップS11)。判定の結果、最新の先頭画像に用いられた撮影画像から所定枚数撮影後に撮影された画像であれば(ステップS11:Yes)、ステップS12へ進む。   On the other hand, when the shooting date / time of the captured image is the same as the shooting date / time of the previous captured image (step S10: No), the image group determination unit 33 determines a predetermined number (from the captured image used for the latest head image). For example, it is determined whether or not the image has been shot after shooting (step S11). As a result of the determination, if it is an image shot after shooting a predetermined number of shots from the shot image used for the latest head image (step S11: Yes), the process proceeds to step S12.

ステップS12において、画像群判定部33は、撮影画像が所定の時間帯(例えば、午前中、正午〜17時、17時以降)で一番最初に撮影された画像であるか否かを判定する。この判定の結果、撮影画像が所定の時間帯で一番最初に撮影された画像である場合(ステップS12:Yes)、ステップS13へ進む。   In step S12, the image group determination unit 33 determines whether or not the captured image is the first image captured in a predetermined time zone (for example, in the morning, noon to 17:00, and after 17:00). . If the result of this determination is that the captured image is the first image captured in a predetermined time zone (step S12: Yes), the process proceeds to step S13.

ステップS13において、画像群判定部33は、一つ前に撮影された撮影画像に含まれる顔が最新の撮影画像に含まれるか否かを判定する。判定の結果、一つ前に撮影された撮影画像に含まれる顔が最新の撮影画像に含まれない場合(ステップS13:No)、画像群判定部33は撮影画像が一つ前の撮影画像と異なる画像群に属すると判定する(ステップS14)。   In step S <b> 13, the image group determination unit 33 determines whether a face included in the previous captured image is included in the latest captured image. As a result of the determination, when the face included in the previous captured image is not included in the latest captured image (step S13: No), the image group determination unit 33 determines that the captured image is the previous captured image. It is determined that the images belong to different image groups (step S14).

次に、ステップS11で最新の先頭画像に用いられた撮影画像から所定枚数撮影後に撮影された画像でない場合(ステップS11:No)を説明する。この場合、画像群判定部33は、撮影画像が一つ前の撮影画像と同じ画像群に属すると判定する(ステップS15)。撮影画像が一つ前の撮影画像と同じ画像群に属する場合、新たな撮影画像が画像群に加わることになるため、制御部10は、先頭画像情報の書き換えを行う(ステップS18)。   Next, a case where the image is not an image taken after a predetermined number of shots from the shot image used for the latest head image in step S11 (step S11: No) will be described. In this case, the image group determination unit 33 determines that the captured image belongs to the same image group as the previous captured image (step S15). When the photographed image belongs to the same image group as the previous photographed image, a new photographed image is added to the image group, and therefore the control unit 10 rewrites the head image information (step S18).

ステップS11で最新の先頭画像に用いられた撮影画像から所定枚数撮影後に撮影された画像であり(ステップS11:Yes)、かつステップS12で撮影画像が所定の時間帯で一番最初に撮影された画像でない場合(ステップS12:No)、画像群判定部33は撮影画像が一つ前の撮影画像と同じ画像群に属すると判定する(ステップS15)。   It is an image taken after a predetermined number of shots from the shot image used for the latest head image in step S11 (step S11: Yes), and the shot image was shot first in a predetermined time zone in step S12. When it is not an image (step S12: No), the image group determination unit 33 determines that the captured image belongs to the same image group as the previous captured image (step S15).

ステップS11で最新の先頭画像に用いられた撮影画像から所定枚数撮影後に撮影された画像であり(ステップS11:Yes)、ステップS12で撮影画像が所定の時間帯で一番最初に撮影された画像であり(ステップS12:Yes)、かつ撮影画像に一つ前の撮影画像と同じ顔が含まれている場合(ステップS13:Yes)、画像群判定部33は撮影画像が一つ前の撮影画像と同じ画像群に属すると判定する(ステップS15)。   This is an image taken after shooting a predetermined number of shots from the shot image used for the latest head image in step S11 (step S11: Yes), and the shot image was shot first in a predetermined time zone in step S12. (Step S12: Yes), and when the captured image includes the same face as the previous captured image (step S13: Yes), the image group determination unit 33 causes the captured image to be the previous captured image. Are determined to belong to the same image group (step S15).

なお、画像群判定部33が判定する際には、上記以外の条件として、顔の数を画像数で割った商や顔の下部に位置する服の色や形状等の特徴を判定材料として加えてもよい。   When the image group determination unit 33 makes the determination, as a condition other than the above, characteristics such as the quotient obtained by dividing the number of faces by the number of images and the color and shape of clothes positioned below the face are added as determination materials. May be.

図5は、分類情報記憶部93が記憶する分類情報の概要を示す図である。同図に示すテーブルTbにおいて、先頭画像P1、P2の分類情報として、対応する画像群、画像群を構成する撮影画像に含まれる顔の総数や特徴、画像群のコマ数および撮影日時、撮影場所が記録されている。例えば、先頭画像P1で決められる画像群G1は、画像群の顔の総数が6であり、顔の特徴はA、B、Cであり、画像群のコマ数は4である。ここでの特徴A等は、顔の大きさ、髪の毛の割合、目の大きさなどの情報を数値化したものや、顔の色情報などを用いて構成される。また、顔に対応する服の色や形状等の情報を特徴として加えてもよい。また、撮影画像P11等に対しては、属する画像群、スナップ、顔の数、顔の特徴、撮影日時、撮影場所が記録されている。例えば、画像P11は画像群G1に属し、「スナップ」というカテゴリに分類された画像である。画像P11に含まれる人物の顔は2つであり、その2つの顔の特徴はA、Bとしてパターン情報記憶部92に記憶されている。画像P11の撮影日時は「2009.2.1,15:05」であり、撮影場所は「(x11,y11)」である。なお、実際のx11,y11には具体的な数値が記録されている。 FIG. 5 is a diagram showing an overview of the classification information stored in the classification information storage unit 93. In the table Tb shown in the figure, as the classification information of the leading images P 1 and P 2 , the corresponding image group, the total number and features of the faces included in the captured images constituting the image group, the number of frames in the image group and the shooting date and time, The shooting location is recorded. For example, in the image group G 1 determined by the first image P 1 , the total number of faces in the image group is 6, the facial features are A, B, and C, and the number of frames in the image group is 4. Here, the feature A or the like is configured using information obtained by digitizing information such as the size of the face, the proportion of the hair, and the size of the eyes, or color information of the face. Information such as the color and shape of clothes corresponding to the face may be added as a feature. Further, with respect to the captured image P 11 or the like, images which belong, snaps, number of faces, facial features, shooting date, the shooting location is recorded. For example, the image P 11 belong to the image group G 1, an image classified into the category of "snap". The face of the person included in the image P 11 is two, and the features of the two faces are stored in the pattern information storage unit 92 as A and B. The shooting date and time of the image P 11 is “2009.2.1, 15:05”, and the shooting location is “(x 11 , y 11 )”. Note that specific numerical values are recorded in actual x 11 and y 11 .

以上説明したテーブルTbに対して、上述したステップS15では、先頭画像の情報が追加される。また、上述したステップS18では、例えば顔の総数や特徴、画像群のコマ数が適宜書き換えられる。   In the step S15 described above, the information on the top image is added to the table Tb described above. In step S18 described above, for example, the total number and characteristics of the face and the number of frames in the image group are appropriately rewritten.

ステップS17またはS18の後、撮影処理を終了する信号が入力された場合(ステップS19:Yes)、撮像装置1は一連の処理を終了する。一方、撮影処理を終了する信号が入力されない場合(ステップS19:No)、撮像装置1はステップS1へ戻る。   After step S17 or S18, when a signal for ending the shooting process is input (step S19: Yes), the imaging apparatus 1 ends a series of processes. On the other hand, when the signal for ending the photographing process is not input (step S19: No), the imaging apparatus 1 returns to step S1.

なお、入力部5によってレリーズ信号が入力されない場合(ステップS5:No)、撮像装置1はステップS19へ進む。   If no release signal is input by the input unit 5 (step S5: No), the imaging apparatus 1 proceeds to step S19.

次に、撮像装置1が再生モードに設定されている場合(ステップS1:再生モード)を説明する。この場合、表示部4は、選択された画像を再生して表示する(ステップS20)。その後、撮像装置1は一連の処理を終了する。   Next, a case where the imaging device 1 is set to the playback mode (step S1: playback mode) will be described. In this case, the display unit 4 reproduces and displays the selected image (step S20). Thereafter, the imaging apparatus 1 ends a series of processes.

図6は、ステップS20の再生処理の詳細を示すフローチャートである。図6において、まず表示部4は、最新の撮影画像を再生表示する(ステップS201)。その後、入力部5によって一覧表示の操作指示信号が入力された場合(ステップS202:Yes)、表示部4は、再生中の撮影画像を含む画像群を対応する先頭画像とともにサムネイル表示する(ステップS203)。図7は、サムネイル表示の表示例を示す図である。   FIG. 6 is a flowchart showing details of the reproduction processing in step S20. In FIG. 6, the display unit 4 first reproduces and displays the latest captured image (step S201). Thereafter, when an operation instruction signal for list display is input by the input unit 5 (step S202: Yes), the display unit 4 displays a thumbnail of the image group including the captured image being reproduced together with the corresponding top image (step S203). ). FIG. 7 is a diagram illustrating a display example of thumbnail display.

図7に示す状態で表示の切換を指示する信号が入力部5によって入力されると(ステップS204:Yes)、表示部4は、図8に示すように別の画像群をサムネイル表示する(ステップS205)。その後、撮像装置1はステップS204へ戻る。なお、図7や図8のサムネイル表示を行う前に、図9に示すように先頭画像のみをサムネイル表示し、その中でユーザが選択した先頭画像に対応する画像群を表示するようにしてもよい。   When a signal instructing display switching is input by the input unit 5 in the state shown in FIG. 7 (step S204: Yes), the display unit 4 displays another image group as a thumbnail as shown in FIG. 8 (step S204). S205). Thereafter, the imaging apparatus 1 returns to step S204. Before performing the thumbnail display of FIGS. 7 and 8, only the top image is displayed as a thumbnail as shown in FIG. 9, and an image group corresponding to the top image selected by the user is displayed. Good.

なお、ここで説明したサムネイル表示機能は、ユーザが画像群の表示内容を把握するための機能として設けられるものであるため、画像群の類似判定に基づいたマスク先頭画像の生成、表示は行われない。   Note that the thumbnail display function described here is provided as a function for the user to grasp the display contents of the image group. Therefore, generation and display of the mask head image based on the similarity determination of the image group is performed. Absent.

図7に示す状態で、入力部5によって表示の切換を指示する信号が入力されず(ステップS204:No)、かつ表示中の先頭画像および画像群から画像の選択が行われた場合(ステップS206:Yes)、表示部4は選択された画像を拡大して全面で表示する(ステップS207)。その後、撮像装置1はステップS202へ戻る。   In the state shown in FIG. 7, when a signal for instructing display switching is not input by the input unit 5 (step S204: No), and an image is selected from the head image and the image group being displayed (step S206). : Yes), the display unit 4 enlarges the selected image and displays it on the entire surface (step S207). Thereafter, the imaging apparatus 1 returns to step S202.

次に、一覧表示の操作指示信号が入力されない場合(ステップS202:No)を説明する。まず、スライドショー表示の開始を指示する信号が入力部5によって入力された場合(ステップS208:Yes)を説明する。この場合、次に表示部4で表示するとともに外部装置200へ送信する画像が先頭画像であるか否かに応じて処理が異なる。   Next, a case where an operation instruction signal for list display is not input (step S202: No) will be described. First, the case where a signal instructing the start of slide show display is input by the input unit 5 (step S208: Yes) will be described. In this case, the processing differs depending on whether the next image displayed on the display unit 4 and transmitted to the external apparatus 200 is the first image.

次に表示部4で表示するとともに、外部装置200へ送信する画像が先頭画像である場合(ステップS209:Yes)、類似度判定部35は、その先頭画像に含まれる代表画像を一つ前の先頭画像に含まれる代表画像と比較して類似度を判定する(ステップS210)。類似度判定部35が二つの代表画像が類似していると判定した場合(ステップS211:Yes)、表示部4が先頭画像を表示するとともに通信部8がその先頭画像を外部装置200へ送信する(ステップS212)。ここでの類似度は、代表画像に含まれる被写体、撮影場所、撮影日時等の情報に基づいて判定される。なお、類似度判定部35における類似度の判定基準は適宜設定することができる。例えば、二つの代表画像に含まれる被写体の一部または全部が同じである場合、類似度判定部35に二つの代表画像が類似していると判定させるような設定とすることができる。また、二つの代表画像に含まれる被写体の一部または全部が同じであっても二つの代表画像の撮影場所が所定の距離より大きく離れている場合、類似度判定部35に二つの代表画像が非類似であると判定させるような設定とすることもできる。   Next, when the image displayed on the display unit 4 and transmitted to the external apparatus 200 is the first image (step S209: Yes), the similarity determination unit 35 determines the representative image included in the first image as the previous image. The similarity is determined by comparing with the representative image included in the head image (step S210). When the similarity determination unit 35 determines that the two representative images are similar (step S211: Yes), the display unit 4 displays the top image and the communication unit 8 transmits the top image to the external device 200. (Step S212). Here, the similarity is determined based on information such as a subject, a shooting location, and a shooting date / time included in the representative image. Note that the similarity criterion in the similarity determination unit 35 can be set as appropriate. For example, when some or all of the subjects included in the two representative images are the same, it is possible to set so that the similarity determination unit 35 determines that the two representative images are similar. In addition, even when some or all of the subjects included in the two representative images are the same, if the shooting locations of the two representative images are separated from each other by a predetermined distance, the two representative images are displayed in the similarity determination unit 35. It is also possible to set so as to determine that they are dissimilar.

その後、入力部5によってスライドショー表示を終了する指示信号が入力された場合(ステップS213:Yes)、撮像装置1は図3に示すメインルーチンへ戻る。一方、入力部5によってスライドショー表示を終了する指示信号が入力されない場合(ステップS213:No)、撮像装置1はステップS209へ戻る。   Thereafter, when an instruction signal for ending the slide show display is input by the input unit 5 (step S213: Yes), the imaging apparatus 1 returns to the main routine illustrated in FIG. On the other hand, when the instruction signal for ending the slide show display is not input by the input unit 5 (step S213: No), the imaging apparatus 1 returns to step S209.

次に、表示部4で表示するとともに外部装置200へ送信する画像が先頭画像であり(ステップS209:Yes)、かつその先頭画像の代表画像が一つ前の先頭画像の代表画像と類似していない場合(ステップS211:No)を説明する。この場合、先頭画像生成部34は、代表画像を表示しないようにマスクしたマスク先頭画像を生成する(ステップS214)。その後、表示部4がマスク先頭画像を表示するとともに、通信部8がマスク先頭画像を外部装置200へ送信する(ステップS215)。   Next, the image displayed on the display unit 4 and transmitted to the external apparatus 200 is the top image (step S209: Yes), and the representative image of the top image is similar to the representative image of the previous top image. The case (step S211: No) will be described. In this case, the head image generation unit 34 generates a mask head image masked so as not to display the representative image (step S214). Thereafter, the display unit 4 displays the mask head image, and the communication unit 8 transmits the mask head image to the external device 200 (step S215).

ステップS215の後、入力部5によってスライドショー表示を続行する指示が入力された場合(ステップS216:Yes)、撮像装置1はマスク先頭画像の元画像であり代表画像がマスクされずに表示された先頭画像を表示部4で表示するとともに、その先頭画像を通信部8によって外部装置200へ送信し(ステップS217)、ステップS213へ進む。一方、ステップS215の後、入力部5によってスライドショー表示を続行しない指示が入力された場合(ステップS216:No)、撮像装置1は図3のメインルーチンへ戻る。   After step S215, when an instruction to continue the slide show display is input by the input unit 5 (step S216: Yes), the imaging device 1 is the original image of the mask head image, and the head image displayed without masking the representative image The image is displayed on the display unit 4, and the head image is transmitted to the external device 200 by the communication unit 8 (step S217), and the process proceeds to step S213. On the other hand, after step S215, when an instruction not to continue the slide show display is input by the input unit 5 (step S216: No), the imaging apparatus 1 returns to the main routine of FIG.

ステップS209において、次に表示すべき画像が先頭画像でない場合(ステップS209:No)、表示部4が次の撮影画像を表示するとともに、通信部8がその撮影画像を外部装置200へ送信する(ステップS218)。   In step S209, when the next image to be displayed is not the first image (step S209: No), the display unit 4 displays the next captured image, and the communication unit 8 transmits the captured image to the external apparatus 200 ( Step S218).

このようにして、図2に示すようなスライドショー表示が実現されることとなる。   In this way, a slide show display as shown in FIG. 2 is realized.

次に、ステップS208において、スライドショー表示の開始を指示する信号が入力部5によって入力されなかった場合(ステップS208:No)を説明する。この場合において、他の画像への表示の切換を指示する操作信号が入力部5によって入力されたとき(ステップS219:Yes)、表示部4は次に表示すべき先頭画像または撮影画像を表示する(ステップS220)。このステップS220では、通信部8が次に表示すべき先頭画像または撮影画像を外部装置200へ送信するようにしてもよい。   Next, a case where a signal instructing the start of the slide show display is not input by the input unit 5 in step S208 (step S208: No) will be described. In this case, when an operation signal instructing switching of display to another image is input by the input unit 5 (step S219: Yes), the display unit 4 displays the first image or the captured image to be displayed next. (Step S220). In step S <b> 220, the communication unit 8 may transmit the first image or captured image to be displayed next to the external device 200.

その後、入力部5によって再生を終了する信号が入力された場合(ステップS221:Yes)、撮像装置1は図3のメインルーチンへ戻る。一方、入力部5によって再生を終了する信号が入力されない場合(ステップS221:No)、撮像装置1はステップS202へ戻る。   Thereafter, when a signal for ending reproduction is input by the input unit 5 (step S221: Yes), the imaging apparatus 1 returns to the main routine of FIG. On the other hand, when the signal to end the reproduction is not input by the input unit 5 (step S221: No), the imaging device 1 returns to step S202.

以上説明した本発明の一実施の形態によれば、画像の特徴に応じて画像を分類し、類似した複数の画像を一つの画像群と見なし、この画像群を特徴付ける先頭画像を生成した後、スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像の代表画像同士の類似度を判定することによって画像群が切り換わった場合にスライドショーを続行するか否かを決定しているため、ススライドショー表示を行う際に画像の特徴に基づいてスライドショー表示を続行するか否かを自動的に判定することが可能となる。   According to the embodiment of the present invention described above, after classifying images according to image characteristics, considering a plurality of similar images as one image group, and generating a leading image characterizing this image group, Since the display order of the first image in the slide show display determines the similarity between the representative images of two adjacent first images, it is determined whether or not to continue the slide show when the image group is switched. When performing a slide show display, it is possible to automatically determine whether or not to continue the slide show display based on the feature of the image.

また、本実施の形態によれば、代表画像が類似していない画像群を表示する際には一度スライドショーを中断するため、大勢でスライドショーを鑑賞する場合、ユーザ(撮影者)のプライバシーを保護しながらその場の雰囲気を壊さずにスライドショーを行うことができる。   In addition, according to the present embodiment, when displaying a group of images whose representative images are not similar, the slide show is interrupted once. Therefore, when viewing a slide show in large numbers, the privacy of the user (photographer) is protected. However, a slide show can be performed without breaking the atmosphere of the place.

また、本実施の形態によれば、先頭画像を生成することにより、画像群の検索を行うのも容易である。   Further, according to the present embodiment, it is easy to search for an image group by generating a head image.

ここまで、本発明を実施するための最良の形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。図10および図11は、先頭画像の別な表示例を示す図である。図10に示す先頭画像P3では、代表画像表示領域PS3に、大人と子供が写っていることをシンボル化した代表画像が表示されている。また、図11に示す先頭画像P4では、代表画像表示領域PS4に、風景が写っていることをシンボル化した代表画像が表示されている。このような先頭画像P3、P4によれば、マスク先頭画像を表示するのと同様の効果に加え、後続の画像群の内容をユーザが画面を通して把握することができるようになる。 The best mode for carrying out the present invention has been described so far, but the present invention should not be limited only by the above-described embodiment. 10 and 11 are diagrams showing another display example of the head image. In the first image P 3 shown in FIG. 10, a representative image symbolizing that an adult and a child are shown is displayed in the representative image display area PS 3 . In the top image P 4 shown in FIG. 11, a representative image symbolized that a landscape is shown is displayed in the representative image display area PS 4 . According to such head images P 3 and P 4 , in addition to the same effect as displaying the mask head image, the user can grasp the contents of the subsequent image group through the screen.

また、本発明において、外部装置が表示装置としての機能を備えていてもよい。この場合には、撮像装置が外部装置へ画像データのみを送信すればよい。また、撮像装置に装着されていたメモリーカードに画像データが記録されており、外部装置にもメモリーカードが装着可能であれば、撮像装置に装着され、画像データが記録されているメモリーカードを外部装置へ装着することによって上述したスライドショーを実行させることができる。   In the present invention, the external device may have a function as a display device. In this case, the imaging device only needs to transmit image data to the external device. Also, if image data is recorded on the memory card attached to the imaging device and the memory card can also be attached to the external device, the memory card attached to the imaging device and storing the image data is The above-described slide show can be executed by mounting on the apparatus.

本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on one embodiment of this invention. 本発明の一実施の形態に係る撮像装置が行うスライドショー表示の表示例を示す図である。It is a figure which shows the example of a display of the slide show display which the imaging device which concerns on one embodiment of this invention performs. 本発明の一実施の形態に係る撮像装置が撮影モードまたは再生モードに設定されている場合の処理の概要を示すフローチャートである。6 is a flowchart illustrating an outline of processing when the imaging apparatus according to the embodiment of the present invention is set to a shooting mode or a playback mode. 本発明の一実施の形態に係る撮像装置の分類部が行う画像の分類処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the classification process of the image which the classification | category part of the imaging device which concerns on one embodiment of this invention performs. 本発明の一実施の形態に係る撮像装置の分類情報記憶部が記憶する分類情報の概要を示す図である。It is a figure which shows the outline | summary of the classification information which the classification information storage part of the imaging device which concerns on one embodiment of this invention memorize | stores. 本発明の一実施の形態に係る撮像装置が行う再生処理の詳細を示すフローチャートである。6 is a flowchart illustrating details of a reproduction process performed by the imaging apparatus according to the embodiment of the present invention. 画像群と該画像群に対応する先頭画像のサムネイル表示の表示例を示す図である。It is a figure which shows the example of a display of the thumbnail display of the image group and the head image corresponding to this image group. 画像群と該画像群に対応する先頭画像のサムネイル表示の別な表示例を示す図である。It is a figure which shows another example of a display of the thumbnail display of the image group and the head image corresponding to this image group. サムネイル表示をする前に先頭画像を一括表示する場合の表示例を示す図である。It is a figure which shows the example of a display in the case of displaying a head image collectively before displaying a thumbnail. 本発明の一実施の形態に係る撮像装置が生成した先頭画像の別な表示例(第1例)を示す図である。It is a figure which shows another display example (1st example) of the head image which the imaging device which concerns on one embodiment of this invention produced | generated. 本発明の一実施の形態に係る撮像装置が生成した先頭画像の別な表示例(第2例)を示す図である。It is a figure which shows another display example (2nd example) of the head image which the imaging device which concerns on one embodiment of this invention produced | generated. 従来のスライドショー表示の表示例を示す図である。It is a figure which shows the example of a display of the conventional slide show display.

1 撮像装置
2 撮像部
3 画像処理部
4 表示部
5 入力部
6 センサ部
7 時計
8 通信部
9 記憶部
10 制御部
31 特徴抽出部
32 分類部
33 画像群判定部
34 先頭画像生成部
35 類似度判定部
91 画像データ記憶部
92 パターン情報記憶部
93 分類情報記憶部
94 プログラム記憶部
200 外部装置
1、G2 画像群
1〜P4 先頭画像
11〜P14、P21〜P23 画像
2' マスク先頭画像
PS1〜PS4 代表画像表示領域
Tb テーブル
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Imaging part 3 Image processing part 4 Display part 5 Input part 6 Sensor part 7 Clock 8 Communication part 9 Storage part 10 Control part 31 Feature extraction part 32 Classification part 33 Image group determination part 34 Leading image generation part 35 Similarity degree Determination unit 91 Image data storage unit 92 Pattern information storage unit 93 Classification information storage unit 94 Program storage unit 200 External device G 1 , G 2 image group P 1 to P 4 First image P 11 to P 14 , P 21 to P 23 image P 2 'mask top image PS 1 ~PS 4 representative image display area Tb table

Claims (6)

複数の画像を連続的に表示するスライドショー表示を行うことが可能な表示装置であって、
各々が複数の画像からなる少なくとも二つの画像群を記憶する記憶部と、
各画像群を代表する代表画像を表示する領域を有し、前記スライドショー表示において対応する画像群を表示する直前に表示する先頭画像を生成する先頭画像生成部と、
前記先頭画像生成部が生成した先頭画像のうち、前記スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像がそれぞれ有する代表画像の類似度を判定する類似度判定部と、
前記少なくとも二つの画像群の各々に対応する先頭画像を各画像群の直前に表示させるとともに、前記少なくとも二つの画像群を画像群の生成順に連続的に表示させる制御を行う制御部と、
を備え、
前記先頭画像生成部は、
前記類似度判定部が判定した二つの代表画像の類似度が所定の基準に達しない場合、前記スライドショー表示において後で表示する代表画像にマスク処理を施すことによってマスク先頭画像を生成し、
前記制御部は、
前記スライドショー表示を行う際、前記マスク先頭画像を表示した状態で前記スライドショーを中断する制御を行うことを特徴とする表示装置。
A display device capable of performing a slide show display that continuously displays a plurality of images,
A storage unit for storing at least two image groups each consisting of a plurality of images;
A head image generating unit that has a region for displaying a representative image representing each image group, and generates a head image to be displayed immediately before displaying the corresponding image group in the slide show display;
Among the top images generated by the top image generation unit, a similarity determination unit that determines the similarity of the representative images each of the two top images adjacent to each other in the display order of the top images in the slide show display;
A control unit for controlling the first image corresponding to each of the at least two image groups to be displayed immediately before each image group and continuously displaying the at least two image groups in the order of generation of the image groups;
With
The head image generation unit
When the similarity between the two representative images determined by the similarity determination unit does not reach a predetermined reference, a mask head image is generated by performing mask processing on the representative image to be displayed later in the slide show display,
The controller is
A display device, wherein when performing the slide show display, control is performed to interrupt the slide show while the mask head image is displayed.
画像の特徴を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて画像を分類する分類部と、
前記分類部が分類した画像の特徴に応じて該画像が属する画像群を判定し、この判定結果を前記記憶部へ書き込む画像群判定部と、
をさらに備え、
前記先頭画像生成部は、
前記画像群判定部によって新たな画像群に属すると判定された画像を代表画像とすることを特徴とする請求項1に記載の表示装置。
A feature extraction unit for extracting features of the image;
A classification unit that classifies images based on the features extracted by the feature extraction unit;
An image group determination unit that determines an image group to which the image belongs according to the characteristics of the image classified by the classification unit, and writes the determination result to the storage unit;
Further comprising
The head image generation unit
The display apparatus according to claim 1, wherein an image determined to belong to a new image group by the image group determination unit is used as a representative image.
前記特徴抽出部は、
画像に含まれる人物の顔を検出し、
前記分類部は、
前記特徴抽出部が顔を検出した場合、この検出した顔の特徴を用いて分類を行うことを特徴とする請求項2に記載の表示装置。
The feature extraction unit includes:
Detect the faces of people in the image,
The classification unit includes:
The display device according to claim 2, wherein when the feature extraction unit detects a face, classification is performed using the detected face feature.
画像を撮像して該画像の画像データを生成する撮像装置であって、
請求項1〜3のいずれか一項に記載の表示装置を備えたことを特徴とする撮像装置。
An imaging device that captures an image and generates image data of the image,
An imaging apparatus comprising the display device according to claim 1.
画像を含む情報を表示する表示部を備えた外部装置との間で画像データを含む情報の通信を行う通信部をさらに備え、
前記制御部は、
前記通信部に対し、前記少なくとも二つの画像群および各画像群に対応する前記先頭画像を、前記表示装置における表示順と同じ順序で前記外部装置へ連続的に送信させる制御を行うことを特徴とする請求項4に記載の撮像装置。
A communication unit that communicates information including image data with an external device that includes a display unit that displays information including an image;
The controller is
The communication unit is controlled to continuously transmit the at least two image groups and the top image corresponding to each image group to the external device in the same order as the display order on the display device. The imaging device according to claim 4.
画像を記憶する記憶部を備え、複数の画像を連続的に表示するスライドショー表示を行うことが可能な表示装置に、
画像の特徴を抽出する特徴抽出ステップ、
前記特徴抽出ステップで抽出した特徴に基づいて画像を分類する分類ステップ、
前記分類ステップで分類した画像の分類結果に応じて該画像が属する画像群を判定する画像群判定ステップ、
前記画像群判定ステップで画像が新たな画像群に属すると判定した場合、該画像を代表画像として表示する領域を有し、前記スライドショー表示において前記新たな画像群を表示する直前に表示する先頭画像を生成する先頭画像生成ステップ、
前記先頭画像生成ステップで生成した先頭画像のうち、前記スライドショー表示における先頭画像の表示順が隣接する二つの先頭画像がそれぞれ有する代表画像の類似度を判定する類似度判定ステップ、
前記類似度判定ステップで判定した二つの代表画像の類似度が所定の基準に達しない場合、前記スライドショー表示において後で表示する代表画像にマスク処理を施すことによってマスク先頭画像を生成するマスク先頭画像生成ステップ、
前記画像群判定ステップで判定した複数の画像群を、前記マスク先頭画像生成ステップで生成したマスク先頭画像を表示するまで順次表示する表示ステップ、
を実行させることを特徴とする表示装置用プログラム。
A display device having a storage unit for storing images and capable of performing a slide show display for continuously displaying a plurality of images,
A feature extraction step for extracting image features;
A classification step of classifying the image based on the features extracted in the feature extraction step;
An image group determination step for determining an image group to which the image belongs according to a classification result of the image classified in the classification step;
If it is determined in the image group determination step that the image belongs to a new image group, the first image is displayed immediately before displaying the new image group in the slide show display, having an area for displaying the image as a representative image A first image generation step for generating
A similarity determination step for determining a similarity between representative images of two head images adjacent to each other in the display order of the head images in the slide show display among the head images generated in the head image generation step;
If the similarity between the two representative images determined in the similarity determination step does not reach a predetermined reference, a mask leading image is generated by performing mask processing on a representative image to be displayed later in the slide show display Generation step,
A display step of sequentially displaying a plurality of image groups determined in the image group determination step until the mask head image generated in the mask head image generation step is displayed;
A program for a display device, characterized in that
JP2009049592A 2009-03-03 2009-03-03 Display device Expired - Fee Related JP5249090B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009049592A JP5249090B2 (en) 2009-03-03 2009-03-03 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009049592A JP5249090B2 (en) 2009-03-03 2009-03-03 Display device

Publications (3)

Publication Number Publication Date
JP2010206508A true JP2010206508A (en) 2010-09-16
JP2010206508A5 JP2010206508A5 (en) 2012-03-15
JP5249090B2 JP5249090B2 (en) 2013-07-31

Family

ID=42967539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009049592A Expired - Fee Related JP5249090B2 (en) 2009-03-03 2009-03-03 Display device

Country Status (1)

Country Link
JP (1) JP5249090B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153744A1 (en) * 2011-05-12 2012-11-15 日本電気株式会社 Information processing device, information processing method, and information processing program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139325A (en) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd Similarity retrieval method and system therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139325A (en) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd Similarity retrieval method and system therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153744A1 (en) * 2011-05-12 2012-11-15 日本電気株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP5249090B2 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
JP4640456B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method, and program
CN100556078C (en) Camera head, image processing apparatus and image processing method
JP5128880B2 (en) Image handling device
JP2013186512A (en) Image processing apparatus and method, and program
JP2014146989A (en) Image pickup device, image pickup method, and image pickup program
JP2009088687A (en) Album creation device
JP2015198300A (en) Information processor, imaging apparatus, and image management system
JP2010011076A (en) Image processing apparatus and image processing method
US9767587B2 (en) Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information
JP2008242694A (en) Image processing apparatus and its program
JP2015008385A (en) Image selection device, imaging device, and image selection program
KR102138835B1 (en) Apparatus and method for providing information exposure protecting image
JP5249090B2 (en) Display device
JP2007258953A (en) Automatic photography system and instrument
JP2013149034A (en) Image display apparatus, image display method, and program
JP5675922B2 (en) Shooting display device
JP5368165B2 (en) Imaging display device and imaging display method
JP5477025B2 (en) Image display device and program
JP2011065278A (en) Electronic equipment, image retrieval method, and content reproduction program
JP5098917B2 (en) Composition determination apparatus, composition determination method, and program
JP6006841B2 (en) Image handling apparatus, image handling method, and program
JP6296833B2 (en) Image / audio processing apparatus, image / audio processing method, and program
JP2010187119A (en) Image capturing apparatus, and program for the same
WO2022158201A1 (en) Image processing device, image processing method, and program
JP5665380B2 (en) Image processing apparatus, image processing apparatus control method, program, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130411

R151 Written notification of patent or utility model registration

Ref document number: 5249090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees