JP2008225089A - Image display device, image display method, and program - Google Patents

Image display device, image display method, and program Download PDF

Info

Publication number
JP2008225089A
JP2008225089A JP2007063772A JP2007063772A JP2008225089A JP 2008225089 A JP2008225089 A JP 2008225089A JP 2007063772 A JP2007063772 A JP 2007063772A JP 2007063772 A JP2007063772 A JP 2007063772A JP 2008225089 A JP2008225089 A JP 2008225089A
Authority
JP
Japan
Prior art keywords
image
face
images
display
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007063772A
Other languages
Japanese (ja)
Other versions
JP5295510B2 (en
Inventor
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Imaging Corp
Original Assignee
Olympus Corp
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Imaging Corp filed Critical Olympus Corp
Priority to JP2007063772A priority Critical patent/JP5295510B2/en
Publication of JP2008225089A publication Critical patent/JP2008225089A/en
Application granted granted Critical
Publication of JP5295510B2 publication Critical patent/JP5295510B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device, an image display method, and a program by which images, such as, family history capable of typically reminding nostalgia are surely selected and displayed. <P>SOLUTION: When image data are input in a server 400, the face part and the background part in the image data are divided and priority and degrees of nostalgia are calculated from facial expressions in the facial part and the kind of subject in the background part. When reproducing the image that reminds nostalgia, the image data are selected according to the degrees of nostalgia by each piece of image data, and the image selected is reproduced in a PC 500. When there are a plurality of the face parts within the image, the degrees of nostalgia are also set from the size of each face and positional relations. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置、画像表示方法、及びプログラムに関する。   The present invention relates to an image display device, an image display method, and a program for displaying a plurality of images including face images in a predetermined priority order.

近年、記録媒体の大容量化に伴い、フィルム写真年代に比べて大量の写真が撮影されるようになっている。また、こうした写真はデジタル画像で得られるので、ネットワーク等を介して様々な場所に送ることが容易である。   In recent years, with the increase in capacity of recording media, a large amount of photographs are taken compared to the film photography age. Moreover, since such a photograph is obtained as a digital image, it can be easily sent to various places via a network or the like.

また、過去のフィルム写真もスキャナ等を利用してデジタル化することにより、どこでも玉石混淆の画像を鑑賞可能になっている。   In addition, past film photographs are digitized using a scanner or the like, so that it is possible to view images of chaotic chaos anywhere.

このように、近年では大量の画像を取得できるようになった反面、その中から見たい画像を選択するには大変な努力を要するようになってきている。以前のように、記念写真のような機会にしか撮影がなされなかった時代では、写真を整理するのも比較的容易であり、また、整理されているため選択も容易であるが、近年のような、写真が日常的に大量に撮られるようになると、従来どおりに何かの記念に写されたもの(休暇中の家族の集まりや、慶事の集まり、家族が集まっての肖像写真等)と、日常の単なるメモ代わりの画像とが一緒くたになってしまう可能性があり、どこに懐かしい画像(ここでは、主に、家族の団欒を示すもの)があるかを見つけるのは難しい。   As described above, in recent years, it has become possible to acquire a large amount of images, but it has become a great effort to select an image to be viewed from among them. As before, in the era when photographs were taken only on occasions such as commemorative photos, it is relatively easy to organize the photos, and because they are organized, selection is easy, but as in recent years When a large number of photos are taken on a daily basis, something that was taken in commemoration of something as usual (a family gathering during a holiday, a gathering for a celebration, a portrait photo of a family gathering, etc.) It's hard to find where there are nostalgic images (here, mainly those that show family unity), which can be combined with images instead of everyday memos.

このような画像の選択技術に関連して、特許文献1ではコンピュータへの画像の保存時に写真とメタ情報とを関連付けて登録しておくことにより、メタ情報に従って懐かしさを感じさせる画像を選択し、選択した画像に従って映像効果付の思い出ビデオを作成している。
特開2006−287521号公報
In relation to such an image selection technique, Patent Document 1 selects an image that feels nostalgia according to meta information by registering a photo and meta information in association with each other when the image is stored in a computer. A memory video with video effects is created according to the selected image.
JP 2006-287521 A

特許文献1のように思い出等を時間で管理しようとする動きはあるが、単に古い画像が懐かしい画像であるわけはなく、実際には、その画像を撮影した瞬間やその前後に、誰とどのようなことが起こったかを思い出せるような画像が懐かしい画像であるといえる。また、複数人で写真を鑑賞する場合等では個人的な思い出の写真よりも写真に写った複数の人物の関係性が分かりやすく、その当時の被写体の感情が読み取れる写真のほうが重要な場合が多い。   There is a movement to manage memories etc. with time as in Patent Document 1, but the old image is not simply a nostalgic image. It can be said that an image that can remember what happened is a nostalgic image. Also, when viewing photos with more than one person, it is often more important to have a picture that allows you to understand the relationship between multiple people in the picture than the picture of personal memories, and to read the emotion of the subject at that time. .

本発明は、上記の事情に鑑みてなされたものであり、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and is an image display device that can definitely select and display an image that can be reminiscent of typical nostalgia such as a family's age history, An object is to provide an image display method and a program.

上記の目的を達成するために、本発明の第1の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像における顔部分を複数検出する顔検出部と、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部とを備えたことを特徴とする。   In order to achieve the above object, an image display device according to a first aspect of the present invention is an image display device for selecting and displaying a smaller number of images from a plurality of images. A plurality of face detection units to be detected and the detection result of the face part are used to determine the size and position of the image of the plurality of face parts, and the display priority of the image is determined according to the determined size and position of the face part. A priority setting unit for setting and a display control unit for displaying the image in a priority order corresponding to the display priority are provided.

また、上記の目的を達成するために、本発明の第2の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像内から人物の部分を検出する人物検出部と、上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させる表示制御部とを備えたことを特徴とする。   In order to achieve the above object, an image display device according to a second aspect of the present invention is an image display device for selecting and displaying a smaller number of images from a plurality of images. A person detection unit that detects a person part, a background detection part that detects a background part in the image, and a background part detected by the background detection part can be specified from the detection result of the person part. A display control unit configured to display a first image in which a simple subject is photographed and a second image having an image similar to the person unit included in the first image side by side.

また、上記の目的を達成するために、本発明の第3の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像における顔部分を複数検出し、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする。   In order to achieve the above object, an image display method according to a third aspect of the present invention is an image display method for selecting and displaying a smaller number of images from a plurality of images. A plurality of portions are detected, and the size and position of the images of the plurality of face portions are determined from the result of the face portion detection, and the display priority of the image is set according to the determined size and position of the face portions. The images are displayed in a priority order corresponding to the display priority.

また、上記の目的を達成するために、本発明の第4の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像内から人物の部分を検出し、上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、上記検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させることを特徴とする。   In order to achieve the above object, an image display method according to a fourth aspect of the present invention is an image display method for selecting and displaying a smaller number of images from a plurality of images. A first image in which a person part is detected, a background part in the image is detected from the detection result of the person part, and a subject whose age can be specified is photographed in the detected background part; The second image having the same image as the person portion of the first image is displayed side by side.

また、上記の目的を達成するために、本発明の第5の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像における顔部分を複数検出するステップと、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、上記表示優先度に応じた優先順位で上記画像を表示させるステップとをコンピュータに実行させる。   In order to achieve the above object, an image display program according to a fifth aspect of the present invention is an image display program for selecting and displaying a smaller number of images from a plurality of images. A step of detecting a plurality of portions, a step of determining the size and position of the images of the plurality of face portions from the result of detection of the face portions, and display priority of the image according to the size and position of the determined face portions Causing the computer to execute a step of setting a degree and a step of displaying the image in a priority order corresponding to the display priority.

また、上記の目的を達成するために、本発明の第6の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像内から人物の部分を検出するステップと、上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、上記検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させるステップとをコンピュータに実行させる。   In order to achieve the above object, an image display program according to a sixth aspect of the present invention is an image display program for selecting and displaying a smaller number of images from a plurality of images. A step of detecting a person portion; a step of detecting a background portion in the image from the detection result of the person portion; and a subject whose age can be specified in the detected background portion. Causing the computer to execute a step of displaying one image and a second image having the same image as the person portion of the first image side by side.

本発明によれば、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することができる。   According to the present invention, it is possible to provide an image display device, an image display method, and a program capable of definitely selecting and displaying an image that can be reminiscent of typical nostalgia such as a family history. Can do.

以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラ100の構成を示すブロック図である。図1に示すデジタルカメラ100は、マイクロプロセッシングユニット(MPU)101と、操作部102と、撮影レンズ103と、オートフォーカス(AF)回路104と、絞り機構105と、絞り制御回路106と、撮像素子107と、アナログフロントエンド(AFE)回路108と、画像処理回路109と、表示制御回路110と、表示パネル111と、形状検出回路112と、距離検出回路113と、顔検出回路114と、圧縮/伸張部115と、記録制御回路116と、記録メディア117と、通信部118と、補助光発光回路119とを有して構成されている。また、このデジタルカメラ100は、ネットワーク300を介してサーバ400、PC500と通信自在に接続されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a digital camera 100 as an example of a photographing apparatus including an image display apparatus according to an embodiment of the present invention. A digital camera 100 shown in FIG. 1 includes a microprocessing unit (MPU) 101, an operation unit 102, a photographing lens 103, an autofocus (AF) circuit 104, an aperture mechanism 105, an aperture control circuit 106, and an image sensor. 107, analog front end (AFE) circuit 108, image processing circuit 109, display control circuit 110, display panel 111, shape detection circuit 112, distance detection circuit 113, face detection circuit 114, compression / The expansion unit 115 includes a recording control circuit 116, a recording medium 117, a communication unit 118, and an auxiliary light emitting circuit 119. The digital camera 100 is connected to a server 400 and a PC 500 via a network 300 so as to be able to communicate.

MPU101は、ユーザからの操作部102の操作に応じてデジタルカメラ100を構成する各ブロックをシーケンシャルに制御する。操作部102は、デジタルカメラ100による撮影を実行させるためのレリーズスイッチや、デジタルカメラ100の動作モードを撮影モード、再生モード、ダイジェスト再生モードの何れかに切り替えるための切り替えスイッチ、サーバ400から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。   The MPU 101 sequentially controls each block constituting the digital camera 100 according to the operation of the operation unit 102 from the user. The operation unit 102 is obtained from the server 400, a release switch for causing the digital camera 100 to perform shooting, a changeover switch for switching the operation mode of the digital camera 100 to any one of the shooting mode, the playback mode, and the digest playback mode. The switch etc. which switch on / off of information display are included.

また、MPU101は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。   The MPU 101 also has a timer for measuring the time when the user took a picture. Thereby, the photographing time is associated with the image data obtained by photographing.

撮影レンズ103は、被写体200からの像を撮像素子107に結像させる。この撮影レンズ103は、オートフォーカス(ピント合わせ)用のレンズを含んでいる。オートフォーカスの際に、MPU101は、ピント合わせレンズのレンズ位置をモニタしつつ、AF回路104を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ103のピント合わせを行う。また、絞り機構105は、撮影レンズ103内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構105は、撮影開始時に絞り制御回路106によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構105の口径を変えることによって、撮影レンズ103の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。   The taking lens 103 forms an image from the subject 200 on the image sensor 107. The photographing lens 103 includes a lens for autofocus (focusing). During autofocus, the MPU 101 controls the AF circuit 104 while switching the lens position of the focusing lens while monitoring the lens position of the focusing lens, and performs focusing of the photographing lens 103. The diaphragm mechanism 105 is a mechanism that is provided in or near the photographing lens 103 and produces the effects of a shutter and a diaphragm. The aperture mechanism 105 is opened to a predetermined aperture by the aperture control circuit 106 at the start of shooting and closed at the end of shooting. By changing the aperture of the aperture mechanism 105 at the time of shooting, the depth of field of the shooting lens 103 changes. Thereby, it is possible to switch the expression such as adjusting the degree of blurring of the background subject to make the main subject appear at the time of shooting or to clearly depict the background subject.

撮像素子107は、多数の画素が配列されて構成される受光面を有し、撮影レンズ103を介して受光した被写体200からの像を電気的な信号に変換する。本実施形態においては、撮像素子107にはCCD方式及びCMOS方式の何れを用いても良い。   The image sensor 107 has a light receiving surface configured by arranging a large number of pixels, and converts an image from the subject 200 received through the photographing lens 103 into an electrical signal. In the present embodiment, the image sensor 107 may use either a CCD system or a CMOS system.

AFE回路108は、CDS回路、ゲイン調整回路、AD変換回路等を含み、撮像素子107において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路109に入力する。また、AFE回路108には、撮像素子107を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、AFE回路108によって、4画素(2×2画素)や9画素(3×3画素)の信号をまとめて読み出し、これら読み出した電気信号を加算することでS/Nを向上させることができる。このような処理によって、撮像素子107の見かけ上の感度を上げること等ができる。   The AFE circuit 108 includes a CDS circuit, a gain adjustment circuit, an AD conversion circuit, and the like, and is obtained by performing analog processing such as correlated double sampling processing and gain adjustment processing on the analog electric signal obtained in the image sensor 107. The obtained image signal is converted into digital data and input to the image processing circuit 109. The AFE circuit 108 is also provided with a function of reading signals from a plurality of pixels constituting the image sensor 107 at a time. For example, the AFE circuit 108 can read out signals of 4 pixels (2 × 2 pixels) and 9 pixels (3 × 3 pixels) in a lump and add these read-out electric signals to improve the S / N. . By such processing, the apparent sensitivity of the image sensor 107 can be increased.

さらに、AFE回路108は、撮像素子107からの出力信号を取捨選択する機能も有し、撮像素子107の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することもできる。一般に、撮像素子107は間引きを行うことで高速で信号を読み出すことができる。この機能を利用して、撮像素子107で構図確認用に得られた画像を高速で読み出して画像処理回路109において処理してから表示パネル111に表示すれば、ユーザは表示パネル111上に表示される画像を利用してフレーミングを行うことが可能である。   Further, the AFE circuit 108 also has a function of selecting an output signal from the image sensor 107, and can extract only signals from pixels in a limited range among all effective pixels of the image sensor 107. In general, the image sensor 107 can read signals at high speed by performing thinning. Using this function, if an image obtained for composition confirmation by the image sensor 107 is read at high speed and processed by the image processing circuit 109 and then displayed on the display panel 111, the user is displayed on the display panel 111. It is possible to perform framing using an image.

画像処理回路109は、AFE回路108から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。   The image processing circuit 109 corrects the color, gradation, sharpness, etc. in the image data input from the AFE circuit 108, or amplifies the level of the image data to a predetermined level to adjust it to the correct shading and the correct gray level. Various image processing is performed.

また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路109は、AFE回路108から入力される画像データを表示パネル111に表示可能なようにリサイズ(縮小)する機能も有する。   Further, in order to display various images such as the framing image as described above, the image processing circuit 109 resizes (reduces) the image data input from the AFE circuit 108 so that the image data can be displayed on the display panel 111. It also has a function to

表示制御回路110は、画像処理回路109で得られた画像データや記録メディア117に記録されている画像データを映像信号に変換し、表示パネル111に表示させる。表示パネル111は液晶表示パネルや有機EL表示パネル等の表示パネルである。また、表示制御回路110は、表示パネル111に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。   The display control circuit 110 converts the image data obtained by the image processing circuit 109 and the image data recorded on the recording medium 117 into a video signal, and displays it on the display panel 111. The display panel 111 is a display panel such as a liquid crystal display panel or an organic EL display panel. The display control circuit 110 also has a multi-screen display function for displaying a plurality of images superimposed on the display panel 111. With this multi-screen display function, it is also possible to superimpose a character display of mode setting and various warning displays on the captured image or the captured image.

形状検出回路112は、画像処理回路109によって得られる画像データにおける輪郭情報を検出する。   The shape detection circuit 112 detects contour information in the image data obtained by the image processing circuit 109.

距離検出回路113は、画像処理回路109によって得られる画像のコントラストを検出する。この距離検出回路113によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、AF回路104によって撮影レンズ103のピント合わせレンズのレンズ位置を変化させながら、距離検出回路113によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ103のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。   The distance detection circuit 113 detects the contrast of the image obtained by the image processing circuit 109. The contrast detected by the distance detection circuit 113 is used during autofocus. That is, while the AF circuit 104 changes the lens position of the focusing lens of the photographing lens 103, the distance detection circuit 113 sequentially detects the contrast of the image, and stops the focusing lens at the lens position where the detected contrast is maximized. By doing so, the photographing lens 103 can be focused. It is also possible to detect the distance of the main subject, the distance of the background subject, and the like based on the information on the lens position at the time of focusing.

顔検出回路114は、画像処理回路109によって得られる画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から、主要被写体の特に顔部分の画像を検出する。   The face detection circuit 114 obtains an image of a particular face portion of the main subject from the distribution of feature points in the image obtained by the image processing circuit 109 (for example, if the main subject is a person, eyes, nose, mouth, etc.). To detect.

これら形状検出回路112、距離検出回路113、顔検出回路114は、写真の質の向上という意味では、写真撮影時にユーザがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するため(ポートレートモードに設定するなど)に利用される。また、画像の再生時には、顔検出回路114による顔検出の機能によって、その画像のうち、主要被写体(の顔部分)と背景部とを分けることが可能である。これにより、顔部分から目や口の形を検出し、それを後述する記録制御回路116内のデータベース116aと比較して無表情の顔か、或いは表情のある顔かを判定することができる。また、顔検出回路114によって検出した顔が画像内にいくつあるかを判定することによって、その画像が集合写真であるかを判定することができる。   The shape detection circuit 112, the distance detection circuit 113, and the face detection circuit 114, in the sense of improving the quality of a photograph, determine what kind of photograph the user is going to take at the time of photographing and optimize the photographing control. It is used for the purpose (such as setting to portrait mode). Further, when the image is reproduced, the main subject (the face portion) and the background portion of the image can be separated by the face detection function by the face detection circuit 114. Thereby, the shape of the eyes and mouth can be detected from the face portion, and compared with a database 116a in the recording control circuit 116 described later, it can be determined whether the face is an expressionless face or an expressional face. Further, by determining how many faces are detected in the image by the face detection circuit 114, it is possible to determine whether the image is a group photo.

圧縮/伸張部115は、撮影時に、画像処理回路109において処理された画像データを圧縮するとともに、撮影時に記録制御回路116を介して記録メディア117から読み出した画像データを伸張する。   The compression / expansion unit 115 compresses the image data processed by the image processing circuit 109 at the time of shooting, and expands the image data read from the recording medium 117 via the recording control circuit 116 at the time of shooting.

記録制御回路116は、圧縮/伸張部115で圧縮された画像データに撮影時刻等の付随データを付随させて記録メディア117に記録する。また、記録制御回路116は、顔部分等の画像を比較したりするためのデータベース116aを有している。このデータベース116aの内容は、カメラ製造時に記録してもよいが、デジタルカメラ100外部のサーバ400等からネットワーク経由で書き換え可能としてもよい。   The recording control circuit 116 records the image data compressed by the compression / expansion unit 115 on the recording medium 117 with accompanying data such as a shooting time. The recording control circuit 116 has a database 116a for comparing images such as face portions. The contents of the database 116a may be recorded when the camera is manufactured, but may be rewritable via a network from the server 400 or the like outside the digital camera 100.

通信部118は、記録メディア117に記録された画像データ等をデジタルカメラ100外部のパーソナルコンピュータ(以下、PCと称する)500やサーバ400等に送信したり、サーバ400等から各種の情報を受信したりする際の通信制御を行う。この通信部118によって、デジタルカメラ100で撮影した画像を他の人に転送したり、ネットワーク上のサービス(例えば、ネットワーク接続されたサイト等と連携したサービス)を利用して、情報を付加したり、受信したりすることができる。   The communication unit 118 transmits image data or the like recorded on the recording medium 117 to a personal computer (hereinafter referred to as a PC) 500 or a server 400 outside the digital camera 100, or receives various information from the server 400 or the like. Communication control when The communication unit 118 can transfer an image captured by the digital camera 100 to another person, or can add information using a service on a network (for example, a service linked with a network-connected site). Can be received.

補助光発光回路119は、撮影時の状況に応じて被写体200に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。   The auxiliary light emitting circuit 119 irradiates the subject 200 with auxiliary light according to the situation at the time of shooting. This prevents insufficient brightness and unevenness during shooting.

このような構成のデジタルカメラ100において、本実施形態では、多くの画像の中から、思い出を想起させやすい画像を選択して表示する、ダイジェスト再生を可能とする。即ち、ユーザが操作部102を操作してデジタルカメラ100の動作モードをダイジェスト再生モードとすると、記録メディア117に記録されている画像のうち、複数の人物がいて、なお且つそれら複数の人物の関係から、懐かしさを想起させやすい画像が選択されて、その画像が優先的に表示パネル111に表示される。   In the digital camera 100 having such a configuration, in this embodiment, it is possible to perform digest playback by selecting and displaying an image that easily recalls a memory from among many images. That is, when the user operates the operation unit 102 to set the operation mode of the digital camera 100 to the digest playback mode, there are a plurality of persons in the image recorded on the recording medium 117 and the relationship between the plurality of persons. Therefore, an image that easily recalls nostalgia is selected, and the image is preferentially displayed on the display panel 111.

以下、ダイジェスト再生モードによる再生についてさらに説明する。なお、以下の説明においてはダイジェスト再生モードの機能をデジタルカメラ100外部のサーバ上で実現する例について説明する。しかしながら、後述するサーバの機能をデジタルカメラ100のMPU101等に持たせることにより、デジタルカメラ100においてもダイジェスト再生モードでの再生が可能となる。   Hereinafter, playback in the digest playback mode will be further described. In the following description, an example in which the digest playback mode function is realized on a server outside the digital camera 100 will be described. However, by providing the MPU 101 of the digital camera 100 with a server function to be described later, the digital camera 100 can also perform playback in the digest playback mode.

図2は、本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。図2に示す通信システムは、サーバ400、PC500、PC600がネットワーク300を介してデータ通信自在に接続されている。さらに、PC600にはデジタルカメラ100及びスキャナ700から画像データが入力され、この画像データは、ネットワーク300を介してサーバ400に送信可能になされている。ここで、図2の例は、1つのサーバ400内にデータベースや画像の判定機能を持たせたものである。これらの機能を複数のサーバに配分して、より負担の軽いシステムとすることもできる。   FIG. 2 is a diagram showing a configuration of a communication system including an image display device according to an embodiment of the present invention. In the communication system shown in FIG. 2, a server 400, a PC 500, and a PC 600 are connected via a network 300 so that data communication is possible. Further, image data is input to the PC 600 from the digital camera 100 and the scanner 700, and this image data can be transmitted to the server 400 via the network 300. Here, in the example of FIG. 2, a single server 400 has a database and image determination function. These functions can be distributed to a plurality of servers to provide a lighter system.

なお、以下に説明する通信システムは、例えば家族の年代史のような画像を整理する場合等、1枚ずつ画像を吟味するには、画像データの量が多すぎるような状況を対策することができるシステムである。例えば、既に独立した子供達が家に戻ってきたとき等に、昔の家族の思い出を思い出すようなシステムが簡単に構成できる。   Note that the communication system described below can take measures against situations where the amount of image data is too large to examine images one by one, such as when organizing images such as family chronology. It is a system that can. For example, a system can be easily configured to recall the memories of an old family when, for example, independent children have returned home.

デジタルカメラ100で撮影した写真画像データやスキャナ700で取り込まれた写真画像データ(画像データ800)がPC600、ネットワーク300を介して送信される。ここで、デジタルカメラ100で得られる画像データには撮影日時やタイトルなどの付随情報が付与されるが、撮影時に得られる画像における顔位置のデータ等を付与しておいてもよい。顔位置のデータ等を付与しておくことで、サーバ400において、後述する顔検出が不要となるため、サーバ400の処理量を削減することが可能である。   Photo image data taken by the digital camera 100 and photo image data (image data 800) captured by the scanner 700 are transmitted via the PC 600 and the network 300. Here, the image data obtained by the digital camera 100 is attached with accompanying information such as a shooting date and time and a title. However, face position data in an image obtained at the time of shooting may be added. By assigning face position data and the like, the server 400 does not need face detection described later, and the processing amount of the server 400 can be reduced.

ネットワーク300には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ400が存在する。本実施形態においては、ユーザによってダイジェスト再生モードが選択されると、サーバ400において、PC600から送られた画像データ800の中から、昔を懐かしむことのできる画像データ900が選択され、この選択された画像データ900に基づき、画像がPC500において閲覧可能なように表示制御される。これによってデジタルカメラ100で撮影された写真画像やスキャナ700で取り込まれた画像を他のユーザが共有することが可能である。   In the network 300, there is a server 400 that performs various services by making full use of information that goes there. In the present embodiment, when the digest playback mode is selected by the user, the server 400 selects the image data 900 that can be remembered from the past from the image data 800 sent from the PC 600. Display control is performed based on the image data 900 so that the image can be viewed on the PC 500. As a result, other users can share a photographic image captured by the digital camera 100 or an image captured by the scanner 700.

このようなサーバ400は、通信部401と、記録部402と、アクセス反応部403と、顔検出部404と、表情検出部405と、背景検出部406と、画像判定部407と、年代別データベース408と、画像選択部409と、表示制御部410とを有している。ここで、サーバ400の各機能はハードウェアで構成しても良いし、ソフトウェアとして構成することもできる。   Such a server 400 includes a communication unit 401, a recording unit 402, an access reaction unit 403, a face detection unit 404, a facial expression detection unit 405, a background detection unit 406, an image determination unit 407, a database classified by age. 408, an image selection unit 409, and a display control unit 410. Here, each function of the server 400 may be configured by hardware or may be configured as software.

通信部401は、サーバ400がネットワーク300を介して通信を行う際の通信制御を行う。記録部402は、ネットワーク300を介して送信されてくる画像データを記録する。アクセス反応部403は、ユーザから何らかの操作指示がなされた場合にその指示に応じた制御を行う。具体的には、ユーザから画像データの記録指示がなされた場合にはこの指示ととともに送信されてきた画像データを記録部402に記録する。一方、ユーザから画像データの再生指示がなされた場合にはそのときの再生モードに応じた画像選択指示を画像選択部409に行う。ここで、アクセス反応部403は、再生モードとして、上述したダイジェスト再生モードを少なくとも有しているものである。   The communication unit 401 performs communication control when the server 400 performs communication via the network 300. The recording unit 402 records image data transmitted via the network 300. When an operation instruction is given from the user, the access reaction unit 403 performs control according to the instruction. Specifically, when an instruction to record image data is given from the user, the image data transmitted together with this instruction is recorded in the recording unit 402. On the other hand, when the user gives an instruction to reproduce the image data, the image selection unit 409 is instructed to select an image corresponding to the reproduction mode at that time. Here, the access reaction unit 403 has at least the digest reproduction mode described above as a reproduction mode.

顔検出部404は記録部402に記録された画像における顔部を検出する。顔部は、デジタルカメラ100の顔検出回路114と同様に、画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から検出することが可能である。表情検出部405は顔検出部404において検出された顔部の画像から、その顔部の表情を検出することでダイジェスト再生モードの際の画像の表示優先度を評価する。   The face detection unit 404 detects a face part in the image recorded in the recording unit 402. Similar to the face detection circuit 114 of the digital camera 100, the face can be detected from the distribution of feature points in the image (for example, if the main subject is a person or the like, eyes, nose, mouth, etc.). . The facial expression detection unit 405 evaluates the display priority of the image in the digest reproduction mode by detecting the facial expression from the facial image detected by the facial detection unit 404.

背景検出部406は記録部402に記録された画像における背景部を検出する。ここでの背景部とは、画像800のうち、例えば図示破線枠801で示す人物以外の部分である。処理を簡単にするために、人物の顔部以外(人物の体も含む)を背景部として検出するようにしても良い。説明を簡単にするために、以下の説明においては、顔検出部404によって検出された顔部以外を背景として検出するものとする。画像判定部407は、背景検出部406によって検出された背景部において、文字等の思い出を想起させやすい被写体の有無を判定することでダイジェスト再生モードの際の画像の表示優先度を評価する。年代別データベース408は画像判定部407における思い出を想起させやすい被写体の判定に必要な各種データを年代別に記録している。例えば、年代別データベースには、年代別の文字の字体やキャッチフレーズのデータ、服装、乗り物のデータ等が記録されている。   The background detection unit 406 detects a background part in the image recorded in the recording unit 402. Here, the background portion is a portion of the image 800 other than the person shown by the broken line frame 801 in the figure, for example. In order to simplify the processing, a part other than the face part of the person (including the person's body) may be detected as the background part. In order to simplify the description, in the following description, a part other than the face detected by the face detection unit 404 is detected as the background. The image determination unit 407 evaluates the display priority of the image in the digest playback mode by determining the presence or absence of a subject that easily recalls memories such as characters in the background portion detected by the background detection unit 406. The age-specific database 408 records various types of data necessary for determining the subject that easily recalls the memories in the image determination unit 407 by age. For example, in the age-specific database, character fonts and catchphrase data according to age, clothing, vehicle data, and the like are recorded.

画像選択部409は、アクセス反応部403からの指示に従った画像データを記録部402から選択する機能を有するとともに、ユーザによってダイジェスト再生モードが選択された場合には表情検出部405によって検出された表情と画像判定部407によって判定された被写体とから思い出を想起させやすい画像データを選択する機能を有する。表示制御部410は、画像選択部409によって選択された画像データをPC500で閲覧可能なように表示制御する。   The image selection unit 409 has a function of selecting image data from the recording unit 402 according to an instruction from the access reaction unit 403, and is detected by the facial expression detection unit 405 when the digest reproduction mode is selected by the user. It has a function of selecting image data that easily recalls memories from the facial expression and the subject determined by the image determination unit 407. The display control unit 410 performs display control so that the image data selected by the image selection unit 409 can be viewed on the PC 500.

以下、図2に示す通信システムの動作について説明する。図3は、図2のサーバ400の動作を示すフローチャートである。   Hereinafter, the operation of the communication system shown in FIG. 2 will be described. FIG. 3 is a flowchart showing the operation of the server 400 of FIG.

ユーザから何らかの操作指示がなされた場合に、サーバ400のアクセス反応部403は、その指示が画像データの記録指示(画像データのアップロード指示)か、画像データの再生指示(画像データのダウンロード指示)かを判定する(ステップS1)。ステップS1の判定において画像の記録指示であった場合に、アクセス反応部403は、ユーザからの画像記録指示とともに送信されてきた画像データを記録部402に記録する(ステップS2)。   When an operation instruction is given by the user, the access reaction unit 403 of the server 400 determines whether the instruction is an instruction to record image data (an instruction to upload image data) or an instruction to reproduce the image data (an instruction to download image data). Is determined (step S1). If it is an image recording instruction in the determination in step S1, the access reaction unit 403 records the image data transmitted together with the image recording instruction from the user in the recording unit 402 (step S2).

以下のステップS3〜ステップS7の処理はダイジェスト再生モード時の画像データの再生をスムーズに行うための処理である。これらの処理は後述するダイジェスト再生モード時に行うようにしても良い。ステップS2において画像データを記録部402に記録した後、顔検出部404及び背景検出部406によって、記録部402に記録された画像データの背景部を検出する(ステップS3)。ステップS3の処理の詳細については後述する。   The following processes in steps S3 to S7 are processes for smoothly reproducing the image data in the digest reproduction mode. These processes may be performed in a digest playback mode to be described later. After the image data is recorded in the recording unit 402 in step S2, the background portion of the image data recorded in the recording unit 402 is detected by the face detection unit 404 and the background detection unit 406 (step S3). Details of the processing in step S3 will be described later.

背景部が検出された後、画像判定部407は、画像内に年代特定しやすい被写体を含む画像が存在しているか否かを判定する(ステップS4)。このステップS4の判定の詳細については後述する。ステップS4の判定において、年代特定しやすい被写体を含む画像が存在している場合に、画像判定部407は、年代特定しやすい被写体を含む画像を識別するための符号として、例えばステップS4の判定の際に得られる「優先度」を画像データと対応付けて記録部402に記録する(ステップS5)。なお、詳細は後述するが、「優先度」とは年代特定のしやすさを数値化するための指標のことである。一方、ステップS4の判定において、年代特定しやすい被写体が存在していない場合には、ステップS5の処理をスキップする。   After the background portion is detected, the image determination unit 407 determines whether there is an image including a subject whose age can be easily specified in the image (step S4). Details of the determination in step S4 will be described later. In the determination in step S4, when there is an image including a subject whose age is easy to specify, the image determination unit 407 uses, for example, the determination in step S4 as a code for identifying an image including a subject easy to specify the age. The “priority” obtained at this time is recorded in the recording unit 402 in association with the image data (step S5). As will be described in detail later, “priority” is an index for quantifying the ease of specifying the age. On the other hand, if it is determined in step S4 that there is no subject whose age can be easily specified, the process in step S5 is skipped.

次に、サーバ400の表情検出部405は、顔検出部404において検出された顔部の画像が懐かしさを誘う表情の画像であるか否かを判定する(ステップS6)。このステップS6の判定の詳細については後述する。ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像である場合に、表情検出部405は、懐かしさを誘う表情の画像を識別するための符号として、例えばステップS6の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部402に記録する(ステップS7)。その後に図3の処理を終了する。ここで、「なつかしい度」とは懐かしさを数値化するための指標のことである。一方、ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像でない場合には、ステップS7の処理をスキップする。   Next, the facial expression detection unit 405 of the server 400 determines whether or not the facial image detected by the face detection unit 404 is a facial expression image that invites nostalgia (step S6). Details of the determination in step S6 will be described later. In the determination in step S6, when the facial image is a facial expression image that invites nostalgia, the facial expression detection unit 405 uses, for example, the determination in step S6 as a code for identifying the facial expression image that invites nostalgia. The obtained “nostalgic degree” is recorded in the recording unit 402 in association with the image data (step S7). Thereafter, the processing of FIG. 3 is terminated. Here, “nostalgic degree” is an index for quantifying nostalgia. On the other hand, if it is determined in step S6 that the face image is not a facial expression image that invites nostalgia, the process of step S7 is skipped.

また、ステップS1の判定において画像の再生指示であった場合に、アクセス反応部403は、その再生指示がダイジェスト再生モードの再生であるか否かを判定する(ステップS8)。ステップS8の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部403は、画像選択部409にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部409は、記録部402に記録されている画像データの中から「優先度」及び「なつかしい度」が付帯されている画像データを抽出する(ステップS9)。そして、画像選択部409は、抽出した画像データの中から、「優先度」又は「なつかしい度」が高いものを選択する(ステップS10)。これは、「優先度」又は「なつかしい度」がそれぞれ最も高い画像データのみを選択するようにしても良いし、「優先度」又は「なつかしい度」がそれぞれ所定の閾値よりも高い画像データを全て選択するようにしても良い。「優先度」又は「なつかしい度」の高い画像データが選択された後、表示制御部410は、画像選択部409において選択された画像データを年代が古い順にPC500に表示させるように制御する(ステップS11)。その後に図3の処理を終了する。ここで、厳密な年代特定ができるとは限らないので、ステップS11の表示順は、ある程度の自由度を認めても良い。また、表示の際に「優先度」又は「なつかしい度」の高い画像ほど、表示の際の拡大率を大きくするようにしてもよい。   Further, when it is an instruction to reproduce an image in the determination in step S1, the access reaction unit 403 determines whether or not the reproduction instruction is reproduction in the digest reproduction mode (step S8). If it is determined in step S8 that the reproduction is in the digest reproduction mode, the access reaction unit 403 sends an image selection instruction for the digest reproduction mode to the image selection unit 409. In response to this, the image selection unit 409 extracts image data attached with “priority” and “nostalgic degree” from the image data recorded in the recording unit 402 (step S9). Then, the image selection unit 409 selects one having a high “priority” or “nostalgic degree” from the extracted image data (step S10). This may be such that only image data having the highest “priority” or “nostalgic degree” is selected, or all image data having “priority” or “nostalgic degree” higher than a predetermined threshold value are all selected. You may make it select. After image data with a high “priority” or “nostalgic degree” is selected, the display control unit 410 controls the image data selected by the image selection unit 409 to be displayed on the PC 500 in order of age (steps). S11). Thereafter, the processing of FIG. 3 is terminated. Here, since it is not always possible to specify the exact age, the display order in step S11 may accept a certain degree of freedom. In addition, an enlargement ratio at the time of display may be increased for an image having a higher “priority” or “nostalgic degree” at the time of display.

また、ステップS8の判定において、ダイジェスト再生モードの再生でない場合に、アクセス反応部403は、表示制御部410に記録部402に記録されている画像の一覧表示をPC500に表示させるように指示を送る(ステップS12)。この場合には、ユーザによって選択された画像が画像選択部409によって選択された後、表示制御部410の制御の下、PC500に表示させる。   If it is determined in step S8 that the playback is not in the digest playback mode, the access reaction unit 403 sends an instruction to the display control unit 410 to display a list display of images recorded in the recording unit 402 on the PC 500. (Step S12). In this case, after the image selected by the user is selected by the image selection unit 409, the image is displayed on the PC 500 under the control of the display control unit 410.

図4は、図3のステップS3の背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。なお、顔検出処理は必ずしも図4に示す処理に限るものではない。また、図4に示す顔検出処理はデジタルカメラ100の顔検出回路114において行う処理と同一の処理である。   FIG. 4 is a flowchart illustrating an example of a processing procedure of face detection processing for background portion detection in step S3 of FIG. The face detection process is not necessarily limited to the process shown in FIG. Further, the face detection process shown in FIG. 4 is the same as the process performed in the face detection circuit 114 of the digital camera 100.

まず、顔検出部404は、記録部402から画像データを読み出し、その画像における陰影を強調する(ステップS101)。これは、画像のコントラストを強調する処理である。例えば、図5に示す画像800に対して陰影強調処理を施した場合、顔部付近802の画像は、参照符号803で示すように影のある部分や輪郭部分が強調された画像となる。   First, the face detection unit 404 reads out image data from the recording unit 402 and emphasizes a shadow in the image (step S101). This is a process for enhancing the contrast of an image. For example, when shadow enhancement processing is performed on the image 800 shown in FIG. 5, an image in the vicinity of the face 802 is an image in which a shadowed part or an outline part is emphasized as indicated by reference numeral 803.

画像の陰影を強調した後、顔検出部404は目鼻部のパターンの設定を行う(ステップS102)。図5の参照符号804で目鼻部パターンの一例を示している。この目鼻部パターン804と陰影強調後画像803とのマッチング処理によって顔検出を行うわけであるが、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、目鼻部パターン804も顔の向きや大きさに対応して複数用意しておく。ステップS102の処理は、複数用意しておいた目鼻部パターン804の中から1つを設定する処理である。   After emphasizing the shadow of the image, the face detection unit 404 sets the pattern of the eyes and nose (step S102). An example of an eye-nose pattern is indicated by reference numeral 804 in FIG. Face detection is performed by matching the eye-nose pattern 804 with the shadow-enhanced image 803. Usually, the face size and orientation in an image obtained by photographing vary, and therefore the eye-nose pattern 804 is also a face. Prepare a number corresponding to the direction and size of the. The process of step S102 is a process for setting one of a plurality of prepared eye / nose pattern 804.

次に、顔検出部404は、陰影強調後画像(実際には顔部付近802以外も含まれている)803と目鼻部パターン804との間でマッチング処理を行う(ステップS103)。これは、目鼻部パターン804によって陰影強調後画像803を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔検出部404は、目鼻部パターン804がマッチングした位置が存在していたか否か、即ち陰影強調後画像803と目鼻部パターン804との一致度が所定量以上高い位置が画像内に存在していたかを判定する(ステップS104)。ステップS104の判定において、マッチング位置が存在していた場合に、顔検出部404はその位置の画像を顔部の画像として検出する(ステップS105)。   Next, the face detection unit 404 performs a matching process between the shadow-enhanced image (actually, other than the vicinity of the face 802 is included) 803 and the eye-nose pattern 804 (step S103). This is a process for obtaining the degree of coincidence between the images by scanning the shadow-enhanced image 803 with the eye-nose pattern 804, for example, by correlation calculation. After this matching process, the face detection unit 404 determines whether there is a position where the eye / nose pattern 804 is matched, that is, a position where the degree of coincidence between the shadow enhanced image 803 and the eye / nose pattern 804 is higher than a predetermined amount. It is determined whether the image exists in the image (step S104). If it is determined in step S104 that a matching position exists, the face detection unit 404 detects the image at that position as a face image (step S105).

一方、ステップS104の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが目鼻部パターン804と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には1つの目鼻部パターン804で全ての顔部を検出できるとは限らない。そこで、ステップS104の判定においてマッチング位置が存在していない場合、若しくはステップS105の後、顔検出部404は、顔検出処理を終了するか否かを、全ての目鼻部パターン804を用いてマッチング処理を行ったか否かを判定することによって判定する(ステップS106)。ステップS106の判定において、まだ、全ての目鼻部パターン804を用いてマッチング処理を行っていない場合に、顔検出部404は、別の目鼻部パターンに切り替えた後(ステップS107)、ステップS103に戻り、再びマッチング処理を行う。一方、全ての目鼻部パターン804を用いてマッチング処理を行った場合には、顔部の位置情報を背景検出部406に出力して顔検出処理を終了する。これを受けて背景検出部406は、ステップS105において検出された顔部以外を全て背景部の画像として検出する(ステップS108)。このようにして背景部が検出されると、処理が図3のステップS4に進む。   On the other hand, if there is no matching position at the position of step S104, the orientation and size of the face in the image may be different from the eye-nose pattern 804. Further, when there are a plurality of face portions in the image, not all face portions can be detected with one eye-nose portion pattern 804. Therefore, if there is no matching position in the determination in step S104, or after step S105, the face detection unit 404 uses all the eye-nose pattern 804 to determine whether to end the face detection process. It is determined by determining whether or not it has been performed (step S106). If it is determined in step S106 that matching processing has not been performed using all the eye-nose pattern 804, the face detection unit 404 switches to another eye-nose pattern (step S107), and returns to step S103. The matching process is performed again. On the other hand, when the matching process is performed using all the eyes and nose pattern 804, the position information of the face is output to the background detection unit 406, and the face detection process is terminated. In response to this, the background detection unit 406 detects all images other than the face detected in step S105 as images of the background (step S108). When the background portion is detected in this way, the process proceeds to step S4 in FIG.

図6は、図3のステップS4の年代特定しやすい被写体が存在しているか否かの判定処理について示すフローチャートである。ここで、本実施形態においては、背景部の画像の中に、年代特定しやすい被写体が存在している場合には、その被写体の年代特定のしやすさに応じて「優先度」を設定する。この「優先度」の高い被写体ほど、年代特定がしやすく、またそれを見たユーザに懐かしさを想起させやすい。   FIG. 6 is a flowchart showing the determination process for determining whether or not there is an easily identifiable subject in step S4 of FIG. Here, in the present embodiment, when a subject that is easy to specify the age exists in the background image, the “priority” is set according to the ease of specifying the age of the subject. . The subject with the higher “priority” is easier to specify the age, and the user who sees it is more likely to recall nostalgia.

図6において、画像判定部407は、まず背景部の画像内に、駅名や看板等の文字を含む被写体が存在しているか否かを判定する(ステップS201)。このために画像判定部407は図7に示す文字検出処理を行う。   In FIG. 6, the image determination unit 407 first determines whether or not a subject including characters such as a station name and a signboard exists in the background image (step S201). For this purpose, the image determination unit 407 performs a character detection process shown in FIG.

ここで、図7及び図8を参照してステップS201の判定を行うための文字検出処理について説明する。図7は図6のステップS201の判定において用いられる文字検出処理の一例を示すフローチャートである。また、図8は図7の文字検出処理の概念について説明するための図である。   Here, the character detection process for performing the determination of step S201 will be described with reference to FIGS. FIG. 7 is a flowchart showing an example of character detection processing used in the determination in step S201 of FIG. FIG. 8 is a diagram for explaining the concept of the character detection process of FIG.

文字検出は、図8に示す文字画像の線部分805と線部分805の間に存在する空白部分806とをそれぞれ検出することにより行う。   Character detection is performed by detecting the line portion 805 and the blank portion 806 existing between the line portions 805 of the character image shown in FIG.

まず、画像判定部407は背景部の画像のコントラストを強調してコントラスト強調画像I1を取得する(ステップS2011)。次に、画像判定部407は背景部の画像を2値化して2値化画像I2を取得する(ステップS2012)。   First, the image determination unit 407 acquires a contrast-enhanced image I1 by enhancing the contrast of the background image (step S2011). Next, the image determination unit 407 binarizes the background image to obtain a binarized image I2 (step S2012).

その後、画像判定部407はコントラスト強調画像I1と2値化画像I2との差分からコントラスト強調画像I1と2値化画像I2の一致度を求める(ステップS2013)。そして、画像判定部407は背景部の画像内にコントラスト強調画像I1と2値化画像I2の一致度が大きい部分(即ち差分が小さい部分)があるか否かを判定する(ステップS2014)。ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がない場合に、画像判定部407は背景部の画像内に文字を含む被写体は存在しないと判定する(ステップS2017)。   Thereafter, the image determination unit 407 obtains the degree of coincidence between the contrast enhanced image I1 and the binarized image I2 from the difference between the contrast enhanced image I1 and the binarized image I2 (step S2013). Then, the image determination unit 407 determines whether or not there is a portion where the degree of coincidence between the contrast-enhanced image I1 and the binarized image I2 is large (that is, a portion where the difference is small) in the background image (step S2014). If it is determined in step S2014 that there is no portion where the degree of coincidence between the contrast-enhanced image I1 and the binarized image I2 is large, the image determination unit 407 determines that there is no subject including characters in the background image (step S2014). S2017).

一方、ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がある場合に、画像判定部407はその部分が線画像で構成されていると判定する。そして、画像判定部407は一致度が高い部分の周囲の画像を検出する(ステップS2015)。そして、検出した部分の画像内に空白部、即ち低コントラスト部が多く占めているか否かを判定する(ステップS2016)。ステップS2016の判定において、空白部が少ない場合に、画像判定部407はその部分の画像が文字画像の特徴を有しておらず、文字画像は存在しないと判定する(ステップS2017)。一方、ステップS2016の判定において、空白部が多い場合に、画像判定部407はその部分の画像が文字画像の特徴を有しており、文字を含む被写体が存在していると判定する(ステップS2018)。   On the other hand, if it is determined in step S2014 that there is a portion where the degree of coincidence between the contrast-enhanced image I1 and the binarized image I2 is large, the image determination unit 407 determines that the portion is configured by a line image. Then, the image determination unit 407 detects an image around a portion with a high degree of coincidence (step S2015). Then, it is determined whether or not many blank portions, that is, low contrast portions occupy the detected portion of the image (step S2016). If it is determined in step S2016 that the number of blank portions is small, the image determination unit 407 determines that the image of that portion does not have character image characteristics and that there is no character image (step S2017). On the other hand, if it is determined in step S2016 that there are many blank portions, the image determination unit 407 determines that the image of the portion has the characteristics of a character image and that a subject including characters exists (step S2018). ).

ここで、再び図6の説明に戻る。ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在している場合に、画像判定部407は「優先度」に5点を加える(ステップS202)。即ち、文字情報は、その当時に行った場所や当時の雰囲気を読み取る明確な材料となり、年代特定しやすい情報と考えられる。したがって、「優先度」の点数を高めにしている。「優先度」を設定した後、画像判定部407は、検出した文字を年代別データベース408に記録されている文字画像と照合して年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。   Here, it returns to description of FIG. 6 again. If it is determined in step S201 that an object including characters exists in the background image, the image determination unit 407 adds 5 points to the “priority” (step S202). In other words, the character information becomes a clear material for reading the place and the atmosphere at that time, and is considered to be information that is easy to specify the age. Therefore, the “priority” score is increased. After setting “priority”, the image determination unit 407 collates the detected character with the character image recorded in the age-specific database 408 to specify the age (step S211). Then, the process of FIG. 6 is exited and the process proceeds to step S5 of FIG.

一方、ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在していない場合に、画像判定部407は、背景部の画像内に、乗り物被写体が含まれているか否かを、例えば年代別データベース408に記録されている乗り物画像とのマッチングをとることによって判定する(ステップS203)。ステップS203の判定において、背景部の画像内に乗り物被写体が含まれている場合に、画像判定部407は「優先度」に4点を加える(ステップS204)。即ち、電車やバス等の乗り物も看板や標識等の文字と同様に、場所を特定したり年代による変遷を示したりしやすいので、文字情報の次に「優先度」を高くしている。「優先度」を設定した後、画像判定部407は、検出した乗り物被写体より年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。   On the other hand, in the determination in step S201, when there is no subject including characters in the background image, the image determination unit 407 determines whether or not the vehicle subject is included in the background image. For example, the determination is made by matching with a vehicle image recorded in the age-specific database 408 (step S203). If it is determined in step S203 that the vehicle subject is included in the background image, the image determination unit 407 adds four points to the “priority” (step S204). In other words, vehicles such as trains and buses, like characters such as signs and signs, are easy to identify places and show transitions according to age, so “priority” is set next to character information. After setting “priority”, the image determination unit 407 identifies the age based on the detected vehicle subject (step S211). Then, the process of FIG. 6 is exited and the process proceeds to step S5 of FIG.

一方、ステップS203の判定において、背景部の画像内に、乗り物被写体が含まれていない場合に、画像判定部407は、背景部の画像内に、流行の服を着ている被写体が含まれているかを、例えば年代別データベース408に記録されている流行服画像とのマッチング(襟や袖の形やネクタイの太さや色合い等も利用)をとることによって判定する(ステップS205)。ステップS205の判定において、背景部の画像内に流行の服を着ている被写体が含まれている場合に、画像判定部407は「優先度」に3点を加える(ステップS206)。「優先度」を設定した後、画像判定部407は、検出した流行服の年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。   On the other hand, in the determination in step S203, when the vehicle subject is not included in the background image, the image determination unit 407 includes the subject wearing fashionable clothes in the background image. For example, it is determined by matching with a trendy clothing image recorded in the age-specific database 408 (also using the shape of the collar, sleeve, tie thickness, color, etc.) (step S205). If it is determined in step S205 that a subject wearing fashionable clothes is included in the background image, the image determination unit 407 adds three points to “priority” (step S206). After setting “priority”, the image determination unit 407 identifies the age of the detected fashionable clothes (step S211). Then, the process of FIG. 6 is exited and the process proceeds to step S5 of FIG.

一方、ステップS205の判定において、背景部の画像内に、流行の服を着ている被写体が含まれていない場合に、画像判定部407は、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものであるか否かを判定する(ステップS207)。ステップS207の判定において、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものである場合に、画像判定部407は「優先度」に2点を加える(ステップS208)。即ち、建物や室内が明確に写っている場合も場所を特定する要素が写りこんでいるとして「優先度」に点数を加えるようにしている。「優先度」を設定した後、画像判定部407は、検出した建物被写体や室内の画像から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。   On the other hand, if it is determined in step S205 that the background image does not include a subject wearing fashionable clothes, the image determination unit 407 includes a building subject in the background image. It is determined whether the image is taken indoors (step S207). In the determination in step S207, if the background image includes a building subject or the image is taken indoors, the image determination unit 407 adds two points to the “priority” (step S208). . That is, even when a building or a room is clearly shown, points are added to the “priority” on the assumption that an element for specifying the location is reflected. After setting “priority”, the image determination unit 407 identifies the age from the detected building subject and indoor image (step S211). Then, the process of FIG. 6 is exited and the process proceeds to step S5 of FIG.

一方、ステップS207の判定において、背景部の画像内に、建物被写体が含まれておらず、又は画像が室内で撮影されたものでもない場合に、画像判定部407は、背景部の画像における地面が舗装されているか否かを判定する(ステップS209)。ステップS209の判定において、背景部の画像における地面が舗装されたものでない場合に、画像判定部407は「優先度」に1点を加える(ステップS210)。即ち、市街地等で地面の舗装がなされていない画像は古い画像と考えられるので、この場合にも「優先度」に点数を加えるようにする。「優先度」を設定した後、画像判定部407は、検出した地面の舗装の具合から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。   On the other hand, if it is determined in step S207 that the building subject is not included in the background image or the image is not taken indoors, the image determination unit 407 determines that the ground in the background image is the ground image. It is determined whether or not is paved (step S209). If the ground in the background image is not paved in the determination in step S209, the image determination unit 407 adds 1 point to the “priority” (step S210). That is, an image in which the ground is not paved in an urban area or the like is considered an old image. In this case as well, a score is added to the “priority”. After setting “priority”, the image determination unit 407 identifies the age based on the detected level of pavement on the ground (step S211). Then, the process of FIG. 6 is exited and the process proceeds to step S5 of FIG.

一方、ステップS209の判定において、背景部の画像における地面が舗装されている場合には「優先度」に点数を加えずに、図6の処理を抜ける。この場合には、図3のステップS4の判定において、背景部の画像内に年代特定可能な被写体が存在していないと判定される。   On the other hand, in the determination of step S209, if the ground in the background image is paved, the process of FIG. In this case, it is determined in step S4 in FIG. 3 that there is no subject whose age can be specified in the background image.

図6の処理のような「優先度」の判定によって、背景に年代を想起せしめる被写体を含む画像を優先して表示させることができる。なお、図3のステップS4の処理においては、証明写真のように単なる壁を背景とする画像や、空や山のみを背景とする画像では「優先度」が高まらない。また、図3のステップS4の処理では自然を前にした集合写真等でも「優先度」は高まらない。しかしながら、このような集合写真は懐かしさを想起させる画像となりうるので、このような画像を判定するためにステップS6の判定を行い、「なつかしい度」を求める。   By determining the “priority” as in the process of FIG. 6, an image including a subject that recalls the age in the background can be displayed with priority. In the process of step S4 in FIG. 3, the “priority” does not increase for an image with a simple wall background, such as an ID photo, or an image with only the sky or mountains in the background. Further, in the process of step S4 in FIG. 3, the “priority” does not increase even in a group photo or the like with nature in front. However, since such a group photo can be an image reminiscent of nostalgia, the determination in step S6 is performed in order to determine such an image, and the “nostalgic degree” is obtained.

図9〜図12を参照して、図3のステップS6の懐かしさを誘う表情であるか否かの判定処理について説明する。ここで、以下に説明する処理における「懐かしさを誘う表情」とは、必ずしも個々人の泣き笑いといった表情のみを示すものではなく、一緒に写っている人との関係性も含めて判定する。したがって、無表情でも、多くの人とかしこまって写っているものは、その場に相応しい表情であるので、これも懐かしい表情としてカウントできるようにする。   With reference to FIGS. 9-12, the determination process of whether it is the facial expression which invites the nostalgia of FIG.3 S6 is demonstrated. Here, “an expression that invites nostalgia” in the processing described below does not necessarily indicate only an expression such as an individual's laughter, but also includes a relationship with a person who is shown together. Therefore, even if there are no facial expressions, what is reflected in many people is a facial expression appropriate for the place, so that it can also be counted as a nostalgic facial expression.

図9は、人物の泣き笑いといった「顔の表情に応じたなつかしい度」を求めるためのフローチャートである。また、図12は、画像内に複数の人物が存在する場合の、「その人物同士の関係性に応じたなつかしい度」を求めるためのフローチャートである。   FIG. 9 is a flowchart for obtaining “a nostalgic degree corresponding to facial expressions” such as a person's crying and laughing. FIG. 12 is a flowchart for obtaining “a nostalgic degree corresponding to the relationship between the persons” when there are a plurality of persons in the image.

まず、図9から説明する。表情検出部405は、顔検出部404において検出された顔部の画像からその表情を検出する(ステップS301)。   First, FIG. 9 will be described. The facial expression detection unit 405 detects the facial expression from the facial image detected by the face detection unit 404 (step S301).

ここで、図10及び図11を参照して表情検出処理について説明する。図10は図9のステップS301の表情検出処理の一例を示すフローチャートである。また、図11は図10の表情検出処理の概念について説明するための図である。   Here, the facial expression detection process will be described with reference to FIGS. FIG. 10 is a flowchart showing an example of facial expression detection processing in step S301 of FIG. FIG. 11 is a diagram for explaining the concept of the facial expression detection process of FIG.

まず、表情検出部405は、顔部の画像の陰影分布から、目部、鼻部、口部を検出する(ステップS3011)。次に、表情検出部405は、検出した目部、鼻部、口部の位置関係から、顔が正面を向いているか否かを判定する(ステップS3012)。ステップS3012においては、例えば、両目が顔の画面の何れかに偏って配置されている場合には顔が横を向いていると判定する。また、両目が顔の左右方向に均等に配置され、鼻部が顔の上下方向の略中央部に配置されているような場合には正面を向いていると判定する。   First, the facial expression detection unit 405 detects an eye part, a nose part, and a mouth part from the shadow distribution of the face image (step S3011). Next, the facial expression detection unit 405 determines whether the face is facing the front from the detected positional relationship between the eyes, nose, and mouth (step S3012). In step S <b> 3012, for example, when both eyes are biased to any face screen, it is determined that the face is facing sideways. Further, when both eyes are evenly arranged in the left-right direction of the face and the nose part is arranged at a substantially central part in the up-down direction of the face, it is determined that the front is facing.

ステップS3012の判定において、顔が正面を向いている場合に、表情検出部405は、ステップS3011において検出した口部における唇の両端を結ぶ直線の中心位置L1(図11(a)参照)を検出する(ステップS3013)。次に、表情検出部405は、唇の上部中心位置L2(図11(a)参照)を検出する(ステップS3014)。さらに、表情検出部405はステップS3011において検出した鼻部の下位置N1(図11(a)参照)を検出する(ステップS3015)。   If it is determined in step S3012, the facial expression detection unit 405 detects the center position L1 of the straight line connecting both ends of the lips in the mouth detected in step S3011 (see FIG. 11A). (Step S3013). Next, the facial expression detection unit 405 detects the upper center position L2 of the lips (see FIG. 11A) (step S3014). Further, the facial expression detection unit 405 detects the lower position N1 (see FIG. 11A) detected in step S3011 (step S3015).

次に、表情検出部405は、L1とN1との距離とL2とN1との距離の差分を求める(ステップS3016)。そして、この差分から顔の表情を判定する。例えば、笑顔の場合には図11(b)に示すようにして唇の両端が持ち上がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて小さくなると考えられる。また、泣き顔の場合には図11(d)に示すようにして唇の両端が下がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて大きくなると考えられる。したがって、ステップS3016で求めた差分を笑顔、真顔、泣き顔を示す所定の閾値と比較することで顔の表情を判定することが可能である。   Next, the facial expression detection unit 405 obtains a difference between the distance between L1 and N1 and the distance between L2 and N1 (step S3016). Then, the facial expression is determined from this difference. For example, in the case of a smile, both ends of the lips are lifted as shown in FIG. 11B, and the distance between L1 and N1, the distance between L2 and N1, and the difference between them are the true faces shown in FIG. It is considered to be smaller than the case of. In the case of a crying face, both ends of the lips are lowered as shown in FIG. 11 (d), and the distance between L1 and N1 and the distance and difference between L2 and N1 are the true faces shown in FIG. 11 (c). It is thought that it becomes larger than the case of. Therefore, the facial expression can be determined by comparing the difference obtained in step S3016 with a predetermined threshold value indicating smile, true face, or crying face.

以上のような考え方に基づいて、表情検出部405は、ステップS3016で求めた差分が、泣き顔を示す閾値よりも大きいか否かを判定する(ステップS3017)。ステップS3017の判定において、差が泣き顔を示す閾値よりも大きい場合に、表情検出部405は顔の表情が泣き顔と判定する(ステップS3018)。その後、図10の処理を抜ける。一方、ステップS3017の判定において、差が泣き顔を示す閾値よりも小さい場合に、表情検出部405は、差が笑顔を示す閾値よりも小さいか否かを判定する(ステップS3019)。ステップS3019の判定において、差が笑顔を示す閾値よりも小さい場合に、表情検出部405は顔の表情が笑顔と判定する(ステップS3020)。その後、図10の処理を抜ける。一方、ステップS3019の判定において、差が笑顔を示す閾値よりも大きい場合に、表情検出部405は、表情が真顔であると判定する(ステップS3021)。その後、図10の処理を抜ける。   Based on the above concept, the facial expression detection unit 405 determines whether or not the difference obtained in step S3016 is greater than a threshold value indicating a crying face (step S3017). If it is determined in step S3017 that the difference is larger than the threshold value indicating a crying face, the facial expression detection unit 405 determines that the facial expression is a crying face (step S3018). Thereafter, the process of FIG. 10 is exited. On the other hand, if it is determined in step S3017 that the difference is smaller than a threshold value indicating a crying face, the facial expression detection unit 405 determines whether the difference is smaller than a threshold value indicating a smile (step S3019). If the difference is smaller than the threshold value indicating smile in step S3019, the facial expression detection unit 405 determines that the facial expression is smiling (step S3020). Thereafter, the process of FIG. 10 is exited. On the other hand, if it is determined in step S3019 that the difference is larger than the threshold value indicating smile, the facial expression detection unit 405 determines that the facial expression is a true face (step S3021). Thereafter, the process of FIG. 10 is exited.

また、ステップS3012の判定において、顔が正面を向いていない場合には、ステップS3013〜ステップS3021の処理によって表情を判定することが困難である。そこで、この場合には判定を簡易化する。即ち、表情検出部405は口部において歯(白部分)が検出できるか否かを判定する(ステップS3022)。このステップS3022の判定において、歯が検出できた場合に、表情検出部405は、表情が笑顔であると判定する(ステップS3023)。その後、図10の処理を抜ける。一方、ステップS3022の判定において、歯が検出できなかった場合には、表情の検出が不能であったとして、そのまま図10の処理を抜ける。   In the determination in step S3012, if the face is not facing the front, it is difficult to determine the facial expression by the processing in steps S3013 to S3021. Therefore, in this case, the determination is simplified. That is, the facial expression detection unit 405 determines whether teeth (white portions) can be detected at the mouth (step S3022). If it is determined in step S3022 that teeth can be detected, the facial expression detection unit 405 determines that the facial expression is a smile (step S3023). Thereafter, the process of FIG. 10 is exited. On the other hand, if it is determined in step S3022 that teeth cannot be detected, it is determined that facial expression cannot be detected, and the process of FIG.

ここで、再び図9の説明に戻る。ステップS301において、表情を検出した後、表情検出部405は、検出した表情が複数の人物の笑顔であるか否かを判定する(ステップS302)。ステップS302の判定において、検出した表情が複数の人物の笑顔である場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS303)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、複数の顔があって、それらの顔の表情が笑顔であるような写真は、その当時、楽しいことがあったとして「なつかしい度」を高めに設定する。   Here, it returns to description of FIG. 9 again. In step S301, after detecting a facial expression, the facial expression detection unit 405 determines whether the detected facial expression is a smile of a plurality of persons (step S302). If it is determined in step S302 that the detected facial expression is a smile of a plurality of persons, the facial expression detection unit 405 adds 5 points to the “nostalgic level” (step S303). Then, the process of FIG. 9 is exited and the process of FIG. 12 is started. That is, for a photograph having a plurality of faces and facial expressions of smiling faces, the “nostalgic degree” is set higher because there was a fun at that time.

一方、ステップS302の判定において、検出した表情が複数の人物の笑顔でない場合に、表情検出部405は、検出した表情が複数の顔が向かいあうものであるか否かを判定する(ステップS304)。ステップS304の判定において、検出した表情が複数の顔が向かいあうものである場合に、表情検出部405は「なつかしい度」に4点を加える(ステップS305)。そして、図9の処理を抜けて、図12の処理を開始する。このような場合も、その当時に人物間で何らかの交流があったことを示す画像と考えられるので、その時の感情を含めて当時を思い出すことが可能な画像と考えることが可能である。   On the other hand, if it is determined in step S302 that the detected facial expression is not a smile of a plurality of persons, the facial expression detection unit 405 determines whether or not the detected facial expression is such that a plurality of faces face each other (step S304). If it is determined in step S304 that the detected facial expression is such that a plurality of faces face each other, the facial expression detection unit 405 adds 4 points to the “nostalgic level” (step S305). Then, the process of FIG. 9 is exited and the process of FIG. 12 is started. In such a case as well, it can be considered that the image shows that there was some kind of exchange between the people at that time, so it can be considered as an image that can remember the time including the emotion at that time.

一方、ステップS305の判定において、検出した表情が複数の顔が向かいあうものでない場合に、表情検出部405は、検出した表情がアップの笑顔であるか否かを判定する(ステップS306)。ステップS306の判定において、検出した表情がアップの笑顔である場合に、表情検出部405は「なつかしい度」に3点を加える(ステップS307)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの笑顔は、被写体本人は意識していなくとも、撮影者が非常に思い入れをこめて撮った写真と考えられるので「なつかしい度」に加点するようにする。   On the other hand, if it is determined in step S305 that the detected facial expression does not face a plurality of faces, the facial expression detection unit 405 determines whether the detected facial expression is an up smile (step S306). If it is determined in step S306 that the detected facial expression is a smiling face, the facial expression detection unit 405 adds three points to the “nostalgic level” (step S307). Then, the process of FIG. 9 is exited and the process of FIG. 12 is started. In other words, an up smile is considered to be a photograph taken with great care by the photographer even if the subject is not conscious of it.

一方、ステップS306の判定において、検出した表情がアップの笑顔でない場合に、表情検出部405は、検出した表情がアップの泣き顔であるか否かを判定する(ステップS308)。ステップS308の判定において、検出した表情がアップの泣き顔である場合に、表情検出部405は「なつかしい度」に2点を加える(ステップS309)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの泣き顔は、被写体本人には面白くないかもしれないが、それなりに感情が高ぶった状況なので、何らかの記憶が残っている可能性が高く、これも、思い出を想起させることのできる表情と考えられるので「なつかしい度」に加点するようにする。   On the other hand, if it is determined in step S306 that the detected facial expression is not an up smile, the facial expression detection unit 405 determines whether the detected facial expression is an up crying face (step S308). If it is determined in step S308 that the detected facial expression is an up-crying face, the facial expression detection unit 405 adds two points to the “nostalgic level” (step S309). Then, the process of FIG. 9 is exited and the process of FIG. 12 is started. In other words, the up crying face may not be interesting to the subject himself, but because the emotion is so high, there is a high possibility that some memory remains, and this is also an expression that can recall memories Since it can be considered, add points to the "nostalgic degree".

一方、ステップS308の判定において、検出した表情がアップの泣き顔でない場合に、表情検出部405は、検出した表情の中で他に存在しない人物の顔があるか否かを判定する(ステップS310)。なお、この判定には、家族等の特定人物の顔の画像を表情検出部405に記録しておき、この画像と表情検出部405に入力された顔部の画像とを比較することで判定する。ステップS310の判定において、検出した表情の中で他に存在しない人物の顔がある場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS311)。そして、図12の処理を開始する。   On the other hand, if it is determined in step S308 that the detected facial expression is not an up-crying face, the facial expression detection unit 405 determines whether there is a human face that does not exist in the detected facial expression (step S310). . For this determination, an image of a face of a specific person such as a family is recorded in the facial expression detection unit 405, and this image is compared with the facial image input to the facial expression detection unit 405. . In the determination in step S310, if there is another human face that does not exist in the detected facial expression, the facial expression detection unit 405 adds one point to the “nostalgic degree” (step S311). Then, the process of FIG. 12 is started.

次に、図12を説明する。人物同士の関係性に応じた懐かしさを感じさせる写真といえば、例えば図13(a)に示すような、子供の頃に両親と一緒に撮影した写真が考えられる。図12の処理ではこのような画像を複数の顔部の画像の大きさや位置関係から判定するものである。また、画像における人物の顔部の大きさは撮影時における被写体距離によって変化するものである。即ち、被写体距離が遠距離になると画像上の顔部の大きさは相対的に小さくなり、逆に被写体距離が近距離になると画像上の顔部の大きさは相対的に大きくなる。したがって、顔部の大きさを比較する際には距離検出回路113によって検出される距離情報も利用する。   Next, FIG. 12 will be described. Speaking of nostalgia according to the relationship between persons, for example, a photograph taken with parents as a child as shown in FIG. In the processing of FIG. 12, such an image is determined from the sizes and positional relationships of the images of a plurality of face portions. Further, the size of the face of the person in the image changes depending on the subject distance at the time of shooting. That is, when the subject distance is long, the size of the face on the image is relatively small, and conversely, when the subject distance is short, the size of the face on the image is relatively large. Therefore, distance information detected by the distance detection circuit 113 is also used when comparing the sizes of the face portions.

表情検出部405は、顔検出部404において検出された顔部の画像において、図13(a)に示すように、大きい男女(大人の男女)807の間の下に小さい人(子供)808が存在しているか否かを判定する(ステップS401)。ここで、大人と子供の判別は顔検出部404において検出される顔部の画像の大きさから判定する。また、男女の判定は髪型や体の大きさ、服装等の差異から判定することができる。ステップS401の判定において、画像内において大きい複数の男女の間の下に小さい人が存在している場合に、表情検出部405は「なつかしい度」に10点を加える(ステップS402)。そして、図12の処理を抜けて、図3のステップS7に移行する。即ち、画像内に大きな男女の顔があれば、これらはカップルと考えられる。また、その間の下に小さい顔の人がいれば、それが両親と子どもの写真と考えることができる。このような写真の懐かしさは格別と考えることができるので「なつかしい度」を高めに設定している。   In the facial image detected by the face detection unit 404, the facial expression detection unit 405 includes a small person (child) 808 below a large male and female (adult male and female) 807, as shown in FIG. It is determined whether or not it exists (step S401). Here, the discrimination between adults and children is made based on the size of the face image detected by the face detection unit 404. In addition, the determination of gender can be made based on differences in hairstyle, body size, clothes, and the like. If it is determined in step S401 that there is a small person under the large number of men and women in the image, the facial expression detection unit 405 adds 10 points to the “nostalgic degree” (step S402). Then, the process of FIG. 12 is exited and the process proceeds to step S7 of FIG. That is, if there are large male and female faces in the image, these are considered to be couples. Also, if there is a person with a small face underneath, it can be considered as a picture of parents and children. Such nostalgia for photos can be considered exceptional, so the “nostalgic level” is set high.

一方、ステップS401の判定において、画像内において大きい複数の男女の間に小さい人が存在していない場合に、表情検出部405は、画像内において大きい複数の男女の横に小さい人が存在しているか否かを判定する(ステップS403)。ステップS403の判定において、画像内において大きい複数の男女の横に小さい人が存在している場合に、表情検出部405は「なつかしい度」に8点を加える(ステップS404)。そして、図12の処理を抜けて、図3のステップS7に移行する。このような場合も、男女の間に小さい人が存在している場合に続いて親密な雰囲気を醸し出していると考えられるので、懐かしさを想起する画像として分類できる。   On the other hand, in the determination of step S401, when there is no small person between the large men and women in the image, the facial expression detection unit 405 has a small person beside the large men and women in the image. It is determined whether or not (step S403). If it is determined in step S403 that there is a small person beside a plurality of large men and women in the image, the facial expression detection unit 405 adds 8 points to the “nostalgic degree” (step S404). Then, the process of FIG. 12 is exited and the process proceeds to step S7 of FIG. In such a case, it can be classified as an image reminiscent of nostalgia because it is thought that a close atmosphere is created following the presence of a small person between men and women.

一方、ステップS404の判定において、画像内において大きい複数の男女の横に小さい人が存在していない場合に、表情検出部405は、図13(b)に示すようにして画像内に大きい人807と小さい人808とが密着して存在しているか否かを判定する(ステップS405)。ステップS405の判定において、画像内に大きい人と小さい人が密着して存在している場合に、表情検出部405は「なつかしい度」に6点を加える(ステップS406)。そして、図12の処理を抜けて、図3のステップS7に移行する。大人と子供の写真の場合、両親ではなくとも、例えば母親と子ども、父親と子ども、或いは兄弟、従弟、おじ、おば、曽祖父母との写真と考えることもできる。そこで、このような写真をステップS405において判定できるようにし、「なつかしい度」に加点するようにしている。   On the other hand, in the determination in step S404, when there is no small person next to the large number of men and women in the image, the facial expression detection unit 405 determines that the large person 807 in the image as shown in FIG. It is determined whether or not the small person 808 is in close contact (step S405). If it is determined in step S405 that a large person and a small person are in close contact with each other in the image, the facial expression detection unit 405 adds 6 points to the “nostalgic degree” (step S406). Then, the process of FIG. 12 is exited and the process proceeds to step S7 of FIG. In the case of photos of adults and children, they can be considered as photos of mothers and children, fathers and children, or brothers, cousins, uncles, aunts, great-grandparents, for example, not parents. Therefore, such a photograph can be determined in step S405, and points are added to the “nostalgic degree”.

一方、ステップS406の判定において、画像内に大きい人と小さい人とが密着して存在していない場合に、表情検出部405は、画像内に大きい人と複数の小さい人とが存在しているか否かを判定する(ステップS407)。ステップS407の判定において、画像内に大きい人と複数の小さい人とが存在している場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS408)。そして、図12の処理を抜けて、図3のステップS7に移行する。この場合は、例えば子供達に囲まれた大人や孫達に囲まれた祖父母のような画像を想定している。このような画像もほほえましく、懐かしさを想起しやすいと考えられるので「なつかしい度」に加点するようにしている。   On the other hand, if it is determined in step S406 that a large person and a small person are not closely present in the image, the facial expression detection unit 405 determines whether there are a large person and a plurality of small persons in the image. It is determined whether or not (step S407). If it is determined in step S407 that there are a large person and a plurality of small persons in the image, the facial expression detection unit 405 adds 5 points to the “nostalgic degree” (step S408). Then, the process of FIG. 12 is exited and the process proceeds to step S7 of FIG. In this case, for example, an image such as an adult surrounded by children or a grandparent surrounded by grandchildren is assumed. Such an image is also smiley, and it is thought that it is easy to recall nostalgia.

一方、ステップS407の判定において、画像内に大きい人と複数の小さい人とが存在していない場合に、表情検出部405は、顔部と体部との比率が小さいか否かを判定する(ステップS409)。ステップS409の判定において、顔部と体部との比率が小さい場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS410)。そして、図12の処理を抜けて、図3のステップS7に移行する。顔と体の大きさの比率は成長するにつれ大きくなっていくので、この比率が小さい写真は子どもの写真と考える。例えば、図14(a)に示すようなシーンにおいて顔と体との大きさの比率を求めるには、顔検出部404において得られた陰影強調後画像から輪郭成分を抽出することで図14(b)に示す複数の人の顔の大きさ(図示F1、F2)を検出する。さらに、輪郭成分を抽出した画像において各人物の腰部を検出し、それによって首から腰までの大きさ(図示B1、B2)を検出する。上述したように、大人の場合の比率F1/B1と子供の場合の比率F2/B2とでは、比率F2/B2のほうが小さくなる。即ち、子供のほうが体の大きさに対する顔の大きさの割合が大きくなるので、このような判定を行うことで画像内における大人と子供との識別が可能である。ただし、顔と体の比率による「なつかしい度」を高くしすぎると、子どもの写真ばかりになってしまうので、大人と一緒の写真よりも得点を少なくしている。   On the other hand, if it is determined in step S407 that there are neither a large person nor a plurality of small persons in the image, the facial expression detection unit 405 determines whether the ratio between the face part and the body part is small ( Step S409). If it is determined in step S409 that the ratio between the face part and the body part is small, the facial expression detection unit 405 adds one point to the “nostalgic degree” (step S410). Then, the process of FIG. 12 is exited and the process proceeds to step S7 of FIG. As the ratio of face to body size grows as it grows, a photo with a small ratio is considered a child's photo. For example, in order to obtain the size ratio between the face and the body in the scene as shown in FIG. 14A, the contour component is extracted from the shadow-enhanced image obtained by the face detection unit 404 as shown in FIG. The face sizes (F1 and F2 in the figure) shown in b) are detected. Further, the waist of each person is detected in the image from which the contour component is extracted, thereby detecting the size from the neck to the waist (B1 and B2 in the figure). As described above, the ratio F2 / B2 is smaller between the ratio F1 / B1 for adults and the ratio F2 / B2 for children. That is, since the ratio of the face size to the body size is larger for the child, it is possible to discriminate between the adult and the child in the image by making such a determination. However, if the “nostalgic level” based on the ratio of face to body is too high, it will result in only pictures of children, so the score is lower than that of photographs with adults.

図12の処理のように、複数の人物の関係を、画像の構図から判定し、その関係が親密であると考えられるものや、家族との写真と考えられるものの「なつかしい度」を高めてその画像を優先的に表示させることで、その画像を見て家族が皆で懐かしい感情に浸ることができる。この図12の処理を図9の処理と組み合わせることで、図13(b)のように、笑っている人がいて、且つその人が子供と密着しているような画像は、かなり高い「なつかしい度(即ち表示優先度)」となる。   As shown in the process of FIG. 12, the relationship between a plurality of persons is determined from the composition of the image, and the relationship is considered to be intimate or the “nostalgic degree” of what is considered to be a photo with the family is increased. By displaying images preferentially, family members can immerse themselves in nostalgic feelings when they see the images. By combining the processing of FIG. 12 with the processing of FIG. 9, an image in which there is a laughing person and the person is in close contact with the child as shown in FIG. Degree (that is, display priority) ".

以上説明したように、本実施形態によれば、複数の人物の関係が親密であると考えられる画像や家族の写真であると考えられる画像、画像内の人物が笑っている画像等が他の画像よりも優先して表示がなされるので、例えば家族の年代史のような画像を確実に選択してPC500に表示させることが可能である。これにより、各地に離れた親族が短時間で家族の年代史のような画像を鑑賞することが可能である。   As described above, according to the present embodiment, an image that is considered to be an intimate relationship between a plurality of persons, an image that is considered to be a family photo, an image in which a person in the image is laughing, or the like Since the display is given priority over the image, it is possible to reliably select an image such as the age of the family and display it on the PC 500. As a result, relatives away from each place can appreciate images such as the family's age history in a short time.

また、近年、流行している大画面のテレビジョン装置等はネットワーク接続機能を有しているものが多いので、このようなテレビジョン装置を図2の通信システムにおいてネットワーク300に接続するようにすれば、団欒の場等で大画面のテレビジョン装置に表示されて画像を家族みんなで楽しむこともできるようになる。   In recent years, many large-screen television apparatuses and the like that have become popular have a network connection function. Therefore, such a television apparatus can be connected to the network 300 in the communication system of FIG. For example, the image can be displayed on a large-screen television device at a party or the like and enjoyed by the whole family.

[変形例]
以下、上述した実施形態の変形例について説明する。
上述した図6の処理においては背景部の画像から年代の特定しやすい画像を検出し、その画像の「優先度」を高めて表示優先度を高くするとともに、その画像の取得された年代を特定しているが、必ずしも年代を特定できるとは限らない。また、上述した実施形態において、表示優先度が高くなるのは年代特定のしやすい画像だけでなく、年代特定が困難であっても、懐かしさを想起させやすい表情の画像や人物同士の関係が親密であると考えられる画像も含まれる。そこで、本実施形態の第1の変形例は、年代特定の行える画像と同一年代に撮影されたと考えられる画像を選択してPC500に表示させる。
[Modification]
Hereinafter, modifications of the above-described embodiment will be described.
In the processing of FIG. 6 described above, an image with an easily identifiable age is detected from the background image, the “priority” of the image is increased to increase the display priority, and the acquired age of the image is specified. However, it is not always possible to specify the age. In the above-described embodiment, the display priority is high not only for images that are easy to specify the age, but even if it is difficult to specify the age, images with facial expressions that are easy to recall nostalgia and relationships between people are intimate. The image considered to be is also included. Therefore, in the first modification of the present embodiment, an image considered to have been taken in the same age as an image for which age identification can be performed is selected and displayed on the PC 500.

図15は、第1の変形例の概念について説明するための図である。また、図16は、第1の変形例の処理について示すフローチャートである。ここで、図16の処理は例えば図3のステップS10の後に行われる。   FIG. 15 is a diagram for explaining the concept of the first modification. FIG. 16 is a flowchart showing the process of the first modification. Here, the process of FIG. 16 is performed after step S10 of FIG. 3, for example.

図3のステップS10において、画像選択部409は、「優先度」又は「なつかしい度」の高い画像を記録部402から選択する。その後、図16の処理を行う。まず、画像選択部409は、選択した画像が年代特定可能な画像(第1の画像)であるか否かを、「優先度」の値によって判定する(ステップS501)。例えば、図15のように画像内にカレンダー809が写っている画像は文字を含む被写体であるため、図6の処理において「優先度」が加算されており、年代特定可能な画像であると判定される。ステップS501の判定において、選択した画像が年代特定不能な画像である場合には、図16の処理を抜ける。この場合には、表示制御部410の制御の下、画像選択部409において選択された画像のみがPC500に表示される。   In step S <b> 10 of FIG. 3, the image selection unit 409 selects an image with a high “priority” or “nostalgic degree” from the recording unit 402. Thereafter, the processing of FIG. 16 is performed. First, the image selection unit 409 determines whether or not the selected image is an image (first image) whose age can be specified based on the value of “priority” (step S501). For example, as shown in FIG. 15, an image in which a calendar 809 is shown in the image is a subject including characters. Therefore, “priority” is added in the processing of FIG. Is done. If it is determined in step S501 that the selected image is an image whose age cannot be specified, the process of FIG. 16 is exited. In this case, only the image selected by the image selection unit 409 is displayed on the PC 500 under the control of the display control unit 410.

一方、ステップS501の判定において、選択した画像が年代特定可能な画像である場合には、顔検出部404によりその画像内に写っている人物808の顔部を検出する(ステップS502)。顔検出部404によって顔部が検出された後、画像選択部409は顔検出部404によって検出された顔部と同じ顔部を有する人物を含む画像(第2の画像)810を記録部402の中から選択する(ステップS503)。顔部が同じであるか否かの判定は、例えば顔部画像のマッチング処理によって行うことができる。   On the other hand, if it is determined in step S501 that the selected image is an image whose age can be specified, the face detection unit 404 detects the face of the person 808 in the image (step S502). After the face is detected by the face detection unit 404, the image selection unit 409 displays an image (second image) 810 including a person having the same face as the face detected by the face detection unit 404 in the recording unit 402. Selection is made from among them (step S503). The determination as to whether or not the face portions are the same can be made, for example, by matching the face image.

ステップS503の選択の後、画像選択部409は、同じ顔部を有する人物を含む画像810を選択できたか否かを判定する(ステップS504)。即ち、同じ顔部を有する人物を含む画像であれば、それらは同一年代に取得されたものと考えることが可能である。ステップS504の判定において、同じ顔部を有する人物を含む画像810を選択できなかった場合には、図16の処理を抜ける。この場合には、表示制御部410の制御の下、画像選択部409において選択された画像のみがPC500に表示される。   After the selection in step S503, the image selection unit 409 determines whether an image 810 including a person having the same face has been selected (step S504). That is, if the images include persons having the same face, they can be considered to have been acquired in the same age. If it is determined in step S504 that an image 810 including a person having the same face cannot be selected, the process of FIG. 16 is exited. In this case, only the image selected by the image selection unit 409 is displayed on the PC 500 under the control of the display control unit 410.

一方、ステップS504の判定において、顔部が同じ人物808aを含む画像を選択できた場合に、画像選択部409はその選択した画像を図3のステップS10において選択した画像とともに表示制御部410に送る。表示制御部410は、画像選択部409から送られてきた画像を並べてPC500に表示させるように制御する(ステップS505)。その後に図16の処理を抜けて図3の処理を終了する。   On the other hand, if it is determined in step S504 that an image including the person 808a having the same face can be selected, the image selection unit 409 sends the selected image to the display control unit 410 together with the image selected in step S10 in FIG. . The display control unit 410 controls the images sent from the image selection unit 409 to be displayed side by side on the PC 500 (step S505). Thereafter, the process of FIG. 16 is exited and the process of FIG. 3 is terminated.

以上説明した第1の変形例によれば、年代特定が可能な画像に写っている人物と同じ顔の人物の画像を選択することにより、年代特定を行うことができる被写体が存在しない画像の年代特定を行うことができ、これによってユーザの懐かしさをさらに想起させることが可能である。   According to the first modification described above, by selecting an image of a person having the same face as the person in the image whose age can be specified, the age of the image in which there is no subject for which age can be specified Identification can be performed, which can further remind the user of nostalgia.

ここで、図16のステップS503の処理においては、顔部が同一の画像を選択しているが、輪郭抽出処理等を併用して顔部の他に体部も含めて同一の画像を選択するようにしても良い。   Here, in the process of step S503 in FIG. 16, the same image is selected for the face part, but the same image is selected including the body part in addition to the face part by using the contour extraction process or the like together. You may do it.

次に、本実施形態の第2の変形例について説明する。第2の変形例は、単に「優先度」又は「なつかしい度」の高い画像を表示させるのではなく、記録部402に記録されている画像を所定期間毎に区分し、その区分毎に「優先度」又は「なつかしい度」の高い画像を表示させるものである。   Next, a second modification of the present embodiment will be described. The second modified example does not simply display an image having a high “priority” or “nostalgic degree”, but categorizes the images recorded in the recording unit 402 for each predetermined period. An image having a high “degree” or “nostalgic degree” is displayed.

図17は、第1の変形例の処理について示すフローチャートである。ここで、図17の処理は例えば図3のステップS8以後の処理に代えて行われる。   FIG. 17 is a flowchart showing the process of the first modified example. Here, the process of FIG. 17 is performed instead of the process after step S8 of FIG. 3, for example.

まず、アクセス反応部403は、ユーザからの画像再生指示がダイジェスト再生モードの再生指示であるか否かを判定する(ステップS601)。ステップS601の判定において、ダイジェスト再生モードの再生でない場合には、図17の処理を抜けて図3のステップS12の処理を行う。   First, the access reaction unit 403 determines whether or not the image reproduction instruction from the user is a reproduction instruction in the digest reproduction mode (step S601). If it is determined in step S601 that the playback is not in the digest playback mode, the process of FIG. 17 is skipped and the process of step S12 of FIG. 3 is performed.

一方、ステップS601の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部403は、画像選択部409にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部409は、「優先度」又は「なつかしい度」の高い画像の選択を行う。これに先立って、画像選択部409は記録部402に記録されている画像データの中に、年代が特定されていない画像データが存在しているか否かを判定する(ステップS602)。ステップS602の判定において、年代が特定されていない画像データが存在している場合には、背景部の被写体若しくは図16のステップS503と同様の処理によって年代が特定されていない画像の取得年代を特定する(ステップS603)。   On the other hand, if it is determined in step S601 that the playback is in the digest playback mode, the access reaction unit 403 sends an image selection instruction for the digest playback mode to the image selection unit 409. In response to this, the image selection unit 409 selects an image having a high “priority” or “nostalgic degree”. Prior to this, the image selection unit 409 determines whether there is image data whose age is not specified in the image data recorded in the recording unit 402 (step S602). If there is image data whose age is not specified in the determination of step S602, the acquisition age of the image whose age is not specified is specified by the same process as in step S503 in FIG. (Step S603).

ステップS603の処理後、画像選択部409は年代特定を終了するか否かを、全ての年代が特定されていない画像データに対してステップS603の処理を行ったか否かによって判定する(ステップS604)。ステップS604の判定において、まだ、全ての年代が特定されていない画像データに対してステップS603の処理を行っていない場合にステップS602に戻る。   After the process of step S603, the image selection unit 409 determines whether or not to end the age specification based on whether or not the process of step S603 has been performed on all image data for which no age has been specified (step S604). . If it is determined in step S604 that the process of step S603 has not yet been performed on image data for which all ages have not been specified, the process returns to step S602.

一方、ステップS604の判定において、全ての年代が特定されていない画像データに対してステップS603の処理を行った場合に、画像選択部409は、年代が特定された画像データを取得年代毎に分類する(ステップS605)。この分類は、例えば、取得年代が最古のものと最近のものとの間を10の時期に等分して取得年代を区分し、それぞれの区分に各画像データを分類することにより行う。ステップS605の分類の後、画像選択部409は、区分毎に表示優先度(即ち、「優先度」又は「なつかしい度」)の高い画像データを記録部402から読み出して表示制御部410に送る。表示制御部410は、画像選択部409から送られてきた画像をPC500に表示させるように制御する(ステップS606)。その後、アクセス反応部403は、所定期間内に画像の表示再生の終了指示がなされたか否かを判定する(ステップS607)。ステップS607の判定において、画像の表示再生の終了指示がなされていない場合には、アクセス反応部403はその旨を画像選択部409に通知する。これを受けて画像選択部409は記録部402から読み出す画像データの区分の切り替えを行う(ステップS608)。その後に、ステップS606に戻り、別の区分の画像の表示処理を行う。一方、ステップS607の判定において、画像の表示再生の終了指示がなされた場合には、図17の処理を終了する。   On the other hand, in the determination of step S604, when the process of step S603 is performed on all image data for which no age has been specified, the image selection unit 409 classifies the image data for which the age has been specified for each acquisition age. (Step S605). This classification is performed, for example, by equally dividing the acquisition age by dividing the acquisition age into the 10th period between the oldest and the latest acquisition age, and classifying each image data into the respective categories. After the classification in step S605, the image selection unit 409 reads out image data having a high display priority (that is, “priority” or “nostalgic degree”) from the recording unit 402 and sends the image data to the display control unit 410. The display controller 410 controls the image sent from the image selector 409 to be displayed on the PC 500 (step S606). Thereafter, the access reaction unit 403 determines whether an instruction to end display / reproduction of an image has been given within a predetermined period (step S607). If it is determined in step S607 that an instruction to end display / reproduction of an image has not been given, the access reaction unit 403 notifies the image selection unit 409 to that effect. In response to this, the image selection unit 409 switches the classification of image data read from the recording unit 402 (step S608). After that, the process returns to step S606, and the display process of the image of another section is performed. On the other hand, if it is determined in step S607 that an instruction to end image display / reproduction is given, the processing in FIG. 17 ends.

以上説明した第2の変形例によれば、取得年代毎に区分して画像の表示を行うことにより、例えば赤ちゃんの時期の写真ばかりが表示されてしまう等の、同一時期の写真ばかり表示されてしまうことを防止することが可能である。   According to the second modified example described above, by displaying images separately for each acquisition age, only photos at the same time are displayed, for example, only photos at the time of the baby are displayed. Can be prevented.

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では画像データ毎に1つの「なつかしい度」を設定しているが、複数の条件が重なった場合には、それら複数の条件に対応した「なつかしい度」を加算又は乗算して最終的な「なつかしい度」を求めるようにしても良い。また、背景被写体の種類や顔部の表情に応じた「なつかしい度」の点数は一例であり、適宜決定することができる。この点数をユーザが設定できるようにしても良い。   Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, in the above-described embodiment, one “nostalgic degree” is set for each image data, but when a plurality of conditions overlap, the “nostalgic degree” corresponding to the plurality of conditions is added or multiplied. The final “nostalgic degree” may be obtained. Also, the score of “nostalgic degree” corresponding to the type of background subject and facial expression is an example, and can be determined as appropriate. The score may be set by the user.

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。   Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.

本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラの構成を示すブロック図である。1 is a block diagram illustrating a configuration of a digital camera as an example of a photographing apparatus including an image display device according to an embodiment of the present invention. 本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。It is a figure which shows the structure of the communication system containing the image display apparatus which concerns on one Embodiment of this invention. サーバの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a server. 背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。It is a flowchart shown about the process sequence of an example of the face detection process for a background part detection. 顔検出処理の概念について示す図である。It is a figure shown about the concept of a face detection process. 懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。It is a flowchart shown about the determination process of whether the subject which recalls nostalgia exists. 文字検出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a character detection process. 文字検出処理の概念について説明するための図である。It is a figure for demonstrating the concept of a character detection process. 顔の表情に応じた「なつかしい度」を求めるためのフローチャートである。It is a flowchart for calculating the “nostalgic degree” according to the facial expression. 表情検出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a facial expression detection process. 表情検出処理の概念について説明するための図である。It is a figure for demonstrating the concept of a facial expression detection process. 人物同士の関係性に応じた「なつかしい度」を求めるためのフローチャートである。It is a flowchart for calculating the “nostalgic degree” according to the relationship between persons. 図13(a)は大きい男女の間の下に小さい人物が存在する画像の例を示す図であり、図13(b)は大きい人と小さい人とが密着して存在する画像の例を示す図である。FIG. 13A is a diagram illustrating an example of an image in which a small person exists between large men and women, and FIG. 13B illustrates an example of an image in which a large person and a small person are in close contact with each other. FIG. 顔と体との大きさの比率の求め方について説明するための図である。It is a figure for demonstrating how to obtain | require the ratio of the size of a face and a body. 本発明の実施形態の第1の変形例の概念について説明するための図である。It is a figure for demonstrating the concept of the 1st modification of embodiment of this invention. 本発明の実施形態の第1の変形例の処理について示すフローチャートである。It is a flowchart shown about the process of the 1st modification of embodiment of this invention. 本発明の実施形態の第2の変形例の処理について示すフローチャートである。It is a flowchart shown about the process of the 2nd modification of embodiment of this invention.

符号の説明Explanation of symbols

100…デジタルカメラ、101…マイクロプロセッシングユニット(MPU)、102…操作部、103…撮影レンズ、104…オートフォーカス(AF)回路、105…絞り機構、106…絞り制御回路、107…撮像素子、108…アナログフロントエンド(AFE)回路、109…画像処理回路、110…表示制御回路、111…表示パネル、112…形状検出回路、113…距離検出回路、114…顔検出回路、115…圧縮部、116…記録制御回路、117…記録メディア、118…通信部、119…補助光発光回路、300…ネットワーク、400…サーバ、500,600…パーソナルコンピュータ(PC)、700…スキャナ   DESCRIPTION OF SYMBOLS 100 ... Digital camera, 101 ... Micro processing unit (MPU), 102 ... Operation part, 103 ... Shooting lens, 104 ... Auto-focus (AF) circuit, 105 ... Aperture mechanism, 106 ... Aperture control circuit, 107 ... Image sensor, 108 DESCRIPTION OF SYMBOLS ... Analog front end (AFE) circuit, 109 ... Image processing circuit, 110 ... Display control circuit, 111 ... Display panel, 112 ... Shape detection circuit, 113 ... Distance detection circuit, 114 ... Face detection circuit, 115 ... Compression part, 116 ... Recording control circuit, 117 ... Recording medium, 118 ... Communication unit, 119 ... Auxiliary light emitting circuit, 300 ... Network, 400 ... Server, 500,600 ... Personal computer (PC), 700 ... Scanner

Claims (7)

複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像における顔部分を複数検出する顔検出部と、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、
上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
In an image display device for selecting and displaying fewer images from a plurality of images,
A face detector for detecting a plurality of face portions in the image;
A priority setting unit that determines a size and a position of an image of a plurality of face parts from a result of detection of the face part, and sets a display priority of the image according to the determined size and position of the face part;
A display control unit that displays the images in a priority order according to the display priority;
An image display device comprising:
上記画像における背景部分を検出する背景検出部をさらに備え、
上記表示制御部は、上記背景検出部によって検出された背景部分から上記画像の取得された年代を特定し、該特定した年代毎の上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする請求項1に記載の画像表示装置。
A background detector for detecting a background portion in the image,
The display control unit identifies the age at which the image was acquired from the background portion detected by the background detection unit, and causes the image to be displayed in a priority order corresponding to the display priority for each identified age. The image display apparatus according to claim 1.
複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像内から人物の部分を検出する人物検出部と、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、
上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
In an image display device for selecting and displaying fewer images from a plurality of images,
A person detecting unit for detecting a person part from the image;
From a detection result of the person part, a background detection unit for detecting a background part in the image,
A first image in which a subject whose age can be specified is captured in a background portion detected by the background detection unit and a second image having an image similar to the person portion of the first image are displayed side by side A display control unit
An image display device comprising:
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像における顔部分を複数検出し、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、
上記表示優先度に応じた優先順位で上記画像を表示させる、
ことを特徴とする画像表示方法。
In an image display method for selecting and displaying fewer images from a plurality of images,
Detecting multiple face parts in the image,
From the detection result of the face part, determine the size and position of the images of the face parts,
Set the display priority of the image according to the size and position of the determined face part,
Displaying the images in a priority order according to the display priority;
An image display method characterized by the above.
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像内から人物の部分を検出し、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させる、
ことを特徴とする画像表示方法。
In an image display method for selecting and displaying fewer images from a plurality of images,
Detect people from the image above,
From the detection result of the person part, the background part in the image is detected,
A first image in which a subject whose age can be specified is photographed in the detected background portion and a second image having an image similar to the person portion of the first image are displayed side by side;
An image display method characterized by the above.
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像における顔部分を複数検出するステップと、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、
上記表示優先度に応じた優先順位で上記画像を表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
In an image display program for selecting and displaying fewer images from a plurality of images,
Detecting a plurality of face portions in the image;
Determining a size and a position of an image of a plurality of face parts from the result of detection of the face parts;
Setting the display priority of the image according to the size and position of the determined face portion;
Displaying the images in a priority order according to the display priority;
Display program for causing a computer to execute.
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像内から人物の部分を検出するステップと、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第1の画像と上記第1の画像の有する人物部と同様の画像を有する第2の画像とを並べて表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
In an image display program for selecting and displaying fewer images from a plurality of images,
Detecting a portion of a person from within the image;
Detecting a background portion in the image from the detection result of the person portion;
Displaying side by side a first image in which a subject whose age can be specified is photographed in the detected background portion and a second image having an image similar to the person portion of the first image;
Display program for causing a computer to execute.
JP2007063772A 2007-03-13 2007-03-13 Image display device, image display method, and program Expired - Fee Related JP5295510B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007063772A JP5295510B2 (en) 2007-03-13 2007-03-13 Image display device, image display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007063772A JP5295510B2 (en) 2007-03-13 2007-03-13 Image display device, image display method, and program

Publications (2)

Publication Number Publication Date
JP2008225089A true JP2008225089A (en) 2008-09-25
JP5295510B2 JP5295510B2 (en) 2013-09-18

Family

ID=39843785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007063772A Expired - Fee Related JP5295510B2 (en) 2007-03-13 2007-03-13 Image display device, image display method, and program

Country Status (1)

Country Link
JP (1) JP5295510B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494347B2 (en) 2010-06-15 2013-07-23 Kabushiki Kaisha Toshiba Electronic apparatus and movie playback method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115672A (en) * 2003-10-08 2005-04-28 Fuji Photo Film Co Ltd Image processor
JP2005184785A (en) * 2003-11-28 2005-07-07 Fuji Photo Film Co Ltd Image reproducing device and image reproducing method
JP2006252025A (en) * 2005-03-09 2006-09-21 Konica Minolta Holdings Inc Image management device, image management method and image management program
JP2007028555A (en) * 2005-07-21 2007-02-01 Sony Corp Camera system, information processing device, information processing method, and computer program
JP2007041987A (en) * 2005-08-05 2007-02-15 Sony Corp Image processing apparatus and method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115672A (en) * 2003-10-08 2005-04-28 Fuji Photo Film Co Ltd Image processor
JP2005184785A (en) * 2003-11-28 2005-07-07 Fuji Photo Film Co Ltd Image reproducing device and image reproducing method
JP2006252025A (en) * 2005-03-09 2006-09-21 Konica Minolta Holdings Inc Image management device, image management method and image management program
JP2007028555A (en) * 2005-07-21 2007-02-01 Sony Corp Camera system, information processing device, information processing method, and computer program
JP2007041987A (en) * 2005-08-05 2007-02-15 Sony Corp Image processing apparatus and method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494347B2 (en) 2010-06-15 2013-07-23 Kabushiki Kaisha Toshiba Electronic apparatus and movie playback method

Also Published As

Publication number Publication date
JP5295510B2 (en) 2013-09-18

Similar Documents

Publication Publication Date Title
US8212911B2 (en) Imaging apparatus, imaging system, and imaging method displaying recommendation information
US8773566B2 (en) Photographing condition setting apparatus, photographing condition setting method, and photographing condition setting program
TW201005562A (en) Information recording device, imaging device, information recording method, and program
JP2010169954A (en) Display device and imaging apparatus
CN113014832B (en) Image editing system and image editing method
JP4423929B2 (en) Image output device, image output method, image output processing program, image distribution server, and image distribution processing program
US8355050B2 (en) Image replay system, digital camera, and image replay device
JP2001127990A (en) Information communication system
JP4891123B2 (en) Image display device, image display method, and program
JP2009169209A (en) Image display apparatus, image display method, and image display program
JP2010021721A (en) Camera
US20140111641A1 (en) Method of sending and processing event images
JP2007266902A (en) Camera
JP2004247983A (en) Photographing apparatus, image processing apparatus, and image processing program
JP3649468B2 (en) Electronic album system with shooting function
JP5231178B2 (en) camera
CN110248207B (en) Image reality display server, image reality display method, recording medium and image reality display system
JP5295510B2 (en) Image display device, image display method, and program
JP5530548B2 (en) Facial expression database registration method and facial expression database registration apparatus
JP5173666B2 (en) camera
JP2010171849A (en) Image reproducing apparatus and electronic camera
JP4865631B2 (en) Imaging device
JP4920534B2 (en) Slide show generation system and camera having this system
JP2004104426A (en) Imaging apparatus
JP6108831B2 (en) Mobile device, server, image generation method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100312

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130612

R150 Certificate of patent or registration of utility model

Ref document number: 5295510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees