JP2012044251A - Image display device and program - Google Patents

Image display device and program Download PDF

Info

Publication number
JP2012044251A
JP2012044251A JP2010180941A JP2010180941A JP2012044251A JP 2012044251 A JP2012044251 A JP 2012044251A JP 2010180941 A JP2010180941 A JP 2010180941A JP 2010180941 A JP2010180941 A JP 2010180941A JP 2012044251 A JP2012044251 A JP 2012044251A
Authority
JP
Japan
Prior art keywords
image
shooting
display device
image display
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010180941A
Other languages
Japanese (ja)
Other versions
JP5601513B2 (en
JP2012044251A5 (en
Inventor
Junichi Maeda
順一 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010180941A priority Critical patent/JP5601513B2/en
Publication of JP2012044251A publication Critical patent/JP2012044251A/en
Publication of JP2012044251A5 publication Critical patent/JP2012044251A5/ja
Application granted granted Critical
Publication of JP5601513B2 publication Critical patent/JP5601513B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize display suitable for comparing respective images taken after a lapse of time at the same place and confirming how the images have changed, without applying a burden on a user.SOLUTION: When an image is selected optionally, the imaging position and the imaging direction of the "selected image" are identified by referring to additional information added to the "selected image", and a subject imprinted within the selected image is recognized. On the basis of the identified imaging position and the imaging direction and the recognized subject, image retrieval is performed to read and display an image similar to the imaging position, the imaging direction, and the subject more than predetermined similarity, as a "similar image".

Description

本発明は、撮影画像を表示する画像表示装置及びプログラムに関する。   The present invention relates to an image display device and a program for displaying a captured image.

一般に、毎年のように同じ場所で撮影した多くの撮影画像を画像表示装置に表示させて見比べるようにすれば、例えば、子供や植物などの成長具合や街の発展具合、イベントの変化具合などを容易に確認することができるようになるが、膨大な数の撮影画像の中から同じ場所で撮影した画像を探し出す作業は、ユーザにとって時間と労力を必要とする。このような場合、例えば、過去に同じ場所(撮影位置)で撮影された各画像を呼び出して表示する技術を利用するようにすれば、ユーザへの負担を軽減することができるはずである。この種の技術としては、従来、風景画像をその撮影位置及び撮影日時と共に記憶しておくことで、指定された年代の地図と同じ位置で撮影された風景画像を表示するようにした技術が知られている(特許文献1参照)。また、現在の映像と同じ場所で同じ方向を撮影した過去の映像を見比べながら監視するようにした技術も知られている(特許文献2参照)。   In general, if many images taken at the same place every year are displayed on the image display device and compared, for example, how children and plants grow, how the city develops, how events change, etc. Although it can be easily confirmed, it takes time and effort for the user to search for an image taken at the same place from a large number of taken images. In such a case, for example, if a technique for calling and displaying each image captured in the same place (imaging position) in the past is used, the burden on the user should be able to be reduced. As this type of technology, there is conventionally known a technology that displays a landscape image taken at the same position as a map of a specified age by storing a landscape image together with its shooting position and shooting date and time. (See Patent Document 1). A technique is also known in which monitoring is performed while comparing past images taken in the same direction at the same location as the current image (see Patent Document 2).

特開2009−116500号公報JP 2009-116500 A 特開2006−42249号公報JP 2006-42249 A

しかしながら、上述した各先行技術にあっては、同じ場所で同じ方向を撮影した画像を表示するだけの技術であり、このような技術を、子供や植物の成長具合などを確認するための画像表示に利用したとしても、画像を効率よく検索することはできない。すなわち、例えば、自宅の居間で家族、親戚、友人などを撮影した画像が多数存在していたり、庭の中で季節毎に色々な花を撮影した画像が多数存在していたりしている場合に、居間の同じ場所で撮影した全ての画像、庭の同じ場所で撮影した全ての画像が表示されてしまうため、似たような画像の中から目的の画像(例えば、子供の画像)を探し出さなければならなかった。   However, each of the above-described prior arts is a technique that only displays an image taken in the same direction at the same place. Such a technique is used to display an image for confirming the growth of a child or a plant. Even if it is used, the image cannot be searched efficiently. That is, for example, when there are many images of family, relatives, friends, etc. in the living room at home, or when there are many images of various flowers in the garden for each season All images taken at the same location in the living room and all images taken at the same location in the garden will be displayed. Search for the desired image (eg, a child's image) from similar images. I had to.

本発明の課題は、同じ場所で時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現できるようにすることである。   An object of the present invention is to make it possible to realize an image display suitable for confirming the state of change by comparing images taken at the same place over time without burdening the user.

上述した課題を解決するために請求項1記載の発明は、
撮影画像を表示する画像表示装置であって、
撮影位置及び撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び撮影方向を特定する特定手段と、
前記選択された画像内に写し込まれている被写体を認識する認識手段と、
前記特定手段により特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を検索する画像検索手段と、
前記画像検索手段により検索された撮影画像を表示する表示手段と、
を具備したことを特徴とする。
In order to solve the above-described problem, the invention described in claim 1
An image display device that displays a captured image,
A specifying unit for specifying the shooting position and the shooting direction with reference to additional information added to the selected image among the plurality of shooting images to which the information of the shooting position and the shooting direction is added;
Recognizing means for recognizing a subject imprinted in the selected image;
Based on the shooting position and shooting direction specified by the specifying means and the subject recognized by the recognition means, the shooting position and shooting direction and the subject are similar to a predetermined similarity or higher than the shooting position. Image search means for searching for captured images;
Display means for displaying a photographed image retrieved by the image retrieval means;
It is characterized by comprising.

請求項1に従属する発明として、
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記画像検索手段は、前記撮影日時が現在日時から所定期間以上経過した画像を検索対象外とする、
ようにしたことを特徴とする、請求項2記載の発明であってもよい。
As an invention dependent on claim 1,
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The image search means excludes an image whose shooting date and time has passed a predetermined period from the current date and time,
The invention according to claim 2, which is configured as described above.

請求項1あるいは2に従属する発明として、
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影条件を含み、
前記画像検索手段は、前記撮影位置及び撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、前記撮影条件が所定の条件を満たす撮影画像を検索する、
ようにしたことを特徴とする、請求項3記載の発明であってもよい。
As an invention dependent on claim 1 or 2,
The additional information of each captured image includes shooting conditions in addition to the shooting position and shooting direction,
The image search means searches for a captured image in which the shooting position and the shooting direction are similar to each other with a predetermined similarity or more, and the shooting condition satisfies a predetermined condition.
The invention according to claim 3, which is configured as described above.

請求項1〜3のいずれかに従属する発明として、
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記表示手段は、前記画像検索手段により検索された撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時も併せて表示する、
ようにしたことを特徴とする、請求項4記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 3,
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The display means also displays the photographing date and time included in the additional information of the photographed image when displaying the photographed image retrieved by the image retrieval means.
The invention according to claim 4, which is configured as described above.

請求項1〜4のいずれかに従属する発明として、
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時に応じた順に表示する、
ようにしたことを特徴とする、請求項5記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The display means, when displaying a plurality of photographed images searched by the image search means, displays in order according to the photographing date and time included in the additional information of the photographed image.
The invention according to claim 5, which is configured as described above.

請求項1〜4のいずれかに従属する発明として、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を一覧表示する、
ようにしたことを特徴とする、請求項6記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 4,
The display means displays a list of a plurality of captured images searched by the image search means;
The invention according to claim 6 is characterized in that it is configured as described above.

請求項1〜6のいずれかに従属する発明として、
複数の撮影画像を記憶する記憶手段を更に備え、
前記画像検索手段は、前記記憶手段に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする、請求項7記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 6,
A storage means for storing a plurality of photographed images;
The image search means uses a plurality of captured images stored in the storage means as search targets.
The invention according to claim 7, characterized in that it is configured as described above.

請求項1〜7のいずれかに従属する発明として、
通信手段を更に備え、
前記画像検索手段は、前記通信手段を介して外部の記憶装置に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする、請求項8記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 7,
A communication means,
The image search means searches for a plurality of captured images stored in an external storage device via the communication means.
The invention according to claim 8, which is configured as described above.

請求項1〜8のいずれかに従属する発明として、
前記画像検索手段は、前記特定手段により特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を類似画像として検索するほか、前記特定手段により特定された撮影位置及び撮影方向に所定の類似度以上に類似するが、前記認識手段により認識された被写体には所定の類似度以上に類似しない撮影画像を参考画像として検索する、
ようにしたことを特徴とする、請求項9記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 8,
The image search unit is configured to determine a predetermined position for the shooting position and shooting direction and the subject among the plurality of shot images based on the shooting position and shooting direction specified by the specifying unit and the subject recognized by the recognition unit. In addition to searching for a captured image that is similar to a similarity level or higher as a similar image, the image is similar to a shooting position and a shooting direction specified by the specifying unit and is similar to a predetermined level of similarity, but the subject recognized by the recognizing unit is predetermined. Search for a reference image that is not similar to the similarity of
The invention according to claim 9, characterized in that it is configured as described above.

請求項1〜9のいずれかに従属する発明として、
前記表示手段は、前記検索手段により検索された複数の撮影画像を予め任意にユーザ指定された表示形式に基づいて表示する、
ようにしたことを特徴とする、請求項10記載の発明であってもよい。
As an invention dependent on any one of claims 1 to 9,
The display means displays a plurality of captured images searched by the search means based on a display format arbitrarily arbitrarily designated in advance by the user.
The invention according to claim 10, which is configured as described above.

また、上述した課題を解決するために請求項11記載の発明は、
コンピュータに対して、
撮影位置及び撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び撮影方向を特定する機能と、
前記選択された画像内に写し込まれている被写体を認識する機能と、
前記特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を検索する機能と、
前記検索された撮影画像を表示する機能と、であることを特徴とする。
In order to solve the above-described problem, the invention according to claim 11
Against the computer,
A function of specifying the shooting position and shooting direction with reference to additional information added to the selected image among a plurality of shooting images to which information of the shooting position and shooting direction is added;
A function of recognizing a subject imprinted in the selected image;
Based on the identified shooting position and shooting direction and the subject recognized by the recognition means, a shooting image similar to the shooting position and shooting direction and the subject with a predetermined similarity or higher is selected from the plurality of shooting images. The ability to search,
And a function for displaying the searched photographed image.

本発明によれば、同じ場所で時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現することができ、利便性に富んだものとなる。   According to the present invention, it is possible to realize an image display suitable for comparing each image taken over time at the same place and confirming the state of change without burdening the user. It will be rich.

画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図。The block diagram which showed the basic component of the digital photo frame as a reproduction only machine applied as an image display apparatus. ユーザ操作により任意の選択された選択画像に基づいて画像を検索した場合の検索結果を示した図。The figure which showed the search result at the time of searching an image based on the selection image arbitrarily selected by user operation. 画像検索処理の検索結果に基づいて作成した画像リスト(類似画像リスト及び参考画像リスト)と、その画像リストをどのように表示させるかを示す表示形式を選択するための表示フラグを説明するための図。An image list (similar image list and reference image list) created based on the search result of the image search process and a display flag for selecting a display format indicating how to display the image list Figure. 電源投入に応じて実行開始され、本実施形態の特徴部分におけるデジタルフォトフレームの動作概要を示したフローチャート。6 is a flowchart showing an outline of the operation of the digital photo frame in the characteristic part of the present embodiment, which is started when power is turned on. 図4の動作に続くフローチャート。The flowchart following the operation | movement of FIG. 検索処理(図5のステップA29、A31、A33)を詳述するためのフローチャート。6 is a flowchart for explaining search processing (steps A29, A31, and A33 in FIG. 5) in detail.

以下、図1〜図6を参照して本発明の実施形態を説明する。
この実施形態は、画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図である。
デジタルフォトフレームは、好みの場所に自由に設置可能なスタンドタイプや壁掛けタイプで、複数の画像データを順次読み出して再生するスライドショー機能、複数の画像データをサムネイル一覧表示する一覧機能、画像データを受信取得する通信機能、現在日時を計測する計時機能などを備えたもので、制御部1を中核として動作する構成となっている。制御部1は、電源部(例えば、商用電源又は二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルフォトフレームの全体動作を制御する中央演算処理装置やメモリ(図示省略)などを有している。記憶部3は、例えば、ROM、RAM、ハードディスク、フラッシュメモリなどの2以上を組み合わせた構成で、プログラム記憶部M1、画像データ記憶部M2、一時情報記憶部M3などを有している。
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
This embodiment is a block diagram showing basic components of a digital photo frame as a reproduction-only device applied as an image display device.
The digital photo frame is a stand-type or wall-mounted type that can be freely installed at a desired location. A slide show function that sequentially reads and plays back multiple image data, a list function that displays a list of multiple image data as thumbnails, and image data reception It has a communication function to be acquired, a time measuring function for measuring the current date and time, and the like, and is configured to operate with the control unit 1 as a core. The control unit 1 operates by supplying power from a power source unit (for example, a commercial power source or a secondary battery) 2 and controls the overall operation of this digital photo frame according to various programs in the storage unit 3 A device, a memory (not shown), and the like are included. The storage unit 3 is configured by combining two or more such as a ROM, a RAM, a hard disk, and a flash memory, and includes a program storage unit M1, an image data storage unit M2, a temporary information storage unit M3, and the like.

プログラム記憶部M1は、図4〜図6に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要となる各種の情報が記憶されている。画像データ記憶部M2は、撮像装置(図示省略)で撮影された各撮影画像(静止画データ、動画データ)を再生用として保存記憶する領域であり、各画像データをファイル形式で記憶するようにしている。なお、メモ帳やアドレス帳(図示省略)などに記憶されている画像データも含めて画像データ記憶部M2に記憶するようにしてもよい。この各画像データの付加情報(例えば、ファイルヘッダ情報)には、「撮影位置」、「撮影方向」、「撮影日時」、「撮影条件」の項目を有している。「撮影位置」は、例えば、上述の撮像装置が撮像時に取得した経緯度情報(GPS情報)である。また、「撮影方向」は、撮影位置から被写体への方向である。「撮影日時」は、年月日時分秒情報であり、「撮影条件」は、撮影機材、露出設定などである。一時情報記憶部M3は、フラグ情報、画面情報など、このデジタルフォトフレームが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。   The program storage unit M1 stores programs and various applications for realizing the present embodiment in accordance with the operation procedures shown in FIGS. 4 to 6, and stores various information necessary for the programs. ing. The image data storage unit M2 is an area for storing and storing each captured image (still image data, moving image data) captured by an imaging device (not shown) for reproduction, and stores each image data in a file format. ing. Note that image data stored in a memo pad or address book (not shown) may be stored in the image data storage unit M2. The additional information (for example, file header information) of each image data includes items of “shooting position”, “shooting direction”, “shooting date / time”, and “shooting condition”. “Shooting position” is, for example, longitude and latitude information (GPS information) acquired by the above-described imaging device during imaging. The “shooting direction” is a direction from the shooting position to the subject. “Shooting date / time” is year / month / day / hour / minute / second information, and “Shooting condition” is shooting equipment, exposure setting, and the like. The temporary information storage unit M3 is a work area that temporarily stores various kinds of information necessary for the operation of the digital photo frame, such as flag information and screen information.

表示部4は、例えば、高精細液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイ、電気泳動型ディスプレイ(電子ペーパ)などを使用し、例えば、画像データを高精細に表示するもので、制御部1は、画像データ記憶部M2に記憶されている画像データを読み出して表示部4に表示させる。この表示部4は、その表面に指の接触を検出する接触操作部(透明なタッチパネル)を積層配設されており、例えば、静電容量方式、抵抗膜方式、圧電方式などのタッチスクリーン(タッチ画面)を構成する。このタッチ画面に初期メニュー画面が表示されている状態において、そのメニュー画面の中から所望するメニュー項目の位置がタッチ(選択)されると、制御部1は、タッチ(選択)されたメニュー項目に対応する処理を実行する。操作部5は、図示省略したが、例えば、電源をオン/オフさせるキーなどを備え、制御部1は、この操作部5からの入力操作信号に応じた処理を行う。   The display unit 4 uses, for example, a high-definition liquid crystal display, an organic EL (Electro Luminescence) display, an electrophoretic display (electronic paper), etc., for example, displays image data with high definition. The image data stored in the image data storage unit M2 is read and displayed on the display unit 4. The display unit 4 is provided with a contact operation unit (transparent touch panel) for detecting finger contact on the surface thereof. For example, a capacitive type, a resistive type, a piezoelectric type touch screen (touch type) Screen). When the initial menu screen is displayed on the touch screen and the position of the desired menu item is touched (selected) from the menu screen, the control unit 1 changes the touched (selected) menu item to the selected menu item. Perform the corresponding process. Although not shown, the operation unit 5 includes, for example, a key for turning on / off the power, and the control unit 1 performs processing according to an input operation signal from the operation unit 5.

カードIF(インターフェース)6は、カードスロット(図示省略)に挿入接続されたメモリカード(図示省略)との間で画像データの送受信を行うもので、撮像装置(図示省略)で撮影された各画像データを、メモリカード(例えば、SDカード)を介して取得するが、その際、制御部1は、カードIF6に接続されたメモリカードから画像データを読み出すようにしている。なお、図示しないが、USB(Universal Serial Bus)インタフェースを設け、USBメモリから画像データを読み出してもよい。   The card IF (interface) 6 transmits / receives image data to / from a memory card (not shown) inserted and connected to a card slot (not shown), and each image taken by an imaging device (not shown). Data is acquired via a memory card (for example, an SD card). At this time, the control unit 1 reads image data from the memory card connected to the card IF 6. Although not shown, a USB (Universal Serial Bus) interface may be provided to read image data from the USB memory.

通信部7は、そのアンテナATを介してネットワーク8に接続可能なもので、このネットワーク8は、例えば、無線LAN(構内ネットワーク)又は公衆移動体通信網(公衆無線回線)であり、例えば、自宅側又は通信事業者側などの記憶装置9に接続されている。すなわち、このネットワーク8には、複数台の記憶装置9が接続されており、制御部1は、ネットワーク8を介して外部の記憶装置9に画像データ(撮影画像)をアップロードしたり、外部の記憶装置9から画像データをダウンロードしたりするが、その際、そのいずれかの記憶装置9を任意に指定して、その記憶装置9との間で画像データを送受信するようにしている。また、外部の記憶装置9内の画像データに付加されている付加情報は、「撮影位置」、「撮影方向」、「撮影日時」のほか、撮影機材、露出設定などの「撮影条件」の項目を有している。デジタルフォトフレームは、ネットワーク8を介して外部の記憶装置9に接続されている状態において、この外部の記憶装置9に画像データを格納したり、記憶装置9から画像データを読み出したりするシンクライアント端末として機能するようになる。   The communication unit 7 can be connected to the network 8 via the antenna AT. The network 8 is, for example, a wireless LAN (private network) or a public mobile communication network (public wireless line), for example, at home. Side or the communication carrier side. That is, a plurality of storage devices 9 are connected to the network 8, and the control unit 1 uploads image data (captured images) to the external storage device 9 via the network 8, or external storage. Image data is downloaded from the device 9, and at that time, any one of the storage devices 9 is arbitrarily designated, and the image data is transmitted to and received from the storage device 9. Additional information added to the image data in the external storage device 9 includes “shooting position”, “shooting direction”, “shooting date and time”, “shooting conditions” items such as shooting equipment and exposure settings. have. The digital photo frame is a thin client terminal that stores image data in the external storage device 9 and reads image data from the storage device 9 when connected to the external storage device 9 via the network 8. Will function as.

図2は、ユーザ操作により任意の選択された選択画像に基づいて画像を検索した場合の検索結果を示した図である。
画像データ記憶部M2から読み出した画像データ、カードIF6を介してメモリカードから読み出した画像データ、通信部7からネットワーク8を介して受信取得した画像データの中からユーザ操作により任意の画像が選択されると、制御部1は、その選択画像に付加されている付加情報を参照して、その撮影位置及び撮影方向を特定するほか、この選択画像を解析することにより選択画像内に写し込まれている被写体を認識した後、この撮影位置、撮影方向、認識した被写体に基づいて、画像データ記憶部M2、メモリカード、外部の各記憶装置9の内容をそれぞれ検索するようにしている。この場合、撮影位置及び撮影方向並びに被写体に類似する画像を検索するようにしているが、その際、それらに所定の類似度以上に類似する画像を検索するようにしている。その結果、所定の類似度以上に類似する画像を検索することができた場合には、この検索画像を選択画像に対する“類似画像”として読み出し、また、撮影位置及び撮影方向には類似するが、被写体には類似していない場合には、この検索画像を選択画像に対する“参考画像”として読み出すようにしている。
FIG. 2 is a diagram illustrating a search result when an image is searched based on a selected image selected by a user operation.
An arbitrary image is selected by a user operation from the image data read from the image data storage unit M2, the image data read from the memory card via the card IF 6, and the image data received and acquired from the communication unit 7 via the network 8. Then, the control unit 1 refers to the additional information added to the selected image, specifies the shooting position and shooting direction, and analyzes the selected image to be copied into the selected image. After recognizing the subject, the contents of the image data storage unit M2, the memory card, and the external storage devices 9 are searched based on the shooting position, shooting direction, and recognized subject. In this case, images similar to the shooting position, shooting direction, and subject are searched. At that time, images similar to a predetermined similarity or higher are searched. As a result, when an image similar to a predetermined similarity or higher can be searched, this search image is read as a “similar image” for the selected image, and is similar in shooting position and shooting direction. If the image is not similar to the subject, the search image is read as a “reference image” for the selected image.

図3は、上述した画像検索処理の検索結果に基づいて作成した画像リスト(類似画像リスト及び参考画像リスト)と、その画像リストをどのように表示させるかを示す表示形式を選択するための表示フラグを説明するための図である。
制御部1は、画像検索処理により得られた画像データが“類似画像”であれば、類似画像リストL1に追加登録し、“参考画像”であれば、参考画像リストL2に追加登録することにより画像リスト(類似画像リスト、参考画像リスト)を作成するようにしている。なお、各画像リストL1、L2には、その入手先が画像データ記憶部M2であれば、“内蔵”の情報を付加するようにし、入手先がメモリカードであれば、複数枚のカードのいずれであるかを示すために“カード(1)”又はカード(2)のように情報を付加するようにし、入手先が外部の記憶装置9であれば、複数台の記憶装置9のいずれであるかを示すために“外部(1)又は外部(2)”の情報を付加するようにしている。
FIG. 3 shows an image list (similar image list and reference image list) created based on the search result of the image search process described above and a display for selecting a display format indicating how to display the image list. It is a figure for demonstrating a flag.
If the image data obtained by the image search process is “similar image”, the control unit 1 additionally registers it in the similar image list L1, and if it is “reference image”, additionally registers it in the reference image list L2. An image list (similar image list, reference image list) is created. It should be noted that “internal” information is added to each of the image lists L1 and L2 if the acquisition destination is the image data storage unit M2, and if the acquisition destination is a memory card, any one of a plurality of cards is used. Information is added to indicate whether or not the storage device 9 is an external storage device 9 such as “card (1)” or card (2). In order to indicate this, information of “external (1) or external (2)” is added.

この画像リスト(類似画像リスト、参考画像リスト)L1、L2を表示させる場合に、この実施形態においては、画像リストをどのように表示させるかを示す表示形式を、ユーザ操作により任意に選択可能としている。すなわち、表示フラグFの値が“0”のときには、画像リストの内容を撮影日時が古い順にスライドショー表示させる表示形式を選択し、表示フラグFの値が“1”のときには、画像リストの内容を撮影日時が新しい順にスライドショー表示させる表示形式を選択し、表示フラグFの値が“2”のときには、画像リストの内容をサムネイル一覧表示させる表示形式を選択するようにしている。   When displaying the image lists (similar image list, reference image list) L1 and L2, in this embodiment, a display format indicating how to display the image list can be arbitrarily selected by a user operation. Yes. That is, when the value of the display flag F is “0”, a display format for displaying the contents of the image list as a slide show in order of shooting date and time is selected. When the value of the display flag F is “1”, the contents of the image list are selected. A display format for displaying the slide show in the order of shooting date and time is selected. When the value of the display flag F is “2”, a display format for displaying the contents of the image list as a thumbnail list is selected.

次に、本実施形態におけるデジタルフォトフレームの動作概念を図4〜図6に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。   Next, the operation concept of the digital photo frame in the present embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in this flowchart is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. In other words, in addition to the recording medium, an operation unique to the present embodiment can be executed using a program / data supplied externally via a transmission medium.

図4及び図5は、本実施形態の特徴部分におけるデジタルフォトフレームの動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、各種のメモリをクリアするなどの初期化処理を実行した後(図4のステップA1)、表示部4に初期メニュー画面を表示させる(ステップA2)。このメニュー画面には、“画像一覧表示”、“スライドショー表示”、“類似画像検索”、“その他”の各メニュー項目が表示され、ユーザは、その中から任意の項目位置に対してタッチ操作を行う。
4 and 5 are flowcharts showing an outline of the operation of the digital photo frame in the characteristic part of the present embodiment, and the execution is started in response to power-on.
First, after executing initialization processing such as clearing various memories (step A1 in FIG. 4), an initial menu screen is displayed on the display unit 4 (step A2). This menu screen displays “Image list display”, “Slide show display”, “Similar image search”, and “Others” menu items, and the user can perform touch operations on arbitrary item positions from the menu items. Do.

いま“画像一覧表示”の項目位置をタッチする操作(一覧表示操作)が行われたときには(ステップA3でYES)、記憶部3内の画像データ記憶部M2に記憶されている画像データをアクセスすると共に(ステップA4)、カードIF6を介してメモリーカードをアクセスし(ステップA5)、更に外部の記憶装置9に記憶されている当該ユーザ対応の画像データを通信部7からネットワーク8を介してアクセスする(ステップA6)。そして、画像データ記憶部M2内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置9内の各画像データをそれぞれサムネイル画像に変換して表示部4に一覧表示させる(ステップA7)。なお、表示部4の1画面内に全ての画像データを収めることができなかった場合には、画面切り換え操作やスクロール操作により、この一覧表示の内容を自由に変更することが可能となっている。   When an operation of touching the item position of “image list display” (list display operation) is performed (YES in step A3), the image data stored in the image data storage unit M2 in the storage unit 3 is accessed. At the same time (step A4), the memory card is accessed via the card IF 6 (step A5), and the image data corresponding to the user stored in the external storage device 9 is accessed from the communication unit 7 via the network 8. (Step A6). Then, each image data in the image data storage unit M2, each image data in the memory card, and each image data in the external storage device 9 are converted into thumbnail images and displayed as a list on the display unit 4 (step A7). . If all the image data cannot be stored in one screen of the display unit 4, the contents of the list display can be freely changed by a screen switching operation or a scroll operation. .

この状態において、一覧画面の中からユーザの所望する任意のサムネイル画像を選択するためにその表示位置をタッチする操作(サムネイル選択操作)が行われたかを調べたり(ステップA8)、一覧表示の終了を指示する終了操作が行われたかを調べたりしながら操作待ち状態となる(ステップA9)。いま、サムネイル選択操作が行われたときには(ステップA8でYES)、選択された画像を表示する画面に切り替えた後(ステップA10)、この選択画像を一時情報記憶部M3に一時記憶させる(ステップA11)。そして、選択画像の表示終了を指示する終了操作に応答して(ステップA12でYES)、上述のメニュー表示に戻る(ステップA2)。また、一覧表示終了操作が行われたときにも(ステップA9でYES)、上述のメニュー表示に戻る(ステップA2)。   In this state, it is checked whether an operation of touching the display position (thumbnail selection operation) is performed to select an arbitrary thumbnail image desired by the user from the list screen (step A8), or the end of the list display It is in an operation waiting state while checking whether or not an ending operation for instructing has been performed (step A9). When a thumbnail selection operation is performed (YES in step A8), the screen is switched to a screen for displaying the selected image (step A10), and the selected image is temporarily stored in the temporary information storage unit M3 (step A11). ). Then, in response to the end operation for instructing the end of display of the selected image (YES in step A12), the menu display is returned (step A2). Also, when the list display end operation is performed (YES in step A9), the menu display is returned (step A2).

また、メニュー画面の中から“スライドショー表示”の項目位置をタッチする操作(スライドショー操作)が行われたときには(ステップA13でYES)、画像データ記憶部M2に記憶されている画像データをアクセスすると共に(ステップA14)、カードIF6を介してメモリーカードをアクセスし(ステップA15)、更に外部の記憶装置9に記憶されている各画像データを通信部7からネットワーク8を介してアクセスする(ステップA16)。そして、画像データ記憶部M2内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置9内の各画像データを表示部4に順次表示させるスライドショー表示を開始させる(ステップA17)。そして、スライドショー表示の一時停止操作が行われたかを調べたり(ステップA18)、スライドショー表示の終了を指示する終了操作が行われたかを調べたりしながら操作待ち状態となる(ステップA19)。   When an operation (slide show operation) for touching the item position of “slide show display” is performed from the menu screen (YES in step A13), the image data stored in the image data storage unit M2 is accessed. (Step A14), the memory card is accessed via the card IF 6 (Step A15), and each image data stored in the external storage device 9 is accessed from the communication unit 7 via the network 8 (Step A16). . Then, a slide show display for sequentially displaying each image data in the image data storage unit M2, each image data in the memory card, and each image data in the external storage device 9 on the display unit 4 is started (step A17). Then, it waits for an operation while checking whether or not a slide show display pause operation has been performed (step A18) or checking whether a slide show display end operation has been performed (step A19).

いま、一時停止操作が行われたときには(ステップA18でYES)、一時停止操作時の画像を選択画像としてそのまま停止表示させる(ステップA20)。そして、この停止表示された画像を選択画像として一時情報記憶部M3に一時記憶させた後(ステップA21)、この選択画像の表示終了を指示する終了操作に応答して(ステップA22でYES)、上述のメニュー表示に戻る(ステップA2)。また、スライドショー表示終了操作が行われたときにも(ステップA19でYES)、上述のメニュー表示に戻る(ステップA2)。   If a pause operation is performed (YES in step A18), the image at the time of the pause operation is stopped and displayed as a selected image (step A20). Then, after the temporarily displayed image is temporarily stored in the temporary information storage unit M3 as a selected image (step A21), in response to an end operation for instructing the display end of the selected image (YES in step A22), Return to the menu display (step A2). Also, when the slide show display end operation is performed (YES in step A19), the menu display is returned (step A2).

一方、メニュー画面内の“画像一覧表示”、“スライドショー表示”の項目以外の項目位置がタッチする操作が行われたときには(ステップA13でNO)、“類似画像検索”の項目位置をタッチする操作(類似画像検索操作)が行われたのかを調べたり(図5のステップA23)、“その他”の項目位置をタッチする操作(その他の操作)が行われたのかを調べたりする(ステップA24)。いま、その他の操作が行われたときには(ステップA24でYES)、操作に応じたその他の処理として、例えば、画像データ記憶部M2に画像データを登録したり、画像データ記憶部M2から不要の画像データを削除したりする処理を行った後(ステップA25)、図4のステップA2に戻る。   On the other hand, when an operation of touching an item position other than the “image list display” and “slide show display” items on the menu screen is performed (NO in step A13), an operation of touching the “similar image search” item position. It is checked whether (similar image search operation) has been performed (step A23 in FIG. 5), or whether an operation to touch the item position of “others” (other operations) has been performed (step A24). . When other operations are performed (YES in step A24), as other processing corresponding to the operations, for example, image data is registered in the image data storage unit M2, or unnecessary images are stored in the image data storage unit M2. After processing for deleting data (step A25), the process returns to step A2 in FIG.

類似画像検索操作が行われたときには(ステップA23でYES)、一時情報記憶部M3内の選択画像に付加されている付加情報から「撮影位置」、「撮影方向」、「撮影日時」、「撮影条件」を取得する(ステップA26)。そして、選択画像を解析することにより選択画像内に写し込まれている被写体(例えば、人物、ペットなど)を認識する(ステップA27)。すなわち、選択画像を解析して被写体部分を特定してその特徴を抽出し、予め人物、ペットなどを撮影して登録しておいた登録画像の特徴と比較することにより被写体を認識する処理を行う。その後、画像データ記憶部M2内に記憶されている各画像データをアクセスして(ステップA28)、その画像データを検索する検索処理を行い(ステップA29)、カードIF6を介してメモリーカードにアクセスして(ステップA30)、その画像データを検索する検索処理を行い(ステップA31)、更に外部の記憶装置9に記憶されている各画像データを通信部7からネットワーク8を介してアクセスして(ステップA32)、その画像データを検索する検索処理を行う(ステップA33)。   When a similar image search operation is performed (YES in step A23), “shooting position”, “shooting direction”, “shooting date and time”, “shooting” are selected from the additional information added to the selected image in the temporary information storage unit M3. "Condition" is acquired (step A26). Then, by analyzing the selected image, a subject (for example, a person, a pet, etc.) imprinted in the selected image is recognized (step A27). That is, a process for recognizing the subject is performed by analyzing the selected image, identifying the subject portion, extracting the feature, and comparing it with the feature of the registered image that has been photographed and registered in advance. . Thereafter, each image data stored in the image data storage unit M2 is accessed (step A28), search processing for searching the image data is performed (step A29), and the memory card is accessed via the card IF6. (Step A30), a search process for searching the image data is performed (step A31), and each image data stored in the external storage device 9 is accessed via the network 8 from the communication unit 7 (step A31). A32), search processing for searching the image data is performed (step A33).

図6は、検索処理(図5のステップA29、A31、A33)を詳述するためのフローチャートである。
先ず、制御部1は、画像データ記憶部M2内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置9内の各画像データを検索対象として、その検索対象画像のいずれかを指定し、この指定画像に付加されている付加情報から「撮影日時」を読み出す(ステップB1)。そして、現在日時を取得し(ステップB2)、その「撮影日時」は現在日時から所定期間以上(例えば、10年以上)経過していないか、つまり古過ぎる画像であるかを調べる(ステップB3)。
FIG. 6 is a flowchart for explaining the search process (steps A29, A31, A33 in FIG. 5) in detail.
First, the control unit 1 designates one of the search target images by using each image data in the image data storage unit M2, each image data in the memory card, and each image data in the external storage device 9 as a search target. Then, “shooting date” is read from the additional information added to the designated image (step B1). Then, the current date and time is acquired (step B2), and it is checked whether the “shooting date and time” has not passed a predetermined period (for example, 10 years or more) from the current date and time, that is, whether the image is too old (step B3). .

ここで、撮影から所定期間以上経過した古過ぎる画像であれば(ステップB3でNO)、その指定画像を検索対象外とするためにステップB12に移るが、所定期間内に撮影された画像であれば(ステップB3でYES)、その指定画像の付加情報から「撮影位置」、「撮影方向」を読み出して(ステップB4)、選択画像の「撮影位置」、「撮影方向」と比較し、指定画像の「撮影位置」、「撮影方向」と選択画像の「撮影位置」、「撮影方向」とは所定の類似度以上に類似しているかを判別する(ステップB5)。ここで、所定の類似度以上の類似とは、両方の画像が略同じ場所で撮影されたことを確認できる程度として「撮影位置」及び「撮影方向」が略同様であればよい。   Here, if the image is too old for a predetermined period since shooting (NO in step B3), the process proceeds to step B12 in order to exclude the designated image from the search target. If “YES” in step B3, “shooting position” and “shooting direction” are read from the additional information of the designated image (step B4), and compared with the “shooting position” and “shooting direction” of the selected image. It is determined whether or not the “photographing position” and “photographing direction” of the selected image and the “photographing position” and “photographing direction” of the selected image are more than a predetermined similarity (step B5). Here, “similarity of a predetermined similarity or higher” means that the “photographing position” and the “photographing direction” are substantially the same, as long as it is possible to confirm that both images are photographed at substantially the same place.

いま、指定画像と選択画像との「撮影位置」、「撮影方向」が所定の類似度以上に類似していなければ(ステップB5でNO)、別の場所で撮影された画像であると判断して、その指定画像を検索対象外とするためにステップB12に移る。また、指定画像と選択画像との「撮影位置」及び「撮影方向」が所定の類似度以上に類似していれば(ステップB5でYES)、指定画像の付加情報から「撮影条件」を読み出し(ステップB6)、選択画像の「撮影条件」と比較して、指定画像の「撮影条件」と選択画像の「撮影条件」とは合致するかを判別する(ステップB7)。   If the “photographing position” and “photographing direction” between the designated image and the selected image are not similar to a predetermined similarity or higher (NO in step B5), it is determined that the image is taken at another location. In order to exclude the designated image from the search target, the process proceeds to step B12. Further, if the “photographing position” and “photographing direction” between the designated image and the selected image are more than a predetermined similarity (YES in step B5), “imaging condition” is read from the additional information of the designated image ( Step B6) Compares with the “shooting condition” of the selected image to determine whether the “shooting condition” of the designated image matches the “shooting condition” of the selected image (step B7).

ここで、指定画像と選択画像との「撮影条件」が合致していなければ(ステップB7でNO)、その指定画像を検索対象外とするためにステップB12に移るが、指定画像と選択画像との「撮影条件」が合致していれば(ステップB7でYES)、指定画像内に写し込まれている被写体(例えば、人物、ペットなど)を認識し(ステップB8)、選択画像の被写体と比較して、所定の類似度以上に類似する被写体であるかを判別する(ステップB9)。いま、指定画像と選択画像とは「撮影位置」及び「撮影方向」のほか、被写体同士も所定の類似度以上に類似していれば(ステップB9でYES)、その指定画像をその「撮影日時」と共に類似画像リストL1に追加する(ステップB10)。   If the “shooting conditions” of the designated image and the selected image do not match (NO in step B7), the process proceeds to step B12 to exclude the designated image from the search target. If the “shooting condition” of the image is matched (YES in step B7), the subject (for example, person, pet, etc.) imprinted in the designated image is recognized (step B8) and compared with the subject of the selected image. Then, it is determined whether or not the subject is similar to a predetermined similarity (step B9). Now, if the designated image and the selected image are similar to the “shooting position” and “shooting direction” and the subjects are similar to each other with a predetermined similarity or more (YES in step B9), the designated image is taken as the “shooting date and time”. To the similar image list L1 (step B10).

また、指定画像と選択画像とは「撮影位置」及び「撮影方向」とは類似しているが、被写体同士が所定の類似度以上に類似していなければ(ステップB9でNO)、その指定画像をその「撮影日時」と共に参考画像リストL2に追加する(ステップB11)。そして、ステップB12に移り、画像データ記憶部M2内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置9内の各画像データの中から、次の画像データを指定する(ステップB12)。そして、未指定の画像が残っていないかを調べ(ステップB13)、未指定の画像が残っていれば(ステップB13でNO)、最初のステップB1に移り、以下、全ての画像データを指定し終わるまで上述の動作を繰り返す。   In addition, the designated image and the selected image are similar in “shooting position” and “shooting direction”, but if the subject is not similar to a predetermined similarity or more (NO in step B9), the designated image is displayed. Are added to the reference image list L2 together with the “shooting date and time” (step B11). Then, the process proceeds to step B12, and the next image data is designated from the image data in the image data storage unit M2, the image data in the memory card, and the image data in the external storage device 9 (step B12). ). Then, it is checked whether or not an unspecified image remains (step B13). If an unspecified image remains (NO in step B13), the process proceeds to the first step B1, and all the image data are specified below. The above operation is repeated until the end.

このように検索処理(図5のステップA29、A31、A33)が終わると、類似画像リストL1にデータが存在しているかを調べたり(ステップA34)、参考画像リストL2にデータが存在しているかを調べたりする(ステップA35)。いま、いずれの画像リストL1、L2にもデータが存在していなければ(ステップA35でNO)、メニュー画面を表示する図4のステップA2に戻るが、類似画像リストL1にデータが存在していれば(ステップA34でYES)、表示フラグFを参照し、その値は“1”であるか(ステップA36)、“2”又は“0”であるかを調べる(ステップA37)。ここで、表示フラグFの値が“1”であれば(ステップA36でYES)、類似画像リストL1内の各画像データの「撮影日時」を参照して、撮影の古い順に各画像データをその「撮影日時」と共にスライドショー表示させる動作を開始させる(ステップA38)。   When the search process (steps A29, A31, and A33 in FIG. 5) is completed in this way, it is checked whether data exists in the similar image list L1 (step A34), or whether data exists in the reference image list L2. (Step A35). If there is no data in any of the image lists L1 and L2 (NO in step A35), the process returns to step A2 in FIG. 4 where the menu screen is displayed, but there is data in the similar image list L1. If this is the case (YES in step A34), the display flag F is referred to and it is checked whether the value is "1" (step A36), "2" or "0" (step A37). Here, if the value of the display flag F is “1” (YES in step A36), the “photographing date / time” of each image data in the similar image list L1 is referred to, and the image data is sorted in the oldest shooting order. The operation for displaying the slide show together with the “shooting date” is started (step A38).

また、表示フラグFの値が“2”であれば(ステップA37でYES)、類似画像リストL1内の各画像の「撮影日時」を参照して、撮影の新しい順に各画像データをその「撮影日時」と共にスライドショー表示させる動作を開始させる(ステップA39)。このようにしてスライドショー表示を開始させた後は(ステップA38、A39)、図4のステップA18に戻り、一時停止操作又はスライドショー表示の終了操作の待ち状態となる(図4のステップA18、A19)。   If the value of the display flag F is “2” (YES in step A37), the “shooting date / time” of each image in the similar image list L1 is referred to, and each image data is set to “shooting” in the order of shooting. The operation of displaying the slide show together with the “date and time” is started (step A39). After the slide show display is started in this way (steps A38 and A39), the process returns to step A18 in FIG. 4 to wait for a pause operation or a slide show display end operation (steps A18 and A19 in FIG. 4). .

また、表示フラグFの値が“0”であれば(ステップA37でNO)、類似画像リストL1内の各画像データをその「撮影日時」と共に一覧表示させる(ステップA40)。その後、図4のステップA8に戻り、サムネイル選択操作又は一覧表示終了操作の待ち状態となる(図4のステップA8、A9)。一方、参考画像リストL2にデータが存在している場合には(ステップA35でYES)、参考画像リストL2内の各画像データをその「撮影日時」と共に一覧表示させる(ステップA41)。その後、図4のステップA8に戻り、サムネイル選択操作又は一覧表示終了操作の待ち状態となる(図4のステップA8、A9)。   If the value of the display flag F is “0” (NO in step A37), each image data in the similar image list L1 is displayed in a list together with the “shooting date / time” (step A40). After that, the process returns to step A8 in FIG. 4 to wait for a thumbnail selection operation or a list display end operation (steps A8 and A9 in FIG. 4). On the other hand, if there is data in the reference image list L2 (YES in step A35), each image data in the reference image list L2 is displayed in a list together with its “shooting date” (step A41). After that, the process returns to step A8 in FIG. 4 to wait for a thumbnail selection operation or a list display end operation (steps A8 and A9 in FIG. 4).

以上のように、この実施形態において制御部1は、選択された画像の付加情報を参照して、その撮影位置及び撮影方向を特定するほか、この選択画像内に写し込まれている被写体を認識し、特定した撮影位置及び撮影方向と、認識した被写体に基づいて画像検索を行い、撮影位置及び撮影方向並びに被写体に所定の類似度以上に類似する画像を表示するようにしたので、同じ場所を時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現することができ、利便性に富んだものとなる。例えば、毎年誕生日に同じ場所で撮影された子供の写真を見比べることでその成長具合が一目分かり、また祭りの山車のように定期的に行われるイベントの特定の被写体を見比べることでその変化具合が一目分かるといった効果がある。   As described above, in this embodiment, the control unit 1 refers to the additional information of the selected image, specifies the shooting position and shooting direction, and recognizes the subject imaged in the selected image. Then, the image search is performed based on the identified shooting position and shooting direction and the recognized subject, and an image similar to the shooting position and shooting direction and the subject is displayed at a predetermined similarity or higher. Compared with images taken over time, it is possible to realize an image display suitable for confirming the state of change without burdening the user, which is highly convenient. For example, by comparing children's photos taken at the same place on their birthday every year, you can see their growth at a glance, and by comparing a specific subject of a regular event like a festival float, There is an effect that can be seen at a glance.

撮影日時が現在日時から所定期間以上経過した画像を検索対象外とするようにしたので、古過ぎて比較の対象とならないような画像を検索対象から排除することができ、それだけ検索効率を良くすることができるほか、被写体の認識率も高めることも可能となる。   Since images whose shooting date and time have passed for a predetermined period or more from the current date and time are excluded from the search target, images that are too old to be compared can be excluded from the search target, and the search efficiency is improved accordingly. In addition, the recognition rate of the subject can be increased.

撮影位置及び撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、撮影条件が所定の条件を満たす画像を検索するようにしたので、同じ撮影機材や露出設定などで撮影した画像だけを検索対象として限定することができ、それだけ検索効率を良くすることができるほか、被写体の認識率も高めることも可能となる。   Searching for images that have a shooting position and shooting direction that are similar to or higher than the predetermined similarity and that have the shooting conditions that satisfy the predetermined conditions, so only images that were shot with the same shooting equipment, exposure settings, etc. Can be limited as a search target, so that the search efficiency can be improved and the recognition rate of the subject can be increased.

検索画像と共にその撮影日時も併せて表示するようにしたので、ユーザにあっては何時撮影した画像であるかを一目で分かるようになる。   Since the shooting date and time are displayed together with the search image, the user can know at a glance when the image was taken.

複数の画像をその撮影日時に応じた順に表示するようにしたので、日時の新しい順や古い順に連続して表示することができ、時の経過に応じた移り変わり具合(成長具合や発展具合など)を順次確認することが可能となる。   Since multiple images are displayed in the order according to the shooting date and time, they can be displayed in order from the newest date and the oldest time, and the state of change according to the passage of time (growth and development, etc.) Can be confirmed sequentially.

検索した複数の画像を一覧表示するようにしたので、移り変わり具合を同一画面上で見比べることができる。   Since a plurality of searched images are displayed in a list, the state of transition can be compared on the same screen.

記憶部3に記憶されている複数の画像、カードIF6を介してメモリカードに記憶されている複数の画像を検索対象とするようにしたので、デジタルフォトフレームに内蔵されている全ての画像を検索対象とすることができる。   Search multiple images stored in the storage unit 3 and multiple images stored in the memory card via the card IF 6 so that all images stored in the digital photo frame are searched. Can be targeted.

通信部7からネットワーク8を介して接続した外部の記憶装置9内の画像を検索対象とするようにしたので、デジタルフォトフレーム本体のメモリ容量を超えた膨大な数の画像も含めて検索対象とすることができる。   Since the image in the external storage device 9 connected from the communication unit 7 via the network 8 is set as the search target, the search target including the enormous number of images exceeding the memory capacity of the digital photo frame main body is included. can do.

撮影位置及び撮影方向並びに被写体に類似する画像を類似画像として検索するほか、撮影位置及び撮影方向には類似するが、被写体には類似しない画像を参考画像として検索するようにしたので、参考画像の検索によりユーザにあっては予期していなかった画像を見つけることができる可能性もあり、楽しみを広げることができる。   In addition to searching for an image similar to the shooting position and shooting direction and the subject as a similar image, an image similar to the shooting position and shooting direction but not similar to the subject is searched as a reference image. There is a possibility that an image unexpected by the user can be found by the search, and the enjoyment can be expanded.

検索した各画像を予め任意にユーザ指定された表示形式に基づいて表示するようにしたので、時間をかけて各画像を見比べるか、短時間に変化具合を確認するかなどに応じた表示を選択することができ、柔軟性に富んだものとなる。   Each searched image is displayed based on the display format specified by the user in advance. Select the display according to whether you want to compare the images over time or check the changes in a short time. Can be flexible.

なお、上述した実施形態においては、無秩序に撮影された画像を表示する場合を例示したが、所定の場所を定期的に撮影された画像を表示して観測する定点観測にも同様に適用することもできる。   In the above-described embodiment, the case where an image captured randomly is displayed as an example. However, the present invention is similarly applied to fixed-point observation in which an image captured periodically is displayed and observed. You can also.

上述した実施形態においては、画像表示装置としてデジタルフォトフレームに適用した場合を示したがパーソナルコンピュータ(PC)、携帯電話機、卓上電子計算機、ハンディターミナル、腕時計、PDA、デジタルカメラ、音楽プレイヤーなどに適用するようにしてもよい。   In the above-described embodiments, the case where the present invention is applied to a digital photo frame as an image display device has been shown, but the present invention is applied to a personal computer (PC), a mobile phone, a desktop electronic calculator, a handy terminal, a wristwatch, a PDA, a digital camera, a music player, and the like. You may make it do.

その他、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。   In addition, the “apparatus” and “machine” shown in the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.

1 制御部
3 記憶部
4 表示部
5 操作部
6 カードIF
7 通信部
8 ネットワーク
9 外部の記憶装置
M1 プログラム記憶部
M2 画像データ記憶部
DESCRIPTION OF SYMBOLS 1 Control part 3 Memory | storage part 4 Display part 5 Operation part 6 Card IF
7 Communication unit 8 Network 9 External storage device M1 Program storage unit M2 Image data storage unit

Claims (11)

撮影画像を表示する画像表示装置であって、
撮影位置及び撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び撮影方向を特定する特定手段と、
前記選択された画像内に写し込まれている被写体を認識する認識手段と、
前記特定手段により特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を検索する画像検索手段と、
前記画像検索手段により検索された撮影画像を表示する表示手段と、
を具備したことを特徴とする画像表示装置。
An image display device that displays a captured image,
A specifying unit for specifying the shooting position and the shooting direction with reference to additional information added to the selected image among the plurality of shooting images to which the information of the shooting position and the shooting direction is added;
Recognizing means for recognizing a subject imprinted in the selected image;
Based on the shooting position and shooting direction specified by the specifying means and the subject recognized by the recognition means, the shooting position and shooting direction and the subject are similar to a predetermined similarity or higher than the shooting position. Image search means for searching for captured images;
Display means for displaying a photographed image retrieved by the image retrieval means;
An image display device comprising:
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記画像検索手段は、前記撮影日時が現在日時から所定期間以上経過した画像を検索対象外とする、
ようにしたことを特徴とする請求項1記載の画像表示装置。
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The image search means excludes an image whose shooting date and time has passed a predetermined period from the current date and time,
The image display device according to claim 1, which is configured as described above.
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影条件を含み、
前記画像検索手段は、前記撮影位置及び撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、前記撮影条件が所定の条件を満たす撮影画像を検索する、
ようにしたことを特徴とする請求項1あるいは請求項2に記載の画像表示装置。
The additional information of each captured image includes shooting conditions in addition to the shooting position and shooting direction,
The image search means searches for a captured image in which the shooting position and the shooting direction are similar to each other with a predetermined similarity or more, and the shooting condition satisfies a predetermined condition.
The image display device according to claim 1, wherein the image display device is configured as described above.
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記表示手段は、前記画像検索手段により検索された撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時も併せて表示する、
ようにしたことを特徴とする請求項1〜3のいずれかに記載の画像表示装置。
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The display means also displays the photographing date and time included in the additional information of the photographed image when displaying the photographed image retrieved by the image retrieval means.
The image display device according to claim 1, wherein the image display device is configured as described above.
前記各撮影画像の付加情報には、撮影位置及び撮影方向のほかに撮影日時を含み、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時に応じた順に表示する、
ようにしたことを特徴とする請求項1〜4のいずれかに記載の画像表示装置。
The additional information of each captured image includes the shooting date and time in addition to the shooting position and shooting direction,
The display means, when displaying a plurality of photographed images searched by the image search means, displays in order according to the photographing date and time included in the additional information of the photographed image.
The image display device according to claim 1, wherein the image display device is configured as described above.
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を一覧表示する、
ようにしたことを特徴とする請求項1〜4のいずれかに記載の画像表示装置。
The display means displays a list of a plurality of captured images searched by the image search means;
The image display device according to claim 1, wherein the image display device is configured as described above.
複数の撮影画像を記憶する記憶手段を更に備え、
前記画像検索手段は、前記記憶手段に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする請求項1〜6のいずれかに記載の画像表示装置。
A storage means for storing a plurality of photographed images;
The image search means uses a plurality of captured images stored in the storage means as search targets.
The image display device according to claim 1, wherein the image display device is configured as described above.
通信手段を更に備え、
前記画像検索手段は、前記通信手段を介して外部の記憶装置に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする請求項1〜7のいずれかに記載の画像表示装置。
A communication means,
The image search means searches for a plurality of captured images stored in an external storage device via the communication means.
The image display device according to claim 1, wherein the image display device is configured as described above.
前記画像検索手段は、前記特定手段により特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を類似画像として検索するほか、前記特定手段により特定された撮影位置及び撮影方向に所定の類似度以上に類似するが、前記認識手段により認識された被写体には所定の類似度以上に類似しない撮影画像を参考画像として検索する、
ようにしたことを特徴とする請求項1〜8のいずれかに記載の画像表示装置。
The image search unit is configured to determine a predetermined position for the shooting position and shooting direction and the subject among the plurality of shot images based on the shooting position and shooting direction specified by the specifying unit and the subject recognized by the recognition unit. In addition to searching for a captured image that is similar to a similarity level or higher as a similar image, the image is similar to a shooting position and a shooting direction specified by the specifying unit and is similar to a predetermined level of similarity, but the subject recognized by the recognizing unit is predetermined. Search for a reference image that is not similar to the similarity of
The image display device according to claim 1, wherein the image display device is configured as described above.
前記表示手段は、前記検索手段により検索された複数の撮影画像を予め任意にユーザ指定された表示形式に基づいて表示する、
ようにしたことを特徴とする請求項1〜9のいずれかに記載の画像表示装置。
The display means displays a plurality of captured images searched by the search means based on a display format arbitrarily arbitrarily designated in advance by the user.
The image display apparatus according to claim 1, wherein the image display apparatus is configured as described above.
コンピュータに対して、
撮影位置及び撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び撮影方向を特定する機能と、
前記選択された画像内に写し込まれている被写体を認識する機能と、
前記特定された撮影位置及び撮影方向と前記認識手段により認識された被写体に基づいて前記複数の撮影画像のうち、該撮影位置及び撮影方向並びに該被写体に所定の類似度以上に類似する撮影画像を検索する機能と、
前記検索された撮影画像を表示する機能と、
を実現させるためのプログラム。
Against the computer,
A function of specifying the shooting position and shooting direction with reference to additional information added to the selected image among a plurality of shooting images to which information of the shooting position and shooting direction is added;
A function of recognizing a subject imprinted in the selected image;
Based on the identified shooting position and shooting direction and the subject recognized by the recognition means, a shooting image similar to the shooting position and shooting direction and the subject with a predetermined similarity or higher is selected from the plurality of shooting images. The ability to search,
A function of displaying the searched photographed image;
A program to realize
JP2010180941A 2010-08-12 2010-08-12 Image display apparatus and program Expired - Fee Related JP5601513B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010180941A JP5601513B2 (en) 2010-08-12 2010-08-12 Image display apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010180941A JP5601513B2 (en) 2010-08-12 2010-08-12 Image display apparatus and program

Publications (3)

Publication Number Publication Date
JP2012044251A true JP2012044251A (en) 2012-03-01
JP2012044251A5 JP2012044251A5 (en) 2013-08-22
JP5601513B2 JP5601513B2 (en) 2014-10-08

Family

ID=45900109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010180941A Expired - Fee Related JP5601513B2 (en) 2010-08-12 2010-08-12 Image display apparatus and program

Country Status (1)

Country Link
JP (1) JP5601513B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014099414A1 (en) * 2012-12-19 2014-06-26 Intel Corporation Time-shifting image service
KR20150106621A (en) * 2014-03-12 2015-09-22 에스케이플래닛 주식회사 Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system
JP2016118400A (en) * 2014-12-18 2016-06-30 京セラ株式会社 Stereo camera device, moving body, control method, and calibration device
JPWO2014103312A1 (en) * 2012-12-27 2017-01-12 パナソニックIpマネジメント株式会社 Electronics
WO2017146162A1 (en) * 2016-02-26 2017-08-31 日本電気株式会社 Image display system, terminal, method, and program
WO2021029648A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Image capturing apparatus and auxiliary photographing method therefor
KR20210092707A (en) * 2014-05-07 2021-07-26 에스케이플래닛 주식회사 Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096791A (en) * 1995-06-23 1997-01-10 Canon Inc Method and device for retrieving data
JP2006164008A (en) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd Image retrieval device and image retrieval method
JP2006260338A (en) * 2005-03-18 2006-09-28 Sony Corp Time shift image distribution system, time shirt image distribution method, time shift image requesting device, and image server
JP2006277196A (en) * 2005-03-29 2006-10-12 Seiko Epson Corp Technique for providing information related to image data
JP2006279764A (en) * 2005-03-30 2006-10-12 Casio Comput Co Ltd Image reproducing apparatus
JP2007226536A (en) * 2006-02-23 2007-09-06 Seiko Epson Corp Image search device, image search method, and program for searching image
JP2008182662A (en) * 2006-09-14 2008-08-07 Olympus Imaging Corp Camera
JP2009123196A (en) * 2007-10-22 2009-06-04 Hitachi Kokusai Electric Inc Image retrieval device
JP2009301502A (en) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc Image search system
JP2010072749A (en) * 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010128845A (en) * 2008-11-28 2010-06-10 Sony Corp Image processing apparatus, image displaying method, and image displaying program
JP2010176346A (en) * 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096791A (en) * 1995-06-23 1997-01-10 Canon Inc Method and device for retrieving data
JP2006164008A (en) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd Image retrieval device and image retrieval method
JP2006260338A (en) * 2005-03-18 2006-09-28 Sony Corp Time shift image distribution system, time shirt image distribution method, time shift image requesting device, and image server
JP2006277196A (en) * 2005-03-29 2006-10-12 Seiko Epson Corp Technique for providing information related to image data
JP2006279764A (en) * 2005-03-30 2006-10-12 Casio Comput Co Ltd Image reproducing apparatus
JP2007226536A (en) * 2006-02-23 2007-09-06 Seiko Epson Corp Image search device, image search method, and program for searching image
JP2008182662A (en) * 2006-09-14 2008-08-07 Olympus Imaging Corp Camera
JP2009123196A (en) * 2007-10-22 2009-06-04 Hitachi Kokusai Electric Inc Image retrieval device
JP2009301502A (en) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc Image search system
JP2010072749A (en) * 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010128845A (en) * 2008-11-28 2010-06-10 Sony Corp Image processing apparatus, image displaying method, and image displaying program
JP2010176346A (en) * 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813651A (en) * 2012-12-19 2015-07-29 英特尔公司 Time-shifting image service
WO2014099414A1 (en) * 2012-12-19 2014-06-26 Intel Corporation Time-shifting image service
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
CN104813651B (en) * 2012-12-19 2019-01-08 英特尔公司 Time-shift image service
JPWO2014103312A1 (en) * 2012-12-27 2017-01-12 パナソニックIpマネジメント株式会社 Electronics
US10158795B2 (en) 2012-12-27 2018-12-18 Panasonic Intellectual Property Management Co., Ltd. Electronic apparatus for communicating with another apparatus
KR20150106621A (en) * 2014-03-12 2015-09-22 에스케이플래닛 주식회사 Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system
KR102178172B1 (en) * 2014-03-12 2020-11-12 에스케이플래닛 주식회사 Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system
KR20210092707A (en) * 2014-05-07 2021-07-26 에스케이플래닛 주식회사 Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor
KR102388230B1 (en) 2014-05-07 2022-04-19 에스케이플래닛 주식회사 Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor
JP2016118400A (en) * 2014-12-18 2016-06-30 京セラ株式会社 Stereo camera device, moving body, control method, and calibration device
US10922838B2 (en) 2016-02-26 2021-02-16 Nec Corporation Image display system, terminal, method, and program for displaying image associated with position and orientation
WO2017146162A1 (en) * 2016-02-26 2017-08-31 日本電気株式会社 Image display system, terminal, method, and program
WO2021029648A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Image capturing apparatus and auxiliary photographing method therefor

Also Published As

Publication number Publication date
JP5601513B2 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
CN108235765B (en) Method and device for displaying story photo album
JP5601513B2 (en) Image display apparatus and program
US11227006B2 (en) Content-aware filter options for media object collections
JP4360381B2 (en) Information processing apparatus, information processing method, and computer program
US10282061B2 (en) Electronic device for playing-playing contents and method thereof
US20140071160A1 (en) Electronic apparatus and display control method
JP2005033712A (en) Information processing apparatus and method thereof, and program
US9773171B2 (en) Event taken-picture arrangement device, control method thereof and control program thereof
JP2007322847A (en) Image display method and device, and program
WO2020057631A1 (en) Method and device for starting application
CN106570078A (en) Picture classification display method and apparatus, and mobile terminal
US20140071039A1 (en) Electronic Apparatus and Display Control Method
US10223373B2 (en) Communication terminal, communication system, control terminal, non-transitory computer readable medium, and communication method
WO2014038229A1 (en) Electronic apparatus and display control method
KR20120026836A (en) Method and apparatus for displaying data object, and computer readable storage medium
JP2014146248A (en) Display control apparatus, display control method, and program
US10497079B2 (en) Electronic device and method for managing image
JP2005033711A (en) Information processing apparatus and method therefor, and program
JP2007274030A (en) Image output device and method therefor
JP2013149159A (en) Information processing unit, control method thereof, and program
JP5813703B2 (en) Image display method and system
JP2008033405A (en) Image management program and method
JP2007280406A (en) Information processor, display control method and program
JP2016021156A (en) Image display device
KR101400619B1 (en) Photo management method and apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140806

R150 Certificate of patent or registration of utility model

Ref document number: 5601513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees