JP2002169810A - Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval - Google Patents

Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval

Info

Publication number
JP2002169810A
JP2002169810A JP2000368547A JP2000368547A JP2002169810A JP 2002169810 A JP2002169810 A JP 2002169810A JP 2000368547 A JP2000368547 A JP 2000368547A JP 2000368547 A JP2000368547 A JP 2000368547A JP 2002169810 A JP2002169810 A JP 2002169810A
Authority
JP
Japan
Prior art keywords
search
image
key image
period
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000368547A
Other languages
Japanese (ja)
Inventor
Shino Kojima
誌乃 小島
Takashi Kondo
尊司 近藤
Kyoko Nakamura
恭子 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000368547A priority Critical patent/JP2002169810A/en
Publication of JP2002169810A publication Critical patent/JP2002169810A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To retrieve a desired image without any omission while a user is not forced to perform complicated operation. SOLUTION: When the user specifies a retrieval object period and a retrieval key image (S601, S603), images in the past before time information added to the retrieval key image are repeatedly retrieved (S607 to S613) while traced back at intervals of a specific period T1. Each time the retrieval period shifts, the retrieval key image is also updated to the oldest image among last retrieval results. When the retrieval period exceeds the lower limit Tmin of the retrieval object period, images in the future after the time information of the retrieval key image are repeatedly retrieved (S617 to S623) while advanced at intervals of the specific period Td. Here, each time the retrieval period shifts, the retrieval key image is updated to the newest image among last retrieval results. When the retrieval period exceeds the upper limit Tmax of the retrieval object period, the retrieval is completed and the retrieval results in the retrieval object period are outputted (S625).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像検索プログラ
ムを記録したコンピュータ読取可能な記録媒体、画像検
索方法、および、画像検索装置に関し、特に、ユーザが
指定した検索キー画像による検索結果から新たな検索キ
ー画像が自動的に設定され、その新たな検索キー画像に
よる再検索を行なうことができる画像検索プログラムを
記録したコンピュータ読取可能な記録媒体、画像検索方
法、および、画像検索装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a computer-readable recording medium storing an image search program, an image search method, and an image search apparatus. The present invention relates to a computer-readable recording medium storing an image search program capable of automatically setting a search key image and performing a search again with the new search key image, an image search method, and an image search device.

【0002】[0002]

【従来の技術】デジタルカメラにより撮影された画像や
スキャナにより読み込まれた画像は、出力や編集等のた
めにコンピュータに取り込まれる。そして、取り込まれ
た画像は、撮影日時等の必要な情報が付与されてデータ
ベース化される場合がある。データベース化された画像
の中から必要な画像を検索する方法としては、以下に示
すような方法が知られている。
2. Description of the Related Art An image photographed by a digital camera or an image read by a scanner is taken into a computer for output and editing. Then, the captured image may be provided with necessary information such as a shooting date and time and may be stored in a database. The following method is known as a method for searching for a necessary image from images in a database.

【0003】まずユーザにより、検索のキーとなる画像
(以下「検索キー画像」という)の指定が行なわれる。
検索キー画像が指定されると、その検索キー画像とデー
タベースに格納されている画像との差分がとられるなど
して、データベースに格納されている画像の中から検索
キー画像に類似する画像が抽出される。そして、抽出さ
れた画像が検索結果としてユーザに返される。
First, a user designates an image serving as a search key (hereinafter referred to as a "search key image").
When a search key image is specified, an image similar to the search key image is extracted from the images stored in the database by taking a difference between the search key image and the image stored in the database. Is done. Then, the extracted image is returned to the user as a search result.

【0004】このような画像検索方法を用いることで、
膨大な数の画像が格納されているデータベースの中から
所望の画像を容易に選択することができる。たとえば、
自分が映っている画像を検索したい場合は、自分の顔画
像を検索キー画像として指定する。すると、その検索キ
ー画像に類似する画像がデータベースの中からすべて抽
出されることになる。
[0004] By using such an image search method,
A desired image can be easily selected from a database in which a huge number of images are stored. For example,
When the user wants to search for an image in which he or she is reflected, the user specifies his / her own face image as a search key image. Then, all images similar to the search key image are extracted from the database.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上述し
た画像検索方法によると、ユーザが指定した検索キー画
像のみによって画像の検索が行なわれるため、所望の画
像を漏れなく抽出することが困難であるという問題があ
った。
However, according to the above-described image search method, since an image is searched only by a search key image specified by a user, it is difficult to extract a desired image without omission. There was a problem.

【0006】すなわち、たとえば人物であると、時間の
経過とともに、年齢、体形、髪型等の変化が生じる。し
たがって、ある時期に撮影された画像が検索キー画像と
して指定された場合、その画像と撮影時期が近い画像の
中からは、同一人物が正確に抽出される可能性が高い
が、撮影時期が異なる場合は、年齢、体形、髪型等の変
化により同一人物でありながら他人と判断される場合が
あった。
That is, for example, in the case of a person, changes in age, body shape, hairstyle, and the like occur over time. Therefore, when an image taken at a certain time is designated as a search key image, the same person is likely to be accurately extracted from images whose shooting time is close to that image, but the shooting time is different In some cases, the same person may be determined to be another person due to changes in age, body shape, hairstyle, and the like.

【0007】このためユーザは、このような検索結果を
予想して、予め代表的な複数枚の検索キー画像を指定す
るか、あるいは、最初指定した検索キー画像により抽出
された画像の傾向を考慮して、新たな検索キー画像を指
定し、再び検索を行なうかする必要があった。つまり、
データベースの中から所望の画像を漏れなく抽出するた
めには、ユーザは何らかの煩雑な操作を行なう必要があ
った。
[0007] For this reason, the user, in anticipation of such a search result, specifies a plurality of representative search key images in advance, or considers the tendency of the image extracted by the search key image specified first. Then, it is necessary to specify a new search key image and perform the search again. That is,
To extract a desired image from the database without omission, the user had to perform some complicated operation.

【0008】本発明は、かかる実情に鑑み考え出された
ものであり、その目的は、ユーザに煩雑な操作をさせる
ことなく、所望の画像を漏れなく抽出することを可能と
する画像検索プログラムを記録したコンピュータ読取可
能な記録媒体、画像検索方法、および、画像検索装置を
提供することである。
The present invention has been conceived in view of the above circumstances, and has as its object to provide an image retrieval program that enables a user to extract a desired image without omission without complicated operations. It is an object of the present invention to provide a computer-readable recording medium, an image search method, and an image search device.

【0009】[0009]

【課題を解決するための手段】上記目的を達成するため
に本発明のある局面に従うと、コンピュータ読み取り可
能な記録媒体は、ユーザにより指定された検索キー画像
を取得する検索キー画像取得ステップと、取得された検
索キー画像に基づいて、データベースの中から該当する
画像を検索する検索ステップと、検索ステップによる検
索結果を利用して、新たな検索キー画像を設定する設定
ステップと、設定された新たな検索キー画像に基づい
て、データベースの中から該当する画像を再検索する再
検索ステップと、をコンピュータに実行させるための画
像検索プログラムを記録する。
According to an aspect of the present invention, there is provided a computer-readable recording medium comprising: a retrieval key image acquiring step for acquiring a retrieval key image designated by a user; A search step of searching for a corresponding image from a database based on the obtained search key image, a setting step of setting a new search key image using a search result of the search step, An image search program for causing a computer to execute a re-search step of re-searching the corresponding image from the database based on the search key image.

【0010】この発明によると、ユーザが検索キー画像
を指定すると、その検索キー画像に基づいて、データベ
ースの中から該当する画像が検索される。そして、検索
された結果を利用して新たな検索キー画像が自動的に設
定され、その新たな検索キー画像に基づいて、さらに該
当する画像の再検索が行なわれる。
According to the present invention, when the user specifies a search key image, the corresponding image is searched from the database based on the search key image. Then, a new search key image is automatically set using the searched result, and the corresponding image is searched again based on the new search key image.

【0011】このため、検索を希望するユーザは、最初
に一度、検索のための検索キー画像を指定するだけで済
み、その後、検索キー画像を再設定するなどの手間が不
要となる。また、最初に指定された検索キー画像に基づ
く結果を用いて新たな検索キー画像が設定されるため、
時間の経過等に伴い検索対象となる画像に変化が生じて
いる場合であっても、その変化を考慮した所望の画像が
適切に抽出される。
For this reason, the user who desires the search only has to specify the search key image once for the search at first, and then does not need to reset the search key image. Also, since a new search key image is set using the result based on the search key image specified first,
Even when an image to be searched for changes with the passage of time or the like, a desired image considering the change is appropriately extracted.

【0012】したがって、ユーザに煩雑な操作をさせる
ことなく、所望の画像を漏れなく抽出することのできる
画像検索プログラムを記録したコンピュータ読取可能な
記録媒体を提供することが可能となる。
Therefore, it is possible to provide a computer-readable recording medium on which an image search program capable of extracting a desired image without any omission without a user's complicated operation is recorded.

【0013】好ましくは、検索ステップは、データベー
スの中の第1のグループに対して検索を行ない、再検索
ステップは、データベースの中の前記第1のグループと
は異なる第2のグループに対して検索を行なう。
[0013] Preferably, the search step performs a search on a first group in the database, and the re-search step includes a search on a second group different from the first group in the database. Perform

【0014】この発明によると、まず、ユーザにより指
定された検索キー画像に基づき第1のグループに対して
検索が行なわれ、その後、新たな検索キー画像に基づき
第1のグループとは異なる第2のグループに対して検索
が行なわれる。検索キー画像に応じた適切なグループに
対して検索が行なわれるため、ユーザの所望する画像が
漏れなく抽出されることになる。
According to the present invention, first, the first group is searched based on the search key image specified by the user, and then the second group different from the first group is searched based on the new search key image. The search is performed for the group of. Since an appropriate group is searched according to the search key image, images desired by the user are extracted without omission.

【0015】好ましくは、データベースに格納されてい
る画像には、それぞれ時間情報が付与されており、第1
のグループは、第1の期間内の時間情報を持つ画像につ
いてのグループであり、第2のグループは、第2の期間
内の時間情報を持つ画像についてのグループである。
Preferably, each of the images stored in the database is provided with time information.
Is a group for images having time information in the first period, and the second group is a group for images having time information in the second period.

【0016】この発明によると、データベースに格納さ
れている画像には、その画像の撮影日や登録日などの時
間情報が付与されている。そして、ユーザにより指定さ
れた検索キー画像に基づき第1の期間内の時間情報を持
つ画像について検索が行なわれ、新たな検索キー画像に
基づき第2の期間内の時間情報を持つ画像について検索
が行なわれる。撮影日などの期間の異なる画像につい
て、それぞれの検索キー画像に基づき検索が行なわれる
ため、時間の変化による検索対象の変化を考慮した適切
な検索を行なうことが可能となる。
According to the present invention, an image stored in the database is provided with time information such as a photographing date and a registration date of the image. Then, a search is performed for an image having time information within the first period based on a search key image specified by the user, and a search is performed for an image having time information within the second period based on a new search key image. Done. Since images having different periods such as shooting dates are searched based on the respective search key images, it is possible to perform an appropriate search in consideration of a change in a search target due to a change in time.

【0017】好ましくは、設定ステップは、検索ステッ
プにより検索された画像の中から第2の期間に近い時間
情報を持つ画像を新たな検索キー画像として設定する。
Preferably, in the setting step, an image having time information close to the second period is set as a new search key image from the images searched in the search step.

【0018】この発明によると、ユーザにより指定され
た検索キー画像を用いて検索された画像の中から、第2
の期間に近い時間情報を持つ画像が新たな検索キー画像
として設定される。撮影日などが第2の期間に近い画像
が新たな検索キー画像として設定されるため、第2の期
間内に撮影等された画像に対して、より適切な検索を行
なうことが可能となる。
According to the present invention, the second image is selected from among the images searched using the search key image specified by the user.
An image having time information close to the period is set as a new search key image. Since an image whose shooting date is close to the second period is set as a new search key image, it is possible to perform a more appropriate search for an image shot or the like during the second period.

【0019】好ましくは、コンピュータ読み取り可能な
記録媒体は、さらに、ユーザにより指定された検索対象
期間を取得する検索対象期間取得ステップと、検索ステ
ップおよび再検索ステップにより検索された画像のう
ち、取得された検索対象期間内の時間情報を持つ画像を
検索結果として決定する決定ステップとをコンピュータ
に実行させるための画像検索プログラムを記録する。
Preferably, the computer-readable recording medium further includes a search target period obtaining step of obtaining a search target period specified by a user, and an image obtained by the search step and the re-search step. And a determining step of determining an image having time information within the search target period as a search result.

【0020】この発明によると、ユーザにより検索対象
期間が指定される。そして、検索ステップおよび再検索
ステップにより検索された画像の中から、検索対象期間
内の時間情報を持つ画像が検索結果として決定される。
検索対象期間が明確に指定されるため、ユーザが所望す
る画像がより適切に検索されることになる。
According to the present invention, the search target period is designated by the user. Then, an image having time information within the search target period is determined as a search result from the images searched by the search step and the re-search step.
Since the search target period is clearly specified, the image desired by the user is more appropriately searched.

【0021】好ましくは、コンピュータ読み取り可能な
記録媒体は、さらに、再検索ステップによる検索結果を
利用して新たな検索キー画像を設定する再設定ステップ
をコンピュータに実行させるための画像検索プログラム
を記録し、再設定ステップおよび再検索ステップは、所
定回数繰り返されることを特徴とする。
Preferably, the computer-readable recording medium further records an image search program for causing a computer to execute a reset step of setting a new search key image using a search result obtained by the search step. , The resetting step and the re-searching step are repeated a predetermined number of times.

【0022】この発明によると、新たな検索キー画像に
基づき再検索された結果を用いて新たな検索キー画像が
再設定される。そして、再設定された新たな検索キー画
像を用いて再検索が行なわれる。このような新たな検索
キー画像の再設定および設定された検索キー画像を用い
た画像の再検索が所定回数繰り返される。したがって、
たとえば、検索範囲が広い場合や、ユーザが最初に指定
した検索キー画像と、検索を希望する対象の画像とが時
間の経過等により変化している場合であっても、ユーザ
が所望する画像を漏れなく抽出することが可能となる。
According to the present invention, a new search key image is reset using the result of the re-search based on the new search key image. Then, a re-search is performed using the reset new search key image. Such resetting of a new search key image and re-searching for an image using the set search key image are repeated a predetermined number of times. Therefore,
For example, even when the search range is wide, or when the search key image specified first by the user and the image to be searched for change over time or the like, the user can select the desired image. Extraction can be performed without omission.

【0023】本発明の別の局面に従うと、画像検索方法
は、ユーザにより指定された検索キー画像を取得する検
索キー画像取得ステップと、取得された検索キー画像に
基づいて、データベースの中から該当する画像を検索す
る検索ステップと、検索ステップによる検索結果を利用
して、新たな検索キー画像を設定する設定ステップと、
設定された新たな検索キー画像に基づいて、データベー
スの中から該当する画像を再検索する再検索ステップと
を含む。
According to another aspect of the present invention, an image search method includes: a search key image obtaining step of obtaining a search key image specified by a user; A search step of searching for an image to be searched; a setting step of setting a new search key image using a search result of the search step;
A re-search step of re-searching the database for a corresponding image based on the set new search key image.

【0024】この発明によると、ユーザが検索キー画像
を指定すると、その検索キー画像に基づいて、データベ
ースの中から該当する画像が検索される。そして、検索
された結果を利用して新たな検索キー画像が自動的に設
定され、その新たな検索キー画像に基づいて、さらに該
当する画像の再検索が行なわれる。
According to the present invention, when a user designates a search key image, a corresponding image is searched from a database based on the search key image. Then, a new search key image is automatically set using the searched result, and the corresponding image is searched again based on the new search key image.

【0025】このため、検索を希望するユーザは、最初
に一度、検索のための検索キー画像を指定するだけで済
み、その後、検索キー画像を再設定するなどの手間が不
要となる。また、最初に指定された検索キー画像に基づ
く結果を用いて新たな検索キー画像が設定されるため、
時間の経過等に伴い検索対象となる画像に変化が生じて
いる場合であっても、その変化を考慮した所望の画像が
適切に抽出される。
For this reason, the user who desires the search only needs to specify the search key image once for the search at first, and then does not need to reset the search key image. Also, since a new search key image is set using the result based on the search key image specified first,
Even when an image to be searched for changes with the passage of time or the like, a desired image considering the change is appropriately extracted.

【0026】したがって、ユーザに煩雑な操作をさせる
ことなく、所望の画像を漏れなく抽出することのできる
画像検索方法を提供することが可能となる。
Therefore, it is possible to provide an image search method capable of extracting a desired image without omission without a user performing a complicated operation.

【0027】本発明のさらに別の局面に従うと、画像検
索装置は、ユーザにより指定された検索キー画像を取得
する検索キー画像取得手段と、取得された検索キー画像
に基づいて、データベースの中から該当する画像を検索
する検索手段と、検索手段による検索結果を利用して、
新たな検索キー画像を設定する設定手段と、設定された
新たな検索キー画像に基づいて、データベースの中から
該当する画像を再検索する再検索手段とを含む。
According to still another aspect of the present invention, an image search device includes a search key image obtaining means for obtaining a search key image specified by a user, and a search key image from a database based on the obtained search key image. Using search means for searching for the corresponding image and search results by the search means,
Setting means for setting a new search key image; and re-search means for re-searching a corresponding image from a database based on the set new search key image.

【0028】この発明によると、ユーザに煩雑な操作を
させることなく、所望の画像を漏れなく抽出することの
できる画像検索装置を提供することが可能となる。
According to the present invention, it is possible to provide an image retrieval apparatus capable of extracting a desired image without omission without a user performing a complicated operation.

【0029】[0029]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0030】本発明の実施の形態における画像検索方法
は、画像検索プログラムをパーソナルコンピュータやワ
ークステーション等のコンピュータ上で実行させること
により実現される。
An image search method according to an embodiment of the present invention is realized by executing an image search program on a computer such as a personal computer or a workstation.

【0031】図1は、本実施の形態における画像検索装
置100の一例であるコンピュータの外観を示した図で
ある。図1を参照して、画像検索装置100は、本体1
1と、磁気テープ装置13と、CD−ROM(Compact
Disc−Read Only Memory)装置17と、CRT等の表示
装置12と、キーボード15と、マウス16と、モデム
19とを含んでいる。磁気テープ装置13には磁気テー
プ14が装着され、CD−ROM装置17にはCD−R
OM18が装着される。
FIG. 1 is a diagram showing the appearance of a computer which is an example of the image search device 100 according to the present embodiment. With reference to FIG.
1, a magnetic tape device 13, and a CD-ROM (Compact
Disc-Read Only Memory (LCD) device 17, display device 12 such as a CRT, keyboard 15, mouse 16, and modem 19. The magnetic tape device 13 has a magnetic tape 14 mounted thereon, and the CD-ROM device 17 has a CD-R
The OM 18 is mounted.

【0032】図2に、このコンピュータの構成を機能ブ
ロック図形式にて示す。本図を参照して、周知のように
コンピュータの本体11は、CPU(Central Processi
ng Unit)20と、ROM(Read Only Memory)21
と、RAM(Random Access Memory)22と、ハードデ
ィスク装置23とを含んでいる。なお、これらは、相互
にバスで接続されている。
FIG. 2 shows the configuration of this computer in the form of a functional block diagram. Referring to FIG. 1, as is well known, a computer main body 11 includes a CPU (Central Process
ng Unit) 20 and ROM (Read Only Memory) 21
, A RAM (Random Access Memory) 22, and a hard disk drive 23. These are mutually connected by a bus.

【0033】画像検索プログラムは、予めコンピュータ
内のハードディスクにインストールされたものであって
もよいし、CD−ROM、磁気テープのような取外し可
能な記録媒体に記録されたものであってもよい。いずれ
にせよ、画像検索プログラムはコンピュータ読み取り可
能な記録媒体に記録されている。
The image search program may be installed in advance on a hard disk in a computer, or may be recorded on a removable recording medium such as a CD-ROM or a magnetic tape. In any case, the image search program is recorded on a computer-readable recording medium.

【0034】取外し可能な記録媒体に記録されたもので
ある場合、記録されたプログラムは、磁気テープ装置1
3、CD−ROM装置17などにより記録媒体から読取
られてハードディスク装置23に一旦格納される。その
後は予めハードディスク装置23からRAM22にロー
ドされて、CPU20によりプログラムの実行制御がな
される。
When the program is recorded on a removable recording medium, the recorded program is stored in the magnetic tape device 1.
3. The data is read from the recording medium by the CD-ROM device 17 or the like and temporarily stored in the hard disk device 23. Thereafter, the program is loaded from the hard disk device 23 to the RAM 22 in advance, and the CPU 20 controls the execution of the program.

【0035】なお、コンピュータ読み取り可能な記録媒
体としては、磁気テープやカセットテープなどのテープ
系、磁気ディスク(フレキシブルディスク、ハードディ
スク装置等)や光ディスク(CD−ROM/MO/MD
/DVD等)などのディスク系、ICカード(メモリカ
ードを含む)や光カードなどのカード系、あるいはマス
クROM、EPROM、EEPROM、フラッシュRO
Mなどの半導体メモリ等の、固定的にプログラムを担持
する媒体が考えられる。
As a computer-readable recording medium, a tape system such as a magnetic tape or a cassette tape, a magnetic disk (a flexible disk, a hard disk device, etc.) and an optical disk (CD-ROM / MO / MD)
/ DVD, etc., a card system such as an IC card (including a memory card) or an optical card, or a mask ROM, EPROM, EEPROM, flash RO
A medium that fixedly holds the program, such as a semiconductor memory such as M, may be used.

【0036】さらに、通信モデム19を介してネットワ
ークからプログラムがダウンロードされるように、流動
的にプログラムを担持する媒体であってもよい。なお、
このようにネットワークからプログラムがダウンロード
される場合には、そのダウンロード用のプログラムは予
めコンピュータ本体11に格納されているか、あるいは
別の記録媒体等から予め本体11にインストールされて
いる。
Further, the medium may carry the program in a fluid manner so that the program can be downloaded from the network via the communication modem 19. In addition,
When the program is downloaded from the network as described above, the download program is stored in the computer main body 11 in advance, or is installed in the main body 11 in advance from another recording medium or the like.

【0037】記録媒体に格納される内容としては、プロ
グラムに限定されず、データであってもよい。
The content stored in the recording medium is not limited to a program but may be data.

【0038】次に、図3を用いて、画像検索装置100
に画像が入出力される場合について説明する。
Next, referring to FIG.
The case where an image is input / output to / from the computer will be described.

【0039】本図を参照して、制御部300は、図1お
よび図2に示す画像検索装置100のコンピュータ本体
11に該当する。なお、データベース301は、コンピ
ュータ本体11内のメモリであってもよいし、外付けの
メモリであってもよい。データベース301には、デジ
タルカメラ31で撮影された画像や、スキャナ32によ
り読み込まれた画像、サーバ33からネットワークを介
して取得された画像等が登録される。また、他のPC
や、CD−ROM等の記録媒体から取得される画像が登
録されてもよい。
Referring to FIG. 3, control unit 300 corresponds to computer main body 11 of image search apparatus 100 shown in FIGS. The database 301 may be a memory in the computer main body 11 or an external memory. In the database 301, an image photographed by the digital camera 31, an image read by the scanner 32, an image acquired from the server 33 via a network, and the like are registered. In addition, other PC
Alternatively, an image acquired from a recording medium such as a CD-ROM may be registered.

【0040】ユーザにより指定される検索キー画像は、
データベース301に予め登録されている画像の中から
指定されるものであってもよいし、デジタルカメラ31
により撮影された画像やスキャナ32により読み込まれ
た画像、さらにはサーバ33等から取得された画像であ
ってもよい。
The search key image specified by the user is
The image may be designated from among images registered in the database 301 in advance, or the digital camera 31
The image may be an image photographed by the scanner, an image read by the scanner 32, or an image acquired from the server 33 or the like.

【0041】制御部300は、ユーザによる検索キー画
像の入力を受けて、データベース301に記憶されてい
る画像の中から該当する画像を検索する。また、検索キ
ー画像を所定の条件に従って自動更新し、再びデータベ
ース301の中の画像について検索を行なう。このよう
な再検索を必要に応じて繰り返し、その結果得られた画
像を検索結果として出力する。
Upon receiving the search key image input by the user, the control unit 300 searches the image stored in the database 301 for a corresponding image. Further, the search key image is automatically updated according to a predetermined condition, and the image in the database 301 is searched again. Such re-search is repeated as necessary, and the image obtained as a result is output as a search result.

【0042】出力先としては、プリンタ37やディスプ
レイ38(12)、TV等のモニタ309が考えられ
る。また、ネットワークに接続されたPC34や、サー
バ35であってもよい。さらに、電子アルバム36等に
画像を配信してもよい。
As an output destination, a printer 37, a display 38 (12), and a monitor 309 such as a TV can be considered. Further, it may be a PC 34 or a server 35 connected to a network. Further, the images may be distributed to the electronic album 36 or the like.

【0043】図4は、画像検索装置100の制御部30
0における処理の流れを示したフローチャートである。
本図に示すように、まずステップS401において、初
期画面の表示等の初期設定が行なわれる。次に、ステッ
プS403において、ユーザによるメニューの選択が行
なわれる。たとえば、画像データの登録処理、画像デー
タの検索処理、その他のメニューなどが表示された選択
画面に基づき、いずれかの所望する処理についてのメニ
ューが選択される。
FIG. 4 shows the control unit 30 of the image search apparatus 100.
9 is a flowchart showing the flow of processing in the process No. 0.
As shown in the figure, first, in step S401, initial settings such as display of an initial screen are performed. Next, in step S403, the menu is selected by the user. For example, a menu for any desired processing is selected based on a selection screen on which image data registration processing, image data search processing, and other menus are displayed.

【0044】画像データの登録処理が選択された場合
は、ステップS405において、画像データをデータベ
ース301に登録するための処理が行なわれる。画像デ
ータの検索処理が選択された場合は、ステップS407
において、検索キー画像に基づいた所定の画像検索処理
が行なわれる。その他のメニューが選択された場合は、
ステップS409において、画像処理等のその他の処理
が行なわれる。そして、選択された処理が終了すると、
再びステップS401の処理へと戻る。
If the image data registration process is selected, a process for registering the image data in the database 301 is performed in step S405. If the image data search process is selected, step S407
In, a predetermined image search process based on the search key image is performed. If any other menu is selected,
In step S409, other processing such as image processing is performed. And when the selected process is completed,
The process returns to step S401 again.

【0045】次に、画像データ登録(ステップS40
5)および画像データ検索(ステップS407)の各処
理について詳細に説明する。
Next, image data registration (step S40)
Each processing of 5) and image data search (step S407) will be described in detail.

【0046】図5は、図4の画像データ登録処理(ステ
ップS405)の詳細を示したフローチャートである。
本図に示すように、まずステップS501において、画
像データの入力が行なわれる。すなわち、ユーザが指定
した画像データ(画像ファイル)、あるいは、スキャナ
32などの入力装置から転送された画像データが、画像
検索装置100に入力される。
FIG. 5 is a flowchart showing details of the image data registration process (step S405) of FIG.
As shown in the figure, first, in step S501, input of image data is performed. That is, image data (image file) specified by the user or image data transferred from an input device such as the scanner 32 is input to the image search device 100.

【0047】次に、ステップS503において、入力さ
れた画像データから撮影日情報が抽出され、その画像の
キー情報の1つとして画像データに付与される。なお、
撮影日の代わりに、登録日をキー情報として付与しても
よい。
Next, in step S503, shooting date information is extracted from the input image data, and given to the image data as one of the key information of the image. In addition,
A registration date may be given as key information instead of a shooting date.

【0048】続いて、ステップS505において、その
他のキー情報が該当する画像データに付与される。その
他のキー情報とは、たとえば、ユーザの入力するキーワ
ード等である。画像データの入力および必要なキー情報
の入力が終了すると、ステップS507において、入力
された画像およびキー情報が対応づけられてデータベー
ス301に登録される。
Subsequently, in step S505, other key information is added to the corresponding image data. The other key information is, for example, a keyword input by the user. When the input of the image data and the input of the necessary key information are completed, the input image and the key information are registered in the database 301 in association with each other in step S507.

【0049】図6は、図4の画像データ検索処理(ステ
ップS407)の詳細を示したフローチャートである。
まず、ステップS601において、ユーザにより検索処
理の対象となる期間(以下「検索対象期間」という)の
指定が行なわれる。つまり、ここでは、どの時期に撮影
(あるいは登録)された画像を検索の対象とするかをユ
ーザが指定する。具体的には、検索対象期間の下限であ
るTminおよび検索対象期間の上限であるTmaxがそれぞ
れ入力される。なお、ここでユーザによる指定がない場
合は、全期間が検索対象期間とされる。
FIG. 6 is a flowchart showing details of the image data search process (step S407) of FIG.
First, in step S601, the user specifies a period to be searched (hereinafter, referred to as a "search target period"). In other words, here, the user specifies at what time the captured (or registered) image is to be searched. Specifically, Tmin, which is the lower limit of the search target period, and Tmax, which is the upper limit of the search target period, are input. If there is no designation by the user, the entire period is set as the search target period.

【0050】次に、ステップS603において検索キー
画像の指定が行なわれる。ここで、指定される検索キー
画像は、前述したように、新たにスキャナ32等から入
力された画像でもよいし、予めデータベース301に格
納されている画像の中から選択された画像でもよい。
Next, in step S603, a search key image is specified. Here, the specified search key image may be an image newly input from the scanner 32 or the like as described above, or may be an image selected from images stored in the database 301 in advance.

【0051】既に格納された画像の中から選択される場
合は、たとえば図7に示すような検索キー画像の指定画
面が表示装置12に表示される。本図に示すように、こ
こでは、データベース301に格納されている画像に基
づいた検索キー画像が一覧表示される。同時に、その中
から検索したい画像をクリックするように促す文字列も
表示される。ユーザにより適当な画像がクリックされる
と、その画像が検索キー画像として指定されることにな
る。
When the image is selected from among the images already stored, a display screen for specifying a search key image as shown in FIG. As shown in the figure, here, a list of search key images based on the images stored in the database 301 is displayed. At the same time, a character string that prompts the user to click an image to search for is displayed. When an appropriate image is clicked by the user, that image is designated as a search key image.

【0052】検索対象期間および検索キー画像の指定が
行なわれると、ステップS605において、検索基準日
Tの初期設定が行なわれる。ここでは、指定された検索
キー画像の時間情報、すなわち検索キー画像に付与され
た撮影日情報または登録日情報Tkeyが、検索基準日T
に代入される(T←Tkey)。
When the search target period and the search key image are specified, the initial setting of the search reference date T is performed in step S605. Here, the time information of the designated search key image, that is, the shooting date information or the registration date information Tkey given to the search key image is used as the search reference date Tkey.
(T ← Tkey).

【0053】そして、ステップS607において、検索
基準日Tが、指定された検索対象期間の下限であるTmi
nよりも小さいか否かが判断される(T<Tmin?)。検
索基準日Tと検索対象期間の下限Tminとを比較するこ
とで、画像検索が、検索基準日Tより過去の画像に対し
て行なうべきか否かが判断される。
In step S607, the search reference date T is set to Tmi which is the lower limit of the designated search target period.
It is determined whether it is smaller than n (T <Tmin?). By comparing the search reference date T with the lower limit Tmin of the search target period, it is determined whether or not the image search should be performed on an image past the search reference date T.

【0054】検索基準日Tが検索対象期間の下限である
Tminよりも大きい場合は(ステップS607で
“N”)、ステップS609において、検索基準日Tか
ら過去に所定期間Tdだけ遡った期間の画像に対して検
索が行なわれる。すなわち、検索基準日Tから所定期間
遡った日(T−Td)までの期間の時間情報を持つ画像
に対して検索が行なわれる。
If the search reference date T is greater than Tmin, which is the lower limit of the search target period (“N” in step S607), in step S609, the image of the period preceding the search reference date T by a predetermined period Td is past. Is searched for. That is, the search is performed on the image having the time information of the period from the search reference date T to the date (T-Td) which is a predetermined period earlier.

【0055】具体的には、指定された検索キー画像と、
上述した期間内の時間情報を持つデータベース301内
の画像との差分がとられ、両者の類似度が判断される。
そして、所定値以上の類似度になる画像に対しては、
「類似画像」であるとして一旦、抽出される。類似度が
所定値に満たない画像は、「類似画像」ではないとして
抽出の対象から外される。
Specifically, a specified search key image,
The difference from the image in the database 301 having the time information within the above-described period is obtained, and the similarity between the two is determined.
Then, for an image having a similarity greater than or equal to a predetermined value,
Once extracted as a "similar image". An image whose similarity is less than the predetermined value is not a “similar image” and is excluded from extraction.

【0056】このようにして、Tから(T−Td)の期
間の時間情報を持つ画像に対する検索が終了すると、ス
テップS611において、検索キー画像の再設定が行な
われる。たとえば、ステップS609で抽出された「類
似画像」の中から、最も過去の時間情報を持つ画像が、
新たに検索キー画像として設定される。なお、1枚に限
られず、古い画像から順に複数枚が新たな検索キー画像
として設定されてもよい。
When the search for the image having the time information from T to (T-Td) is completed, the search key image is reset in step S611. For example, among the “similar images” extracted in step S609, the image having the oldest time information is
A new search key image is set. The number of images is not limited to one, and a plurality of images may be set as new search key images in order from the oldest image.

【0057】続いて、ステップS613において、検索
基準日Tの更新が行なわれる。すなわち、検索を行なう
期間(以下「検索期間」という)を過去にシフトさせる
ために、検索基準日Tを所定期間Tdだけ過去にシフト
させる(T←T−Td)。その後、再びステップS60
7の処理へと戻る。以後、シフトされた検索期間につい
て、新たな検索キー画像を用いた同様の処理が繰返され
る(ステップS609からステップS613)。
Subsequently, in step S613, the search reference date T is updated. That is, in order to shift the period in which the search is performed (hereinafter referred to as “search period”) in the past, the search reference date T is shifted in the past by the predetermined period Td (T ← T−Td). Thereafter, step S60 is performed again.
It returns to the process of 7. Thereafter, the same processing using the new search key image is repeated for the shifted search period (steps S609 to S613).

【0058】そして、ステップS607において、検索
基準日Tが検索対象期間の下限Tminを超えた場合、す
なわち、T<Tminとなった場合は、ステップS615
の処理へと移行する。
If the search reference date T exceeds the lower limit Tmin of the search target period in step S607, that is, if T <Tmin, step S615 is performed.
Move to the processing of.

【0059】ステップS615では、検索基準日Tが再
び初期化される。すなわち検索基準日Tにユーザが最初
指定した検索キー画像の時間情報Tkeyが代入される
(T←Tkey)。そして、以降の処理では、検索基準日
Tから将来の時間情報を持つ画像についての検索が行な
われる。
In step S615, the search reference date T is initialized again. That is, the time information Tkey of the search key image first specified by the user is substituted for the search reference date T (T ← Tkey). Then, in the subsequent processing, a search for an image having time information in the future from the search reference date T is performed.

【0060】ステップS617では、検索基準日Tが、
検索対象期間の上限であるTmaxよりも大きいか否かが
判断される(T>Tmax?)。ここで検索基準日Tと検
索対象期間の上限Tmaxとを比較することで、画像検索
を基準日Tより将来の画像に対して行なうべきか否かの
判断がなされる。
In step S617, the search reference date T is
It is determined whether it is larger than Tmax which is the upper limit of the search target period (T> Tmax?). Here, by comparing the search reference date T with the upper limit Tmax of the search target period, it is determined whether or not the image search should be performed on images future from the reference date T.

【0061】検索基準日Tが検索対象期間の上限Tmax
よりも小さい場合は(ステップS617で“N”)、ス
テップS619において、検索基準日Tと、検索基準日
Tから将来に所定期間Tdだけ進んだ期間の画像に対し
て検索が行なわれる。すなわち、検索基準日Tから所定
期間進んだ日(T+Td)までの期間の時間情報を持つ
画像に対して検索が行なわれる。
The search reference date T is the upper limit Tmax of the search target period.
If it is smaller than (“N” in step S617), in step S619, a search is performed on the search reference date T and images in a period that is later than the search reference date T by a predetermined period Td in the future. That is, the search is performed on the image having the time information of the period from the search reference date T to the day (T + Td) advanced by the predetermined period.

【0062】具体的には、ステップS609で行なった
処理と同様に、検索キー画像と、検索期間の時間情報を
持つ画像との差分をとることにより類似判断が行なわれ
る。そして、対象画像の類似度が所定値以上である場
合、その画像は「類似画像」として抽出される。一方所
定値未満の場合は、「類似画像」でないとみなされる。
More specifically, similarity determination is performed by calculating the difference between the search key image and the image having the time information of the search period, similarly to the processing performed in step S609. If the similarity of the target image is equal to or greater than a predetermined value, the image is extracted as a “similar image”. On the other hand, if it is less than the predetermined value, it is determined that the image is not a “similar image”.

【0063】続いて、ステップS621において、検索
キー画像の再設定が行なわれる。具体的には、ステップ
S619で抽出された「類似画像」の中から、最も新し
い時間情報を持つ画像が、新たに検索キー画像として設
定される。なお、新たなキー画像は、1つではなく、新
しいものから順に複数が設定されるようにしてもよい。
Subsequently, in step S621, a search key image is reset. Specifically, among the “similar images” extracted in step S619, an image having the latest time information is newly set as a search key image. Note that a plurality of new key images may be set in order from the newest one instead of one.

【0064】新たな検索キー画像が設定されると、次に
ステップS623において、検索基準日Tの更新が行な
われる。ここでは、検索期間を将来にシフトさせるため
に、検索基準日Tを所定期間Tdだけ将来にシフトさせ
る(T←T+Td)。このようにして検索基準日が更新
されると、再びステップS617の処理へと戻る。以
後、シフトされた検索期間について、新たな検索キー画
像を用いた同様の処理(ステップS619からステップ
S623)が繰返される。
When a new search key image is set, the search reference date T is updated in step S623. Here, in order to shift the search period in the future, the search reference date T is shifted in the future by a predetermined period Td (T ← T + Td). When the search reference date is updated in this way, the process returns to step S617. Thereafter, the same processing (steps S619 to S623) using the new search key image is repeated for the shifted search period.

【0065】そして、ステップS617において、検索
基準日Tが検索対象期間の上限Tmaxを超えた場合、す
なわち、T>Tmaxとなった場合には、将来に向けての
画像の検索を終了し、ステップS625の処理へと進
む。
In step S617, if the search reference date T exceeds the upper limit Tmax of the search target period, that is, if T> Tmax, the image search for the future is terminated. The process proceeds to S625.

【0066】ステップS625では、検索対象期間内に
おける検索結果の出力が行なわれる。つまり、ステップ
S609およびステップS619の検索処理により抽出
された画像の中から、ユーザが指定した指定期間内の情
報を持つ画像が検索結果として出力される。結果の出力
は、表示装置12に表示されてもよいし、プリンタ37
にプリントアウトされるなどしてもよい。
In step S625, a search result is output within the search target period. That is, from the images extracted by the search processing in steps S609 and S619, an image having information within a designated period designated by the user is output as a search result. The output of the result may be displayed on the display device 12 or the printer 37.
May be printed out.

【0067】このようにして、ユーザが検索を希望する
期間および検索キー画像を指定するだけで、適宜新たな
検索キー画像が設定され、それに基づいた画像検索が自
動的に行なわれる。このため、所望の画像を漏れなく取
得するためにユーザが行なう操作は簡易なものですみ、
利便性が向上する。
In this way, a new search key image is set as appropriate only by the user designating a desired search period and a search key image, and an image search is automatically performed based on the new search key image. Therefore, the operation performed by the user to obtain a desired image without omission is simple,
Convenience is improved.

【0068】次に、図8および図9を用いて、図6の画
像データ検索処理のフローチャートに従って、画像を検
索する場合を具体的に説明する。
Next, the case of searching for an image will be described in detail with reference to FIGS. 8 and 9 in accordance with the flowchart of the image data search processing of FIG.

【0069】図8は、図6に示すフローチャートに従っ
て画像を検索する場合の第1の具体例を説明するための
図である。ここでは、検索キー画像に、検索対象期間の
下限Tminと検索対象期間の上限Tmaxとの間の時間情報
を持つ画像が指定されている。したがって、まず、検索
基準日Tから矢印Aの方向、すなわち検索基準日から過
去の時間情報を持つ画像に対する検索が行なわれる(図
6のステップS607からステップS613)。その
後、基準日Tから矢印Bの方向、すなわち検索基準日か
ら将来の時間情報を持つ画像に対する検索が行なわれる
(図6のステップS617からステップS623)。具
体的に説明すると次のようになる。
FIG. 8 is a view for explaining a first specific example in the case of searching for an image according to the flowchart shown in FIG. Here, an image having time information between the lower limit Tmin of the search target period and the upper limit Tmax of the search target period is designated as the search key image. Therefore, first, a search is performed for an image having past time information from the search reference date T in the direction of arrow A, that is, from the search reference date (steps S607 to S613 in FIG. 6). Thereafter, a search is performed for images having time information in the direction of arrow B from the reference date T, that is, from the search reference date to the future (steps S617 to S623 in FIG. 6). This will be specifically described as follows.

【0070】まず、指定された検索キー画像を用いて、
検索基準日Tから所定期間Tdだけ過去に遡った期間
(Tからt4)における画像の検索が行なわれる。たと
えば、所定期間Tdが1年の場合は、検索キー画像の撮
影日Tから過去1年の間に撮影された画像について検索
が行なわれる。そして、検索キー画像に類似する画像が
検索結果として抽出される。
First, using the specified search key image,
An image search is performed in a period (T to t4) that is a predetermined period Td before the search reference date T in the past. For example, when the predetermined period Td is one year, a search is performed for images captured in the past year from the shooting date T of the search key image. Then, an image similar to the search key image is extracted as a search result.

【0071】さらに過去に遡った画像の検索を行なうた
めに、検索結果として抽出された画像の中から最も古い
画像が、新たな検索キー画像として設定される。そし
て、検索基準日Tもt4に更新される。このため、新た
に設定された検索キー画像に基づいて、次はt4から所
定期間Tdへ遡った期間(t4からt3)における画像
検索が行なわれる。所定期間Tdを1年とすると、t4
から過去1年の間に撮影された画像についての検索が行
なわれる。そして、検索された画像の中から最も古い画
像が新たな検索キー画像として再び設定され直す。
In order to search for an image that goes back in the past, the oldest image among the images extracted as a search result is set as a new search key image. Then, the search reference date T is also updated to t4. For this reason, based on the newly set search key image, an image search is performed next in a period (t4 to t3) that goes back from t4 to a predetermined period Td. Assuming that the predetermined period Td is one year, t4
From the last one year. Then, the oldest image among the searched images is set again as a new search key image.

【0072】このようにして、新たな検索キー画像の設
定と検索期間の過去へのシフトとが、検索対象期間下限
であるTminを超えるまで、同様にして繰り返される。
ここでは、t2からt1までの期間における画像検索処
理が終了し、新たに検索基準日Tがt1となった時点
で、検索基準日Tが検索対象期間下限Tminを超えるこ
とになり、過去に向かう検索処理が終了する。
In this manner, the setting of a new search key image and the shifting of the search period to the past are repeated in the same manner until the search target period lower limit Tmin is exceeded.
Here, the image search process in the period from t2 to t1 ends, and when the search reference date T is newly set to t1, the search reference date T exceeds the search target period lower limit Tmin, and goes to the past. The search processing ends.

【0073】したがって、次は、指定された検索キー画
像の時間情報Tから矢印Bの方向に向かう検索処理が行
なわれる。すなわち、検索画像の時間情報Tよりも将来
の時間情報を持つ画像に対する検索処理が行なわれる
(図6のステップS617からステップS623)。
Therefore, next, a search process is performed in the direction of arrow B from the time information T of the specified search key image. That is, a search process is performed on an image having time information that is later than the time information T of the search image (steps S617 to S623 in FIG. 6).

【0074】まず検索基準日となるTから所定期間Td
だけ将来に向かった期間(Tからt5)における画像の
検索処理が行なわれる。所定期間Tが1年の場合は、検
索キー画像の撮影日Tより新しい1年先までの間に撮影
された画像についての検索が行なわれる。そして、検索
キー画像に類似する画像が検索結果として抽出される。
First, a predetermined period Td from T serving as a search reference date
Only during the period (T to t5) that goes to the future, the image search processing is performed. When the predetermined period T is one year, a search is performed for images that have been shot up to one year ahead of the shooting date T of the search key image. Then, an image similar to the search key image is extracted as a search result.

【0075】さらに将来の画像の検索を行なうために、
検索結果として抽出された画像の中から、最も新しい時
間情報を持つ画像が新たな検索キー画像として設定され
る。そして、その検索キー画像を用いて、t5から所定
期間Tdだけ将来の期間(t5からt6)における画像
の検索が行なわれる。
In order to search for a future image,
From among the images extracted as the search results, the image having the latest time information is set as a new search key image. Then, using the search key image, an image is searched for a predetermined period Td from t5 in a future period (from t5 to t6).

【0076】このようにして、新たな検索キー画像の設
定と検索期間の将来へのシフトとが、検索対象期間上限
Tmaxを超えるまで、同様にして繰り返される。ここで
は、t5からt6までの期間における画像検索処理が終
了し、新たに検索基準日Tがt6となった時点で、検索
基準日Tが検索対象期間上限Tmaxを超えることにな
り、将来に向かう検索処理が終了する。
In this manner, the setting of a new search key image and the shift of the search period to the future are repeated in the same manner until the search target period upper limit Tmax is exceeded. Here, the image search process in the period from t5 to t6 is completed, and when the search reference date T is newly set to t6, the search reference date T exceeds the search target period upper limit Tmax, and it goes to the future. The search processing ends.

【0077】そして、最終的には、検索対象期間(Tmi
nからTmax)内の時間情報を持つ画像が検索結果として
出力される。
Finally, the search target period (Tmi
An image having time information within (n to Tmax) is output as a search result.

【0078】このように、本実施の形態における画像検
索方法では、検索期間が、検索基準日Tを中心に過去お
よび将来に向けて所定期間ずつ徐々にシフトされてい
く。それと同時に検索キー画像も徐々に古い画像または
新しい画像に更新されていく。このため、検索対象期間
下限または上限までの所望の画像を漏れなく検索するこ
とができる。
As described above, in the image search method according to the present embodiment, the search period is gradually shifted by a predetermined period toward the past and the future around the search reference date T. At the same time, the search key image is gradually updated to an old image or a new image. Therefore, a desired image up to the lower limit or the upper limit of the search target period can be searched without omission.

【0079】図9は、図6に示すフローチャートに従っ
て画像を検索する場合の第2の具体例を説明するための
図である。ここでは、検索キー画像に、検索対象期間の
上限Tmaxよりも大きい時間情報を持つ画像が指定され
ている。したがって、図8の例と異なり、検索基準日T
から検索対象期間に向かう方向。(矢印A)、すなわち
検索基準日から過去の時間情報を持つ画像に対する検索
は行なわれるが(図6のステップS607からステップ
S613)、検索基準日Tから矢印Bの方向、すなわち
検索基準日から将来の時間情報を持つ画像に対する検索
は行なわれない(図6のステップS617からステップ
S623)。
FIG. 9 is a diagram for explaining a second specific example in the case of searching for an image according to the flowchart shown in FIG. Here, an image having time information larger than the upper limit Tmax of the search target period is specified as the search key image. Therefore, unlike the example of FIG.
From to the search period. (Arrow A), that is, a search is performed for an image having time information in the past from the search reference date (steps S607 to S613 in FIG. 6), but from the search reference date T in the direction of arrow B, ie, from the search reference date to the future. Is not searched for the image having the time information (steps S617 to S623 in FIG. 6).

【0080】まず、指定された検索キー画像を用いて、
検索基準日Tから所定期間Tdだけ過去に遡った期間
(Tからt4)における画像の検索が行なわれる。そし
て、検索キー画像に類似する画像が検索結果として抽出
される。
First, using the designated search key image,
An image search is performed in a period (T to t4) that is a predetermined period Td before the search reference date T in the past. Then, an image similar to the search key image is extracted as a search result.

【0081】さらに過去に遡った画像の検索を行なうた
めに、検索結果として抽出された画像の中から最も古い
画像が、新たな検索キー画像として設定される。そし
て、検索基準日Tもt4に更新される。このため、新た
に設定された検索キー画像に基づいて、次はt4から所
定期間Tdへ遡った期間(t4からt3)における画像
検索が行なわれる。そしてまた、検索された画像の中か
ら最も古い画像が新たな検索キー画像として再び設定さ
れ直す。
Further, in order to search for an image that goes back in the past, the oldest image among the images extracted as a search result is set as a new search key image. Then, the search reference date T is also updated to t4. For this reason, based on the newly set search key image, an image search is performed next in a period (t4 to t3) that goes back from t4 to a predetermined period Td. Then, the oldest image among the searched images is set again as a new search key image.

【0082】このようにして、新たな検索キー画像の設
定と検索期間の過去へのシフトとが、検索対象期間下限
であるTminを超えるまで、同様にして繰り返される。
ここでは、t2からt1までの期間における画像検索処
理が終了し、新たに検索基準日Tがt1となった時点
で、検索基準日Tが検索対象期間下限Tminを超えるこ
とになり、過去に向かう検索処理が終了する。
In this manner, the setting of a new search key image and the shift of the search period to the past are repeated in the same manner until the search target period lower limit Tmin is exceeded.
Here, the image search process in the period from t2 to t1 ends, and when the search reference date T is newly set to t1, the search reference date T exceeds the search target period lower limit Tmin, and goes to the past. The search processing ends.

【0083】今回は、検索基準日Tが、検索対象期間上
限Tmaxよりも大きいため、矢印Bの方向に向かう検索
処理は行なわれない。したがって、画像の抽出はここで
終了し、最終的な検索結果が選択される。最終的には、
検索対象期間(TminからTmax)内の時間情報を持つ画
像のみが検索結果として出力される。
In this case, since the search reference date T is larger than the search target period upper limit Tmax, the search processing in the direction of arrow B is not performed. Therefore, the extraction of the image ends here, and the final search result is selected. Eventually,
Only images having time information within the search target period (Tmin to Tmax) are output as search results.

【0084】このように、検索基準日Tが検索対象期間
外の場合は、検索対象期間を含まない期間(本図におい
ては、Tからt4間、およびt4からt3間)であって
も検索対象期間に向かって所定期間Tdずつシフトしな
がら検索が行なわれる。これは、最終的にTminからTm
axまでの検索対象期間における適切な検索処理を行なう
ために必要とされる新たな検索キー画像を順に設定する
必要があるからである。したがって、検索対象期間にお
いては、時間の経過が考慮された検索キー画像に基づき
適切な画像が抽出されることになる。
As described above, when the search reference date T is outside the search target period, even if the search reference date T is a period not including the search target period (in the figure, from T to t4 and from t4 to t3), the search target date T The search is performed while shifting by the predetermined period Td toward the period. This is the difference between Tmin and Tm
This is because it is necessary to sequentially set new search key images required for performing appropriate search processing in the search target period up to ax. Therefore, in the search target period, an appropriate image is extracted based on the search key image considering the passage of time.

【0085】図10は、検索キー画像が更新される概念
を説明するための図である。本図に示すように、検索キ
ー画像1は、たとえば図7において、左から3番目の画
像をクリックされることにより指定された画像である。
したがって、まず検索キー画像1に基づいてある期間内
の画像検索が行なわれる。
FIG. 10 is a diagram for explaining the concept of updating the search key image. As shown in the figure, the search key image 1 is, for example, an image specified by clicking a third image from the left in FIG.
Therefore, first, an image search within a certain period based on the search key image 1 is performed.

【0086】そして、次の階層で示されるような複数の
類似画像が、その検索結果として抽出される。過去の画
像についての検索を行なう場合は、この抽出された類似
画像の中から、最も古い画像が選択される。反対に、将
来の画像についての検索が行なわれる場合は、最も新し
い画像が選択される。そして、選択された画像が、新た
な検索キー画像(検索キー画像2)として設定される。
Then, a plurality of similar images as shown in the next hierarchy are extracted as the search results. When searching for a past image, the oldest image is selected from the extracted similar images. Conversely, if a search is made for a future image, the most recent image is selected. Then, the selected image is set as a new search key image (search key image 2).

【0087】すると、次は設定された新たな検索キー画
像である検索キー画像2に基づいて、画像検索が行なわ
れる。この際、検索対象となる期間は過去あるいは将来
にシフトした期間である。
Then, an image search is performed based on search key image 2 which is a new search key image that has been set. At this time, the search target period is a period shifted in the past or the future.

【0088】同様にして、新たな検索キー画像が必要に
応じて設定され、そのキー画像を基に画像の検索処理が
行なわれる。このようにして抽出されたすべての画像
(検索結果)が、検索キー画像1に類似する画像である
として出力されることになる。
Similarly, a new search key image is set as needed, and an image search process is performed based on the key image. All the images (search results) extracted in this manner are output as images similar to the search key image 1.

【0089】したがって、このような画像検索方法によ
ると、所望の画像を漏れなく抽出することが可能とな
る。すなわち、検索期間が長い場合であっても、また、
検索期間と、指定された検索キー画像との時間差が大き
い場合であっても、たとえば人物であれば年齢の変化、
体形、髪型等の変化にも十分対応することができ、正確
な画像の検索が行なわれることになる。このためユーザ
は、予め検索結果を予想して代表的な複数枚の検索キー
画像を選択等する必要がなくなる。また、当初の検索キ
ー画像によって抽出された画像の傾向を鑑みて、新たな
検索キー画像を選ぶという煩雑さも回避されることにな
る。
Therefore, according to such an image search method, a desired image can be extracted without omission. That is, even if the search period is long,
Even if the time difference between the search period and the specified search key image is large, for example, for a person, the change in age,
It can sufficiently cope with changes in body shape, hairstyle, and the like, and an accurate image search is performed. This eliminates the need for the user to select a plurality of representative search key images by predicting the search result in advance. In addition, the complexity of selecting a new search key image in consideration of the tendency of the image extracted by the original search key image can be avoided.

【0090】なお、図6においては、まず検索基準日か
ら過去の時間情報を持つ画像について検索を行なった後
に将来の時間情報を持つ画像について画像検索を行なっ
ている。しかし、この順序に限られるものではない。た
とえば、将来の画像についての画像検索の後に過去の画
像についての画像検索を行なうなど逆であってもよい。
In FIG. 6, an image having time information in the past from the search reference date is searched first, and then an image having time information in the future is searched. However, the order is not limited. For example, the reverse may be performed, such as performing an image search for a past image after an image search for a future image.

【0091】また、図6のステップS611およびステ
ップS621等において、新たな検索キー画像として設
定される画像は、図6等で説明したものに限られない。
たとえば、新しいものと古いものとを複数枚選択される
ようにしてもよい。この場合、選択された各画像につい
て検索処理が行なわれることになる。
Further, in steps S611 and S621 in FIG. 6, the image set as a new search key image is not limited to the image described in FIG.
For example, a plurality of new and old ones may be selected. In this case, a search process is performed for each selected image.

【0092】今回示した実施の形態においては、人が検
索キー画像として指定される場合を例として説明した
が、検索対象は人に限定されるわけではない。したがっ
て、たとえば、建物等の物を検索キー画像として指定
し、その物の画像を検索する場合にも適用することがで
きる。
In the embodiment shown this time, a case where a person is designated as a search key image has been described as an example, but the search target is not limited to a person. Therefore, for example, the present invention can be applied to a case where an object such as a building is designated as a search key image and an image of the object is searched.

【0093】また、図7、図8および図9等で説明した
ように、画像検索を行なう検索期間については重複せず
に所定期間Tdずつシフトしている。しかし、このよう
な場合に限られず、たとえば、新たな検索画像として設
定された画像の持つ時間情報が新たな検索基準日Tとし
て設定されることにより、少し重複しながら検索期間を
シフトしていくようにしてもよい。また、最初からシフ
トさせることなく、新たな検索キー画像が設定されて
も、その都度全体にわたって検索を繰り返し行なっても
よい。
As described with reference to FIGS. 7, 8 and 9, etc., the search periods for performing image search are shifted by a predetermined period Td without overlapping. However, the present invention is not limited to such a case. For example, when the time information of an image set as a new search image is set as a new search reference date T, the search period is shifted while slightly overlapping. You may do so. Further, even if a new search key image is set without shifting from the beginning, the search may be repeatedly performed over the entirety each time.

【0094】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の実施の形態における画像検索装置1
00の一例であるコンピュータの外観を示した図であ
る。
FIG. 1 is an image retrieval apparatus 1 according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating an appearance of a computer as an example of 00.

【図2】 図1のコンピュータの構成を示した機能ブロ
ック図である。
FIG. 2 is a functional block diagram showing a configuration of the computer shown in FIG.

【図3】 画像検索装置100に画像が入出力される場
合について説明するための図である。
FIG. 3 is a diagram for explaining a case where an image is input to and output from the image search device 100;

【図4】 画像検索装置100の制御部300における
処理の流れを示したフローチャートである。
FIG. 4 is a flowchart showing a flow of processing in a control unit 300 of the image search device 100.

【図5】 図4の画像データ登録処理(ステップS40
5)の詳細を示したフローチャートである。
FIG. 5 is an image data registration process of FIG. 4 (step S40);
It is the flowchart which showed the detail of 5).

【図6】 図4の画像データ検索処理(ステップS40
7)の詳細を示したフローチャートである。
FIG. 6 is an image data search process of FIG. 4 (step S40);
It is the flowchart which showed the detail of 7).

【図7】 検索キー画像の指定画面が表示装置12に表
示される例を示す図である。
FIG. 7 is a diagram illustrating an example in which a search key image designation screen is displayed on the display device 12.

【図8】 図6に示すフローチャートに従って画像を検
索する場合の第1の具体例を説明するための図である。
FIG. 8 is a diagram for explaining a first specific example when searching for an image according to the flowchart shown in FIG. 6;

【図9】 図6に示すフローチャートに従って画像を検
索する場合の第2の具体例を説明するための図である。
FIG. 9 is a diagram illustrating a second specific example in a case where an image is searched according to the flowchart illustrated in FIG. 6;

【図10】 検索キー画像が更新される概念を説明する
ための図である。
FIG. 10 is a diagram for explaining the concept of updating a search key image.

【符号の説明】[Explanation of symbols]

11 コンピュータの本体、12 表示装置、13 磁
気テープ装置、14磁気テープ、17 CD−ROM装
置、18 CD−ROM、20 CPU、21 RO
M、22 RAM、23 ハードディスク装置、31
デジタルカメラ、32 スキャナ、33,35 サー
バ、37 プリンタ、300 制御部、301 データ
ベース。
11 computer main body, 12 display device, 13 magnetic tape device, 14 magnetic tape, 17 CD-ROM device, 18 CD-ROM, 20 CPU, 21 RO
M, 22 RAM, 23 hard disk drive, 31
Digital camera, 32 scanner, 33, 35 server, 37 printer, 300 control unit, 301 database.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 恭子 大阪市中央区安土町二丁目3番13号大阪国 際ビル ミノルタ株式会社内 Fターム(参考) 5B050 GA08 5B075 ND06 NK10 PP02 PP03 PP30 PQ02 PQ03 PR06 QM08  ────────────────────────────────────────────────── ─── Continuation of the front page (72) Kyoko Nakamura Inventor F-term in Osaka International Building Minolta Co., Ltd. 2-3-13 Azuchicho, Chuo-ku, Osaka 5B050 GA08 5B075 ND06 NK10 PP02 PP03 PP30 PQ02 PQ03 PR06 QM08

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 ユーザにより指定された検索キー画像を
取得する検索キー画像取得ステップと、 前記取得された検索キー画像に基づいて、データベース
の中から該当する画像を検索する検索ステップと、 前記検索ステップによる検索結果を利用して、新たな検
索キー画像を設定する設定ステップと、 前記設定された新たな検索キー画像に基づいて、前記デ
ータベースの中から該当する画像を再検索する再検索ス
テップと、をコンピュータに実行させるための画像検索
プログラムを記録したコンピュータ読み取り可能な記録
媒体。
A search key image obtaining step of obtaining a search key image specified by a user; a search step of searching for a corresponding image from a database based on the obtained search key image; A setting step of setting a new search key image using a search result obtained by the step; and a re-search step of searching again for the corresponding image from the database based on the set new search key image. , A computer-readable recording medium on which an image search program for causing a computer to execute is stored.
【請求項2】 前記検索ステップは、前記データベース
の中の第1のグループに対して検索を行ない、 前記再検索ステップは、前記データベースの中の前記第
1のグループとは異なる第2のグループに対して検索を
行なう、請求項1に記載の画像検索プログラムを記録し
たコンピュータ読み取り可能な記録媒体。
2. The search step performs a search on a first group in the database, and the re-search step performs a search on a second group different from the first group in the database. A computer-readable recording medium on which the image search program according to claim 1 is searched for.
【請求項3】 前記データベースに格納されている画像
には、それぞれ時間情報が付与されており、 前記第1のグループは、第1の期間内の時間情報を持つ
画像についてのグループであり、 前記第2のグループは、第2の期間内の時間情報を持つ
画像についてのグループである、請求項2に記載の画像
検索プログラムを記録したコンピュータ読み取り可能な
記録媒体。
3. An image stored in the database is provided with time information, and the first group is a group of images having time information within a first period. The computer-readable recording medium recording the image search program according to claim 2, wherein the second group is a group of images having time information within the second period.
【請求項4】 前記設定ステップは、前記検索ステップ
により検索された画像の中から前記第2の期間に近い時
間情報を持つ画像を新たな検索キー画像として設定す
る、請求項3に記載の画像検索プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
4. The image according to claim 3, wherein in the setting step, an image having time information close to the second period is set as a new search key image from among the images searched in the search step. A computer-readable recording medium recording a search program.
【請求項5】 さらに、ユーザにより指定された検索対
象期間を取得する検索対象期間取得ステップと、 前記検索ステップおよび前記再検索ステップにより検索
された画像のうち、前記取得された検索対象期間内の時
間情報を持つ画像を検索結果として決定する決定ステッ
プとをコンピュータに実行させるための、請求項3また
は4に記載の画像検索プログラムを記録したコンピュー
タ読み取り可能な記録媒体。
5. A search target period obtaining step for obtaining a search target period designated by a user, and among the images searched by the search step and the re-search step, the search target period within the obtained search target period is obtained. A computer-readable recording medium storing the image search program according to claim 3, wherein the computer executes a determining step of determining an image having time information as a search result.
【請求項6】 さらに、前記再検索ステップによる検索
結果を利用して新たな検索キー画像を設定する再設定ス
テップをコンピュータに実行させ、 前記再設定ステップおよび前記再検索ステップは、所定
回数繰り返されることを特徴とする、請求項1〜5のい
ずれかに記載の画像検索プログラムを記録したコンピュ
ータ読み取り可能な記録媒体。
6. A computer further executes a resetting step of setting a new search key image using a search result of the re-searching step, wherein the resetting step and the re-searching step are repeated a predetermined number of times A computer-readable recording medium storing the image search program according to claim 1.
【請求項7】 ユーザにより指定された検索キー画像を
取得する検索キー画像取得ステップと、 前記取得された検索キー画像に基づいて、データベース
の中から該当する画像を検索する検索ステップと、 前記検索ステップによる検索結果を利用して、新たな検
索キー画像を設定する設定ステップと、 前記設定された新たな検索キー画像に基づいて、前記デ
ータベースの中から該当する画像を再検索する再検索ス
テップとを含む、画像検索方法。
7. A search key image obtaining step of obtaining a search key image specified by a user; a search step of searching a database for a corresponding image based on the obtained search key image; A setting step of setting a new search key image using a search result obtained by the step; and a re-search step of searching again for the corresponding image from the database based on the set new search key image. An image search method, including:
【請求項8】 ユーザにより指定された検索キー画像を
取得する検索キー画像取得手段と、 前記取得された検索キー画像に基づいて、データベース
の中から該当する画像を検索する検索手段と、 前記検索手段による検索結果を利用して、新たな検索キ
ー画像を設定する設定手段と、 前記設定された新たな検索キー画像に基づいて、前記デ
ータベースの中から該当する画像を再検索する再検索手
段とを含む、画像検索装置。
8. A search key image obtaining means for obtaining a search key image specified by a user; a search means for searching a database for a corresponding image based on the obtained search key image; Setting means for setting a new search key image using a search result by the means, and re-search means for searching again the corresponding image from the database based on the set new search key image. An image search device, including:
JP2000368547A 2000-12-04 2000-12-04 Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval Withdrawn JP2002169810A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000368547A JP2002169810A (en) 2000-12-04 2000-12-04 Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000368547A JP2002169810A (en) 2000-12-04 2000-12-04 Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval

Publications (1)

Publication Number Publication Date
JP2002169810A true JP2002169810A (en) 2002-06-14

Family

ID=18838755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000368547A Withdrawn JP2002169810A (en) 2000-12-04 2000-12-04 Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval

Country Status (1)

Country Link
JP (1) JP2002169810A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318352A (en) * 2005-05-16 2006-11-24 Noritsu Koki Co Ltd Image processing device
JP2007018408A (en) * 2005-07-11 2007-01-25 Nikon Corp Image retrieval apparatus having function for retrieving image by periodical date and time, and image retrieval program
JP2007179198A (en) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc Image control server, image placement information generating method, program, and recording medium
JP2010086414A (en) * 2008-10-01 2010-04-15 Canon Inc Image processor, image processing method and program
JP2010211785A (en) * 2009-03-06 2010-09-24 Cyberlink Corp Method of grouping images by face
JP2010250569A (en) * 2009-04-16 2010-11-04 Yahoo Japan Corp Image retrieval device
JP2011059940A (en) * 2009-09-09 2011-03-24 Canon Inc Face image extracting device, control method of the same, and control program
WO2012004933A1 (en) * 2010-07-09 2012-01-12 パナソニック株式会社 Object mapping device, method of mapping object, program and recording medium
US8531478B2 (en) 2009-03-19 2013-09-10 Cyberlink Corp. Method of browsing photos based on people
JP2015510639A (en) * 2012-02-06 2015-04-09 トムソン ライセンシングThomson Licensing Interactive content search using comparison
JP2016192024A (en) * 2015-03-31 2016-11-10 株式会社Screenホールディングス Time series data processing method, time series data processing program, and time series data processing apparatus

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318352A (en) * 2005-05-16 2006-11-24 Noritsu Koki Co Ltd Image processing device
JP2007018408A (en) * 2005-07-11 2007-01-25 Nikon Corp Image retrieval apparatus having function for retrieving image by periodical date and time, and image retrieval program
JP2007179198A (en) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc Image control server, image placement information generating method, program, and recording medium
JP2010086414A (en) * 2008-10-01 2010-04-15 Canon Inc Image processor, image processing method and program
US8121358B2 (en) 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
JP2010211785A (en) * 2009-03-06 2010-09-24 Cyberlink Corp Method of grouping images by face
US8531478B2 (en) 2009-03-19 2013-09-10 Cyberlink Corp. Method of browsing photos based on people
JP2010250569A (en) * 2009-04-16 2010-11-04 Yahoo Japan Corp Image retrieval device
JP2011059940A (en) * 2009-09-09 2011-03-24 Canon Inc Face image extracting device, control method of the same, and control program
WO2012004933A1 (en) * 2010-07-09 2012-01-12 パナソニック株式会社 Object mapping device, method of mapping object, program and recording medium
CN102483767A (en) * 2010-07-09 2012-05-30 松下电器产业株式会社 Object mapping device, method of mapping object, program and recording medium
US20120170847A1 (en) * 2010-07-09 2012-07-05 Ryota Tsukidate Object mapping device, method of mapping object, program and recording medium
US8885942B2 (en) 2010-07-09 2014-11-11 Panasonic Intellectual Property Corporation Of America Object mapping device, method of mapping object, program and recording medium
JP5643309B2 (en) * 2010-07-09 2014-12-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Object association apparatus, object association method, program, and recording medium
JP2015510639A (en) * 2012-02-06 2015-04-09 トムソン ライセンシングThomson Licensing Interactive content search using comparison
JP2016192024A (en) * 2015-03-31 2016-11-10 株式会社Screenホールディングス Time series data processing method, time series data processing program, and time series data processing apparatus

Similar Documents

Publication Publication Date Title
JP4074366B2 (en) Image search apparatus and method, and recording medium storing image search program
US8078627B2 (en) File management apparatus, method for controlling file management apparatus, computer program, and storage medium
JP4791288B2 (en) Method and system for linking digital photographs to electronic documents
US20050234896A1 (en) Image retrieving apparatus, image retrieving method and image retrieving program
US8117210B2 (en) Sampling image records from a collection based on a change metric
JP5289151B2 (en) Data management apparatus, control method thereof, and program
US20060031211A1 (en) Information processing apparatus, document search method, program, and storage medium
JP2004110829A (en) Method and software program for creating image product having defined reference
JP2003298991A (en) Image arranging method and apparatus, and program
KR20060050872A (en) Image file management apparatus and method and storage medium
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
JP6028549B2 (en) Information processing apparatus, information processing system, control method thereof, and program
US7085767B2 (en) Data storage method and device and storage medium therefor
JP2002049907A (en) Device and method for preparing digital album
JP2002169810A (en) Computer-readable recording medium with recorded image retrieval program, and method and device for image retrieval
JP4697913B2 (en) Data retrieval apparatus and method
JP2004120420A (en) Image adjusting device and program
JP2002183205A (en) Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database
JP2005301889A (en) Image comparison program
JP6839366B2 (en) Information processing equipment, information processing system, its control method, and program
JP2007207031A (en) Image processing device, image processing method, and image processing program
KR20040104574A (en) Image display program and information recording medium containing the program
US20040177067A1 (en) Directory search method, directory search apparatus, program for implementing and operating the same, and memory medium
JP2003303210A (en) Information processing method, information processing device, and recording medium
JP6237856B2 (en) Information processing apparatus, information processing system, control method thereof, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205