JP2011166214A - Image retrieval device and control method of the same - Google Patents

Image retrieval device and control method of the same Download PDF

Info

Publication number
JP2011166214A
JP2011166214A JP2010023202A JP2010023202A JP2011166214A JP 2011166214 A JP2011166214 A JP 2011166214A JP 2010023202 A JP2010023202 A JP 2010023202A JP 2010023202 A JP2010023202 A JP 2010023202A JP 2011166214 A JP2011166214 A JP 2011166214A
Authority
JP
Japan
Prior art keywords
image
images
search
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010023202A
Other languages
Japanese (ja)
Inventor
Yohei Fujitani
洋平 藤谷
Yuichi Nakase
雄一 中瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010023202A priority Critical patent/JP2011166214A/en
Publication of JP2011166214A publication Critical patent/JP2011166214A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To allow browse which is rich in variation by reducing repetitive display of an image as a retrieval result when images are browsed by performing retrieval a plurality of times. <P>SOLUTION: An image retrieval device includes: a switching means for performing switching to an operation mode in which a plurality of images retrieved under a plurality of retrieval conditions generated based on a retrieval key image are displayed, an image selected out of them is displayed as a new retrieval key image, and a plurality of new retrieval conditions are generated based on the new retrieval key image to display a plurality of images retrieved under the plurality of new retrieval conditions; a determination means for determining whether or not images which can be the retrieval key image are recorded in a recording medium as many as a threshold or more; and a control means for performing control for the switching to the operation mode when the determination means determines that the images are recorded as many as the threshold or more, and performing control not to allow the switching to the operation mode when the determination means determines that the images are not recorded as many as the threshold or more. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像検索装置、制御方法、プログラム及び記録媒体に関する。   The present invention relates to an image search device, a control method, a program, and a recording medium.

近年、デジタルカメラなどの撮像装置においては、記録媒体の進歩に伴って大量の画像を記録することが可能となり、かかる大量の画像を効率的に検索及び閲覧する技術が求められている。そこで、大量の画像を検索及び閲覧する際に、多数の縮小画像を表示する技術や入力された検索条件に一致又は類似する画像を表示する技術の他に、画像に付帯された情報から検索条件を生成して画像を検索及び表示する技術が提案されている(特許文献1参照)。   In recent years, an imaging apparatus such as a digital camera can record a large amount of images as a recording medium advances, and a technique for efficiently searching and browsing such a large amount of images is required. Therefore, when searching and browsing a large number of images, in addition to a technique for displaying a large number of reduced images and a technique for displaying an image that matches or resembles the input search condition, the search condition is determined from information attached to the image. Has been proposed to search and display images (see Patent Document 1).

特開平7−271801号公報JP-A-7-271801

しかしながら従来には以下のような課題がある。画像に付帯された情報から検索条件を生成して画像を検索することを何度も行って様々な画像を閲覧していくことを想定する。この場合、検索対象の画像の種類や画像数によっては何度かの検索における検索結果として類似画像又は同一画像が繰り返し検索されてしまい、検索閲覧に変化が見られないことが起こりえる。   However, there are conventional problems as follows. It is assumed that a search condition is generated from information attached to an image and an image is searched many times to browse various images. In this case, depending on the type of image to be searched and the number of images, similar images or the same image may be repeatedly searched as a search result in several searches, and no change may be seen in search browsing.

本発明は上記課題を解決し、検索を複数回行って画像を閲覧する時に、重複した画像が検索結果として表示されることを低減し、変化に富んだ閲覧を可能にすることを目的とする。   An object of the present invention is to solve the above-described problems, and to reduce the display of duplicate images as search results when browsing images by performing a search a plurality of times, and to enable browsing that is rich in change. .

上記課題を解決するため、本発明の画像検索装置は、
画像を表示手段に表示するように制御する表示制御手段と、
前記表示手段に表示している検索キー画像に基づいて生成した複数の検索条件で検索された複数の画像を表示し、該複数の画像の中から選択された画像を新たな検索キー画像として表示し、該新たな検索キー画像に基づいて新たな複数の検索条件を生成し、該新たな複数の検索条件で検索される複数の画像の表示を行う動作モードに切り替える切り替え手段と、
記録媒体に前記検索キー画像になり得る画像の数が閾値以上記録されているか否かを判定する判定手段と、
前記判定手段によって前記検索キー画像になり得る画像が前記閾値以上記録されていると判定すると、前記切り替え手段によって前記動作モードに切り替えられるように制御し、前記判定手段によって前記検索キー画像になり得る画像が前記閾値以上記録されていないと判定すると、前記切り替え手段によって前記動作モードに切り替えられないように前記切り替え手段を制御する制御手段と
を有することを特徴とする。
In order to solve the above-described problem, an image search apparatus according to the present invention provides:
Display control means for controlling to display an image on the display means;
A plurality of images searched under a plurality of search conditions generated based on a search key image displayed on the display means are displayed, and an image selected from the plurality of images is displayed as a new search key image. Switching means for generating a plurality of new search conditions based on the new search key image and switching to an operation mode for displaying a plurality of images searched under the new search conditions;
Determining means for determining whether or not the number of images that can be the search key images is recorded on a recording medium equal to or greater than a threshold;
If it is determined by the determination means that an image that can be the search key image is recorded above the threshold value, the switching means is controlled to switch to the operation mode, and the determination means can be the search key image. And a control unit that controls the switching unit so that the switching unit does not switch to the operation mode when it is determined that an image is not recorded above the threshold value.

本発明によれば、検索を複数回行って画像を閲覧する時に、重複した画像が検索結果として表示される可能性を低減し、変化に富んだ閲覧を可能にする。   According to the present invention, when browsing images by performing a plurality of searches, it is possible to reduce the possibility that duplicate images will be displayed as search results, and to enable browsing that is rich in change.

本発明の一側面としての画像検索装置として機能する撮像装置を示す概略外観図である。1 is a schematic external view showing an imaging device that functions as an image search device according to one aspect of the present invention. 図1に示す撮像装置の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the imaging device shown in FIG. 図1に示す撮像装置の動作を説明するためのフローチャートである。3 is a flowchart for explaining the operation of the imaging apparatus shown in FIG. 1. 記録媒体に記録される画像ファイル(静止画像ファイル)の構成例を示す図である。It is a figure which shows the structural example of the image file (still image file) recorded on a recording medium. 図3に示すS316の再生処理を詳細に説明するためのフローチャートである。4 is a flowchart for explaining in detail the reproduction processing of S316 shown in FIG. 3. 図5に示すS518の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。6 is a flowchart for explaining in detail the related image reproduction possibility determination process of S518 shown in FIG. 5; 図1に示す撮像装置の表示部における表示例を示す図である。It is a figure which shows the example of a display in the display part of the imaging device shown in FIG. 図5に示すS532の関連画像再生処理を詳細に説明するためのフローチャートである。6 is a flowchart for explaining in detail the related image reproduction processing of S532 shown in FIG. 図1に示す撮像装置の表示部における表示例を示す図である。It is a figure which shows the example of a display in the display part of the imaging device shown in FIG.

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the accompanying drawings. In addition, in each figure, the same reference number is attached | subjected about the same member and the overlapping description is abbreviate | omitted.

図1は、本発明の一側面としての画像検索装置として機能する撮像装置100を示す概略外観図である。図2は、撮像装置100の構成を示す概略ブロック図である。撮像装置100は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置100は、撮像した画像に対応する画像データ(画像ファイル)を、撮像装置100に接続された記録媒体200に記録すると共に、記録媒体200に記録された画像データ(画像ファイル)に対応する画像を表示(再生)する。なお、記録媒体200は、メモリカードやハードディスクなどで構成され、各種データを記録する。記録媒体200は、撮像装置100のスロットに収納されることで、インタフェース(I/F)を介して、撮像装置100との通信が可能となる。   FIG. 1 is a schematic external view showing an imaging apparatus 100 that functions as an image search apparatus according to one aspect of the present invention. FIG. 2 is a schematic block diagram illustrating the configuration of the imaging apparatus 100. The imaging apparatus 100 is an imaging apparatus that captures an image of a subject, and is embodied as a digital camera in the present embodiment. In addition, the imaging apparatus 100 records image data (image file) corresponding to the captured image on the recording medium 200 connected to the imaging apparatus 100, and the image data (image file) recorded on the recording medium 200. Display (play) the corresponding image. The recording medium 200 is composed of a memory card, a hard disk, etc., and records various data. The recording medium 200 is accommodated in the slot of the imaging apparatus 100, so that communication with the imaging apparatus 100 is possible via an interface (I / F).

撮像装置100は、図1及び図2に示すように、撮像光学系102と、シャッター部104と、撮像部106と、バリア部108と、A/D変換部110と、画像処理部112と、メモリ114と、D/A変換部116と、表示部118とを有する。また、撮像装置100は、メモリ制御部120と、不揮発性メモリ122と、システム制御部124と、システムメモリ126とを有する。更に、撮像装置100は、モード切替スイッチ128と、シャッターボタン130と、十字ボタン132と、ホイール134と、電源スイッチ136と、電源制御部138と、電源部140とを有する。   As shown in FIGS. 1 and 2, the imaging apparatus 100 includes an imaging optical system 102, a shutter unit 104, an imaging unit 106, a barrier unit 108, an A / D conversion unit 110, an image processing unit 112, A memory 114, a D / A converter 116, and a display 118 are included. In addition, the imaging apparatus 100 includes a memory control unit 120, a nonvolatile memory 122, a system control unit 124, and a system memory 126. Furthermore, the imaging apparatus 100 includes a mode switch 128, a shutter button 130, a cross button 132, a wheel 134, a power switch 136, a power control unit 138, and a power unit 140.

撮像光学系102は、撮像レンズやフォーカスレンズなどを含み、被写体からの光を撮像部106の撮像面に結像する(即ち、光学像を形成する)。シャッター部104は、本実施形態では、絞り機能を有する。撮像部106は、CCDやCMOS素子(光電変換素子)などで構成され、撮像光学系102によって形成された光学像を電気信号に変換する。バリア部108は、撮像光学系102、シャッター部104及び撮像部106を含む撮像系をカバーして、撮像系への汚れの付着や撮像系の破損を防止する。A/D変換部110は、アナログ信号をデジタル信号に変換する機能を有し、本実施形態では、撮像部106から出力されるアナログ信号をデジタル信号に変換する。   The imaging optical system 102 includes an imaging lens, a focus lens, and the like, and focuses light from the subject on the imaging surface of the imaging unit 106 (that is, forms an optical image). In this embodiment, the shutter unit 104 has a diaphragm function. The imaging unit 106 includes a CCD, a CMOS element (photoelectric conversion element), and the like, and converts an optical image formed by the imaging optical system 102 into an electrical signal. The barrier unit 108 covers the imaging system including the imaging optical system 102, the shutter unit 104, and the imaging unit 106, and prevents dirt from being attached to the imaging system and damage to the imaging system. The A / D conversion unit 110 has a function of converting an analog signal into a digital signal. In the present embodiment, the A / D conversion unit 110 converts the analog signal output from the imaging unit 106 into a digital signal.

画像処理部112は、A/D変換部110から入力されるデータ又はメモリ制御部120から入力されるデータに対して、画素補間や縮小などのリサイズ処理や色変換処理を行う。また、画像処理部112は、撮像した画像を用いて所定の演算処理を行い、演算結果をシステム制御部124に出力する。システム制御部124は、画像処理部112からの演算結果に基づいて、露光制御及び焦点検出制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理及びEF(フラッシュプリ発光)処理が行われる。更に、画像処理部112は、撮像した画像を用いて所定の演算処理を行い、かかる演算結果に基づいて、TTL方式のAWB(オートホワイトバランス)処理も実行する。   The image processing unit 112 performs resizing processing such as pixel interpolation and reduction, and color conversion processing on data input from the A / D conversion unit 110 or data input from the memory control unit 120. The image processing unit 112 performs predetermined calculation processing using the captured image and outputs the calculation result to the system control unit 124. The system control unit 124 performs exposure control and focus detection control based on the calculation result from the image processing unit 112. As a result, TTL (through the lens) AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing are performed. Furthermore, the image processing unit 112 performs predetermined calculation processing using the captured image, and also executes TTL AWB (auto white balance) processing based on the calculation result.

メモリ114は、画像処理部112及びメモリ制御部120を介して、或いは、メモリ制御部120を介して、A/D変換部110から出力されるデータを格納する。例えば、メモリ114は、撮像部106から出力されてA/D変換部110でデジタル信号に変換された画像データ(静止画像データや動画像データ)や表示部118に表示するため(即ち、画像表示用)の画像データなどを格納する。従って、メモリ114は、閾値の数の静止画像データや所定時間の動画像データ及び音声データを格納することが可能な記憶容量を備える。なお、メモリ114は、画像表示用のメモリ(ビデオメモリ)としても機能する。   The memory 114 stores data output from the A / D conversion unit 110 via the image processing unit 112 and the memory control unit 120 or via the memory control unit 120. For example, the memory 114 is displayed from the image data (still image data or moving image data) output from the imaging unit 106 and converted into a digital signal by the A / D conversion unit 110 or the display unit 118 (that is, image display). Image data etc. are stored. Accordingly, the memory 114 has a storage capacity capable of storing still image data of a threshold number, moving image data and audio data for a predetermined time. The memory 114 also functions as an image display memory (video memory).

D/A変換部116は、メモリ114に格納されている画像表示用の画像データをアナログ信号に変換して、表示部118に供給する。表示部118は、LCD等の表示素子を有し、D/A変換部116から供給されるアナログ信号に応じた画像や撮像装置100に関する各種情報を表示する。   The D / A conversion unit 116 converts image data for image display stored in the memory 114 into an analog signal and supplies the analog signal to the display unit 118. The display unit 118 includes a display element such as an LCD, and displays an image corresponding to the analog signal supplied from the D / A conversion unit 116 and various types of information related to the imaging device 100.

メモリ制御部120は、メモリ114に格納されるデータ(画像データなど)及びメモリ114から読み出されるデータを制御する。不揮発性メモリ122は、電気的にデータを消去及び記録可能なメモリであって、例えば、EEPROMなどを含む。不揮発性メモリ122は、システム制御部124の動作用の定数やプログラム(後述する種々のフローチャートを実行するためのプログラム)などを格納(記録)する。   The memory control unit 120 controls data (such as image data) stored in the memory 114 and data read from the memory 114. The nonvolatile memory 122 is a memory that can electrically erase and record data, and includes, for example, an EEPROM. The non-volatile memory 122 stores (records) constants and programs for operating the system control unit 124 (programs for executing various flowcharts described later) and the like.

システム制御部124は、撮像装置100の全体を制御する。システム制御部124は、不揮発性メモリ122に格納されたプログラムを実行して、本実施形態の各処理を実現する。例えば、システム制御部124は、メモリ114、D/A変換部116及び表示部118などを制御して表示制御を行う。システムメモリ126は、例えば、RAMで構成され、システム制御部124の動作用の定数や変数、不揮発性メモリ122から読み出したプログラム等を展開する。   The system control unit 124 controls the entire imaging apparatus 100. The system control unit 124 executes a program stored in the nonvolatile memory 122 to realize each process of the present embodiment. For example, the system control unit 124 performs display control by controlling the memory 114, the D / A conversion unit 116, the display unit 118, and the like. The system memory 126 is composed of, for example, a RAM, and expands constants and variables for operation of the system control unit 124, a program read from the nonvolatile memory 122, and the like.

モード切替スイッチ128、シャッターボタン130、十字ボタン132、ホイール134及び電源スイッチ136などを含む複数のスイッチやボタンは、ユーザの操作を受け付ける(システム制御部124に各種の動作指示を入力する)操作部として機能する。また、操作部は、表示部118に設けられたタッチパネルも含む。タッチパネルには、表示部118に表示される種々の機能アイコンを選択(操作)することによって、適宜機能が割り当てられる。換言すれば、タッチパネルは、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン、関連画像再生ボタンなどの機能ボタンとして機能する。例えば、メニューボタンが押された場合、各種設定を可能とするメニュー画面が表示部118に表示される。これにより、ユーザは、表示部118に表示されたメニュー画面と、十字状に配置された上ボタン、下ボタン、左ボタン及び右ボタンを含む十字ボタン132やセットボタンとを用いて、直感的に各種設定を行うことができる。   A plurality of switches and buttons including a mode switch 128, a shutter button 130, a cross button 132, a wheel 134, and a power switch 136 receive an operation of a user (input various operation instructions to the system control unit 124). Function as. The operation unit also includes a touch panel provided on the display unit 118. Functions are appropriately assigned to the touch panel by selecting (operating) various function icons displayed on the display unit 118. In other words, the touch panel functions as function buttons such as an end button, a return button, an image advance button, a jump button, a narrowing button, an attribute change button, and a related image playback button. For example, when a menu button is pressed, a menu screen that allows various settings is displayed on the display unit 118. Thus, the user intuitively uses the menu screen displayed on the display unit 118 and the cross button 132 and the set button including the upper button, the lower button, the left button, and the right button arranged in a cross shape. Various settings can be made.

モード切替スイッチ128は、撮像装置100(システム制御部124)の動作モードを切り替えるためのスイッチである。本実施形態では、撮像装置100の動作モードを静止画像撮像モード、動画像撮像モード、再生モードなどに切り替えることが可能である。   The mode switch 128 is a switch for switching the operation mode of the imaging apparatus 100 (system control unit 124). In the present embodiment, the operation mode of the image capturing apparatus 100 can be switched to a still image capturing mode, a moving image capturing mode, a playback mode, and the like.

シャッターボタン130は、被写体の撮像を指示するためのボタンであって、第1のシャッタースイッチ130aと、第2のシャッタースイッチ130bとを含む。第1のシャッタースイッチ130aは、シャッターボタン130の操作途中(半押し)でON状態となり、第1のシャッタースイッチ信号SW1を生成して、システム制御部124に供給する。なお、システム制御部124は、第1のシャッタースイッチ130aから供給される第1のシャッタースイッチ信号SW1によって、AF処理、AE処理、EF処理などを開始する。第2のシャッタースイッチ130bは、シャッターボタン130の操作完了(全押し)でON状態となり、第2のシャッタースイッチ信号SW2を生成して、システム制御部124に供給する。なお、システム制御部124は、第2のシャッタースイッチ130bから供給される第2のシャッタースイッチ信号SW2によって、撮像部106からの画像の読み出しから記録媒体200に画像データを記録するまでの一連の撮像処理を開始する。   The shutter button 130 is a button for instructing imaging of a subject, and includes a first shutter switch 130a and a second shutter switch 130b. The first shutter switch 130 a is turned on in the middle of the operation of the shutter button 130 (half-pressed), generates the first shutter switch signal SW <b> 1, and supplies it to the system control unit 124. The system control unit 124 starts AF processing, AE processing, EF processing, and the like in response to the first shutter switch signal SW1 supplied from the first shutter switch 130a. The second shutter switch 130b is turned on when the operation of the shutter button 130 is completed (fully pressed), generates the second shutter switch signal SW2, and supplies the second shutter switch signal SW2 to the system control unit 124. Note that the system control unit 124 performs a series of imaging operations from reading an image from the imaging unit 106 to recording image data on the recording medium 200 using the second shutter switch signal SW2 supplied from the second shutter switch 130b. Start processing.

ホイール134は、回転可能な部材であって、表示部118に表示された選択項目を指示する際などに十字ボタン132と共に使用される。ホイール134は、回転量に応じて電気的なパルス信号を生成して、システム制御部124に供給する。システム制御部124は、ホイール134から供給されるパルス信号に基づいて、撮像装置100の各部を制御する。なお、ホイール134は、ユーザの回転操作を検出することができればどのような部材であってもよい。例えば、ホイール134は、ユーザの回転操作に応じてホイール自体が回転してパルス信号を生成するダイヤル部材であってもよいし、ホイール自体は回転せず、ホイール上でのユーザの回転操作を検出するタッチホイールであってもよい。   The wheel 134 is a rotatable member and is used together with the cross button 132 when instructing a selection item displayed on the display unit 118. The wheel 134 generates an electrical pulse signal according to the amount of rotation and supplies it to the system control unit 124. The system control unit 124 controls each unit of the imaging apparatus 100 based on the pulse signal supplied from the wheel 134. The wheel 134 may be any member as long as it can detect the user's rotation operation. For example, the wheel 134 may be a dial member that generates a pulse signal by rotating the wheel itself in response to a user's rotation operation, or the wheel itself does not rotate and detects the user's rotation operation on the wheel. It may be a touch wheel.

電源スイッチ136は、撮像装置100の電源状態を電源ONの状態又は電源OFFの状態に切り替えるためのスイッチである。電源制御部138は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部140における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部138は、電源部140における検出結果及びシステム制御部124からの指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む撮像装置100の各部に供給する。電源部140は、アルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池やLi電池などの二次電池、ACアダプターなどを着脱可能に保持して、電圧(直流電圧)を出力する。   The power switch 136 is a switch for switching the power state of the imaging apparatus 100 to a power ON state or a power OFF state. The power supply control unit 138 includes a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like, and detects whether or not the battery is installed in the power supply unit 140, the type of battery, and the remaining capacity of the battery. Further, the power supply control unit 138 controls the DC-DC converter based on the detection result in the power supply unit 140 and the instruction from the system control unit 124, and the necessary voltage is applied to the imaging apparatus 100 including the recording medium 200 for a necessary period. Supply to each part. The power supply unit 140 detachably holds a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery or a Li battery, or an AC adapter, and outputs a voltage (DC voltage).

撮像装置100では、中央1点AFや顔AFを用いて、被写体を撮像することが可能である。中央1点AFとは、撮像画面内の中央位置の1点に対してAFを行うことであり、顔AFとは、顔検出処理によって検出された撮像画面内の顔に対してAFを行うことである。また、撮像装置100は、顔AFと同時に、顔AE、顔FE及び顔WBを行うこともできる。顔AEとは、顔検出処理によって検出された顔の明るさに応じて、撮像画面全体の露出を最適化することである。顔FEとは、顔検出処理によって検出された顔を中心としてフラッシュの調光を行うことである。顔WBとは、顔検出処理によって検出された顔の色に応じて、撮像画面全体のWBを最適化することである。   In the imaging apparatus 100, it is possible to image a subject using the central one-point AF and the face AF. The center one-point AF is to perform AF on one point at the center position in the imaging screen, and the face AF is to perform AF on the face in the imaging screen detected by the face detection process. It is. Further, the imaging apparatus 100 can perform the face AE, the face FE, and the face WB simultaneously with the face AF. The face AE is to optimize the exposure of the entire imaging screen according to the brightness of the face detected by the face detection process. The face FE is to perform flash light control around the face detected by the face detection process. The face WB is to optimize the WB of the entire imaging screen in accordance with the face color detected by the face detection process.

ここで、顔検出処理について簡単に説明する。顔検出処理では、まず、システム制御部124が顔検出対象の画像データを画像処理部112に入力する。画像処理部112は、システム制御部124の制御下で、入力された画像データに対して水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタを作用ささせて、画像データからエッジ成分を検出する。システム制御部124は、画像処理部112によって検出されたエッジ成分に対してパターンマッチングを行い、目、鼻、口及び耳の候補群を抽出する。また、システム制御部124は、抽出された候補群のうち、予め設定された条件(例えば、2つの目の距離や傾きなど)を満たすものを目と判断して、目の候補群として絞り込む。更に、システム制御部124は、絞り込まれた目の候補群とそれに対応する顔の他のパターン(鼻、口、耳)とを対応させ、予め設定した非顔条件フィルタを作用させることで顔を検出する。そして、システム制御部124は、顔の検出結果に応じて顔情報を生成して、顔検出処理を終了する。なお、顔情報は、例えば、顔の数、位置及びサイズなどを含み、画像(画像データ)の特徴量として画像データに関連付けてメモリ114や記録媒体200に格納される。   Here, the face detection process will be briefly described. In the face detection process, first, the system control unit 124 inputs image data to be detected to the image processing unit 112. The image processing unit 112 detects edge components from the image data by applying a horizontal bandpass filter and a vertical bandpass filter to the input image data under the control of the system control unit 124. The system control unit 124 performs pattern matching on the edge component detected by the image processing unit 112 and extracts a candidate group of eyes, nose, mouth, and ears. In addition, the system control unit 124 determines that an eye that satisfies a preset condition (for example, the distance or inclination of two eyes) among the extracted candidate groups is an eye and narrows it down as an eye candidate group. Further, the system control unit 124 associates the narrowed-down eye candidate group with other patterns of the face (nose, mouth, ears) corresponding thereto, and applies a preset non-face condition filter to apply the face. To detect. Then, the system control unit 124 generates face information according to the face detection result, and ends the face detection process. The face information includes, for example, the number, position, size, and the like of the face, and is stored in the memory 114 or the recording medium 200 in association with the image data as a feature amount of the image (image data).

このように、撮像装置100では、ライブビュー表示、或いは、再生(表示)される画像に対応する画像データを解析し、顔情報などの画像データの特徴量を検出することができる。   As described above, the imaging apparatus 100 can analyze image data corresponding to an image to be displayed in live view display or reproduced (displayed) and detect a feature amount of image data such as face information.

以下、撮像装置100の全体的な動作について説明する。図3は、撮像装置100の動作を説明するためのフローチャートである。電源スイッチ136が操作されて撮像装置100の電源状態が電源OFFの状態から電源ONの状態になると、撮像装置100は動作を開始する。   Hereinafter, the overall operation of the imaging apparatus 100 will be described. FIG. 3 is a flowchart for explaining the operation of the imaging apparatus 100. When the power switch 136 is operated to change the power state of the imaging apparatus 100 from the power-off state to the power-on state, the imaging apparatus 100 starts operation.

まず、S302において、システム制御部124は、フラグや制御変数等を初期化する。次いで、S304において、システム制御部124は、記録媒体200に記録されているファイルに関する管理処理(ファイル管理処理)を行う。本実施形態では、システム制御部124は、再生対象のディレクトリの有無、再生対象の画像データ(画像ファイル)の有無、再生対象の画像データのパス名リスト、記録媒体200に記録された画像の総数の情報を取得し、システムメモリ126に格納する。   First, in S302, the system control unit 124 initializes flags, control variables, and the like. In step S <b> 304, the system control unit 124 performs management processing (file management processing) regarding the files recorded on the recording medium 200. In the present embodiment, the system control unit 124 includes the presence / absence of a reproduction target directory, the presence / absence of reproduction target image data (image file), the reproduction target image data path name list, and the total number of images recorded on the recording medium 200. Is acquired and stored in the system memory 126.

次に、S306、S308及びS310において、システム制御部124は、撮像装置100の動作モード(即ち、モード切替スイッチ128によって設定された動作モード)を判別する。具体的には、S306において、システム制御部124は、撮像装置100の動作モードが静止画像撮像モードであるかどうかを判別する。撮像装置100の動作モードが静止画像撮像モードであると判別された場合には、S312に移行して、システム制御部124は、静止画像撮像処理を行う。また、撮像装置100の動作モードが静止画像撮像モードではないと判別された場合には、S308に移行して、システム制御部124は、撮像装置100の動作モードが動画像撮像モードであるかどうかを判別する。撮像装置100の動作モードが動画像撮像モードであると判別された場合には、S314に移行して、システム制御部124は、動画像撮像処理を行う。また、撮像装置100の動作モードが動画像撮像モードではないと判別された場合には、S310に移行して、システム制御部124は、撮像装置100の動作モードが再生モードであるかどうかを判別する。撮像装置100の動作モードが再生モードであると判別された場合には、S316に移行して、システム制御部124は、再生処理を行う。なお、S316の再生処理については後で詳細に説明する。また、撮像装置100の動作モードが再生モードではない(即ち、静止画像撮像モード、動画像撮像モード及び再生モード以外のその他のモードである)と判別された場合には、S318に移行して、システム制御部124は、その他のモードに応じた処理を行う。ここで、その他のモードとしては、例えば、記録媒体200に記録されたファイルを送信する送信モード、外部機器からファイルを受信して記録媒体200に記録する受信モードなどがある。モード切替スイッチ128によって設定された動作モードに対応した処理(S312、S314、S316又はS318の処理)を行うと、S320に移行する。   Next, in S306, S308, and S310, the system control unit 124 determines the operation mode of the imaging apparatus 100 (that is, the operation mode set by the mode change switch 128). Specifically, in S306, the system control unit 124 determines whether the operation mode of the imaging apparatus 100 is the still image imaging mode. When it is determined that the operation mode of the image capturing apparatus 100 is the still image capturing mode, the process proceeds to S312 and the system control unit 124 performs a still image capturing process. If it is determined that the operation mode of the image capturing apparatus 100 is not the still image capturing mode, the process proceeds to S308, and the system control unit 124 determines whether the operation mode of the image capturing apparatus 100 is the moving image capturing mode. Is determined. When it is determined that the operation mode of the image capturing apparatus 100 is the moving image capturing mode, the process proceeds to S314, and the system control unit 124 performs a moving image capturing process. When it is determined that the operation mode of the imaging apparatus 100 is not the moving image imaging mode, the process proceeds to S310, and the system control unit 124 determines whether the operation mode of the imaging apparatus 100 is the playback mode. To do. When it is determined that the operation mode of the imaging apparatus 100 is the playback mode, the process proceeds to S316, and the system control unit 124 performs a playback process. Note that the reproduction processing in S316 will be described in detail later. If it is determined that the operation mode of the image capturing apparatus 100 is not the playback mode (that is, other modes other than the still image capturing mode, the moving image capturing mode, and the playback mode), the process proceeds to S318. The system control unit 124 performs processing according to other modes. Here, as other modes, for example, there are a transmission mode in which a file recorded in the recording medium 200 is transmitted, and a reception mode in which a file is received from an external device and recorded in the recording medium 200. When processing corresponding to the operation mode set by the mode switch 128 (processing of S312, S314, S316, or S318) is performed, the process proceeds to S320.

S320において、システム制御部124は、電源スイッチ136が操作されて撮像装置100の電源状態が電源ONの状態から電源OFFの状態になったかどうかを判別する。撮像装置100の電源状態が電源OFFの状態になっていない(電源ONの状態を維持している)と判別された場合には、S306(S306乃至S310における撮像装置100の動作モードの判別)に移行する。また、撮像装置100の電源状態が電源OFFの状態になったと判別された場合には、S322に移行して、システム制御部124は、終了処理を行う。終了処理は、例えば、表示部118の表示を終了する処理、バリア部108で撮像系を保護する処理、フラグや制御変数などを含むパラメータや設定値を不揮発性メモリ122に記録する処理、電源供給が不要な構成要素への電源供給を停止する処理を含む。S322の終了処理が完了すると、撮像装置100は動作を終了する。   In S320, the system control unit 124 determines whether the power switch 136 is operated and the power state of the imaging apparatus 100 is changed from the power-on state to the power-off state. When it is determined that the power supply state of the imaging apparatus 100 is not in the power OFF state (maintains the power ON state), the process proceeds to S306 (determination of the operation mode of the imaging apparatus 100 in S306 to S310). Transition. If it is determined that the power supply state of the imaging apparatus 100 is in the power OFF state, the process proceeds to S322, and the system control unit 124 performs a termination process. The termination processing includes, for example, processing for terminating display on the display unit 118, processing for protecting the imaging system with the barrier unit 108, processing for recording parameters and setting values including flags and control variables in the nonvolatile memory 122, and power supply Includes a process of stopping the power supply to the components that do not require the operation. When the end process of S322 is completed, the imaging apparatus 100 ends the operation.

図4を参照して、S312の静止画像撮像処理を行うことで記録媒体200に記録される画像ファイル(静止画像ファイル)の構成について説明する。図4に示すように、画像ファイル400は、先頭に画像ファイルの開始を示すマーカ(SOI)410を有する。また、画像ファイル400は、マーカ410の後にヘッダに相当する第1のアプリケーションマーカ(APP1)420及び第2のアプリケーションマーカ(APP1)430を有する。更に、画像ファイル400は、画像ファイルの最後を示すマーカ(EOI)490を有する。   With reference to FIG. 4, the configuration of an image file (still image file) recorded on the recording medium 200 by performing the still image capturing process of S312 will be described. As shown in FIG. 4, the image file 400 has a marker (SOI) 410 indicating the start of the image file at the head. The image file 400 includes a first application marker (APP1) 420 and a second application marker (APP1) 430 corresponding to a header after the marker 410. Furthermore, the image file 400 has a marker (EOI) 490 indicating the end of the image file.

第1のアプリケーションマーカ420は、サイズ(APP1 Length)421、アプリケーションマーカがExifであることを示す識別コード(APP1 Identifier Code)422を含む。また、第1のアプリケーションマーカ420は、画像データの作成日時(Date Time)423、画像データが生成された日時(Date Time Original)424を含む。更に、第1のアプリケーションマーカ420は、画像データの色情報(ColorInfo)425、画像データの顔情報(FaceInfo)426、その他の撮像情報(...Etc.)427、サムネイル画像(Thumbnail Data)428を含む。   The first application marker 420 includes a size (APP1 Length) 421 and an identification code (APP1 Identifier Code) 422 indicating that the application marker is Exif. Further, the first application marker 420 includes an image data creation date (Date Time) 423 and an image data generation date (Date Time Original) 424. Further, the first application marker 420 includes image data color information (ColorInfo) 425, image data face information (FaceInfo) 426, other imaging information (... Etc.) 427, and thumbnail image (Thumbnail Data) 428. including.

第2のアプリケーションマーカ430は、サイズ(APP1 Length)431、アプリケーションマーカがXMPであることを示す識別コード(APP1 Identifier Code)432を含む。また、第2のアプリケーションマーカ430は、お気に入り度(Rating)433、メタデータ変更日時(MetaDataDate)434、その他の撮像情報(...Etc.)435を含む。   The second application marker 430 includes a size (APP1 Length) 431 and an identification code (APP1 Identifier Code) 432 indicating that the application marker is XMP. In addition, the second application marker 430 includes a favorite level (Rating) 433, a metadata change date / time (MetaDataDate) 434, and other imaging information (... Etc.) 435.

また、画像ファイル400に記録される画像データは、量子化テーブル(DQT)440、ハフマンテーブル(DHT)450、フレーム開始マーカ(SOF)460を含む。更に、画像ファイル400に記録される画像データは、スキャン開始マーカ(SOS)470、圧縮データ(Compressed data)480を含む。   The image data recorded in the image file 400 includes a quantization table (DQT) 440, a Huffman table (DHT) 450, and a frame start marker (SOF) 460. Further, the image data recorded in the image file 400 includes a scan start marker (SOS) 470 and compressed data (Compressed data) 480.

図3に示すS316の再生処理について説明する。図5は、S316の再生処理を詳細に説明するためのフローチャートである。なお、再生処理は、モード切替スイッチ128が操作されて他のモードに切り替わった場合や電源スイッチ136が操作されて撮像装置100の電源状態が電源OFFの状態になった場合に、割り込み処理等によって終了する。   The reproduction process of S316 shown in FIG. 3 will be described. FIG. 5 is a flowchart for explaining the reproduction process of S316 in detail. Note that the reproduction process is performed by an interrupt process or the like when the mode switch 128 is operated to switch to another mode or when the power switch 136 is operated and the power supply state of the imaging apparatus 100 is turned off. finish.

まず、S502において、システム制御部124は、記録媒体200から、記録媒体200に記録されている画像(画像データ)の最新の画像情報を取得する。次に、S504において、システム制御部124は、記録媒体200から最新の画像情報が正しく取得されたかどうかを判定する。最新の画像情報が正しく取得されていないと判定された場合には、S506以降において、システム制御部124は、画像なし時の入力待ち状態となる。なお、最新の画像情報が正しく取得されていない場合とは、記録媒体200に記録されている画像が1つもないような状態や記録媒体200の不良によって画像情報が取得できないような状態などが考えられる。一方、最新の画像情報が正しく取得されたと判定された場合には、S512に移行する。なお、記録媒体200に少なくとも1つの画像が記録されていれば、画像情報を取得することが可能である。   First, in step S <b> 502, the system control unit 124 acquires the latest image information of an image (image data) recorded on the recording medium 200 from the recording medium 200. In step S <b> 504, the system control unit 124 determines whether the latest image information is correctly acquired from the recording medium 200. If it is determined that the latest image information has not been acquired correctly, the system control unit 124 enters an input waiting state when there is no image in S506 and thereafter. Note that the case where the latest image information is not acquired correctly includes a state where no image is recorded on the recording medium 200 or a state where the image information cannot be acquired due to a defect in the recording medium 200. It is done. On the other hand, if it is determined that the latest image information has been correctly acquired, the process proceeds to S512. If at least one image is recorded on the recording medium 200, the image information can be acquired.

S506において、システム制御部124は、最新の画像情報が正しく取得されていない(記録媒体200に画像が記録されていない)ことをユーザに通知する。例えば、システム制御部124は、「画像がありません」というメッセージを表示部118に表示する。次いで、S508において、システム制御部124は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部140の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、S508を繰り返す。また、操作入力があったと判定された場合には、S510に移行し、システム制御部124は、操作入力に対応する処理を行う。例えば、記録媒体200に画像が記録されていなくても、メニューボタンの操作入力がされた場合には、メニュー画面を表示部118に表示して、ユーザが設定変更などを行えるようにする。   In step S <b> 506, the system control unit 124 notifies the user that the latest image information has not been correctly acquired (an image has not been recorded on the recording medium 200). For example, the system control unit 124 displays a message “No image” on the display unit 118. Next, in S508, the system control unit 124 determines whether or not there is an operation input. The operation input includes an event for notifying an operation of the operation unit by the user, a voltage drop of the power supply unit 140, and the like. If it is determined that there is no operation input, S508 is repeated until there is an operation input. If it is determined that there is an operation input, the process proceeds to S510, and the system control unit 124 performs processing corresponding to the operation input. For example, even when no image is recorded on the recording medium 200, when a menu button operation is input, a menu screen is displayed on the display unit 118 so that the user can change the setting.

S512において、システム制御部124は、S502で取得した最新の画像情報に基づいて、記録媒体200から最新の画像データを読み込む。次に、S514において、システム制御部124は、ファイル解析処理を行って、S512で読み込んだ最新の画像データにおける画像の特徴量や撮像条件を取得する。   In step S512, the system control unit 124 reads the latest image data from the recording medium 200 based on the latest image information acquired in step S502. In step S <b> 514, the system control unit 124 performs file analysis processing, and acquires image feature amounts and imaging conditions in the latest image data read in step S <b> 512.

次に、S516において、システム制御部124は、S512で読み込んだ最新の画像データに対応する画像を表示部118に表示する。この際、S514のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部118に表示してもよい。また、S514のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨(エラー)を表示する。   In step S516, the system control unit 124 displays an image corresponding to the latest image data read in step S512 on the display unit 118. At this time, the image feature amount and imaging conditions acquired by the file analysis processing in S514 may be displayed on the display unit 118. If a defect in the image data such as a part of the image data is detected in the file analysis process in S514, a message to that effect (error) is displayed.

次いで、S518において、システム制御部124は、関連画像再生の可否判定処理を行う。ここで、関連画像再生とは、大量の画像を閲覧する際に、従来の画像送りのように特定の順番で再生(表示)するのではなく、ユーザの興味に応じて再生する再生モードである。関連画像再生では、現在再生している画像(検索キー画像)から生成される互いに異なる複数の検索条件に一致又は類似する画像を、検索キー画像と共に表示する。例えば、検索キー画像に含まれる人物の数と同じ数の人物を含む画像、検索キー画像と同じような色合いの画像、検索キー画像と同じ日に生成された画像などを検索して、検索キー画像と共に表示する。そして、検索された画像から、ユーザの操作に応じて選択された1つの画像を新たな検索キー画像として設定し、新たな検索キー画像を用いて画像の検索及び表示を行う。このように、関連画像再生は、大量の画像を完全にランダムに再生するのではなく、ユーザの興味、即ち、ユーザによって選択された画像(から生成される検索条件)に応じて再生することが可能である。なお、S518の関連画像再生の可否判定処理については図6を用いて後述する。   In step S518, the system control unit 124 performs a related image reproduction permission determination process. Here, the related image reproduction is a reproduction mode in which, when viewing a large number of images, reproduction (display) is not performed in a specific order as in conventional image feeding, but is reproduced according to the user's interest. . In related image reproduction, images that match or are similar to a plurality of different search conditions generated from the currently reproduced image (search key image) are displayed together with the search key image. For example, the search key image is searched for an image including the same number of persons as the number of persons included in the search key image, an image having the same color as the search key image, an image generated on the same day as the search key image, and the like. Display with image. Then, one image selected according to the user's operation from the searched image is set as a new search key image, and the image is searched and displayed using the new search key image. As described above, the related image reproduction can be performed according to the user's interest, that is, an image selected by the user (a search condition generated from the user), rather than reproducing a large amount of images completely at random. Is possible. Note that the related image reproduction possibility determination process in S518 will be described later with reference to FIG.

次に、S520において、システム制御部124は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部140の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、S520を繰り返す。一方、操作入力があったと判定された場合には、S522に移行する。   Next, in S520, the system control unit 124 determines whether there is an operation input. The operation input includes an event for notifying an operation of the operation unit by the user, a voltage drop of the power supply unit 140, and the like. If it is determined that there is no operation input, S520 is repeated until there is an operation input. On the other hand, if it is determined that there is an operation input, the process proceeds to S522.

S522において、システム制御部124は、操作入力が画像送りを指示する操作入力であるかどうかを判定する。ここで、画像送りを指示する操作入力とは、ユーザが、操作部を介して、画像送りボタンを押した(選択した)場合などである。操作入力が画像送りを指示する操作入力であると判定された場合には、S524に移行し、操作入力が画像送りを指示する操作入力ではないと判定された場合には、S530に移行する。   In step S522, the system control unit 124 determines whether or not the operation input is an operation input for instructing image forwarding. Here, the operation input for instructing image feed is when the user presses (selects) the image feed button via the operation unit. If it is determined that the operation input is an operation input for instructing image feed, the process proceeds to S524. If it is determined that the operation input is not an operation input for instructing image feed, the process proceeds to S530.

S524において、システム制御部124は、表示部118に表示する次の画像データを読み込む。画像送りボタンは、送り方向に応じた一対のボタン(例えば、十字ボタン132の左ボタン及び右ボタン)で構成され、操作されたボタンに対応する送り方向に応じて次の画像データが読み込まれる。次に、S526において、システム制御部124は、ファイル解析処理を行って、S524で読み込んだ次の画像データにおける画像の特徴量や撮像条件を取得する。次いで、S528において、システム制御部124は、S524で読み込んだ次の画像データに対応する画像を表示部118に表示して、S518に移行する。この際、S526のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部118に表示してもよい。また、S526のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨(エラー)を表示する。   In step S <b> 524, the system control unit 124 reads the next image data to be displayed on the display unit 118. The image advance button includes a pair of buttons (for example, the left button and the right button of the cross button 132) corresponding to the feed direction, and the next image data is read according to the feed direction corresponding to the operated button. Next, in S526, the system control unit 124 performs file analysis processing, and acquires the image feature amount and imaging conditions in the next image data read in S524. Next, in S528, the system control unit 124 displays an image corresponding to the next image data read in S524 on the display unit 118, and proceeds to S518. At this time, the image feature amount and imaging conditions acquired by the file analysis processing in S526 may be displayed on the display unit 118. If a defect in the image data such as a part of the image data is detected in the file analysis process in S526, a message to that effect (error) is displayed.

S530において、システム制御部124は、操作入力が関連画像再生を指示する操作入力であるかどうかを判定する。ここで、関連画像再生を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生ボタンを押した(選択した)場合などである。操作入力が関連画像再生を指示する操作入力であると判定された場合には、S532に移行し、システム制御部124は、関連画像再生処理を行う。関連画像再生処理については図8を用いて後述する。一方、操作入力が関連画像再生を指示する操作入力ではないと判定された場合には、S534に移行する。   In step S530, the system control unit 124 determines whether the operation input is an operation input for instructing the related image reproduction. Here, the operation input instructing the related image reproduction is a case where the user presses (selects) the related image reproduction button via the operation unit. If it is determined that the operation input is an operation input for instructing related image reproduction, the process proceeds to S532, and the system control unit 124 performs related image reproduction processing. The related image reproduction process will be described later with reference to FIG. On the other hand, if it is determined that the operation input is not an operation input for instructing the related image reproduction, the process proceeds to S534.

S534において、システム制御部124は、操作入力に対応する処理を行う。なお、操作入力に対応する処理とは、例えば、画像(画像データ)の消去処理、画像の編集処理、マルチ再生(マルチ画像表示)への切替処理、メニューボタンによるメニュー画面の表示処理などである。なお、マルチ再生とは、画像データに対応する縮小画像を表示部118に複数並べて表示する再生モードである。   In step S534, the system control unit 124 performs processing corresponding to the operation input. The process corresponding to the operation input includes, for example, an image (image data) erasing process, an image editing process, a switching process to multi-playback (multi-image display), a menu screen display process using a menu button, and the like. . Note that multi-reproduction is a reproduction mode in which a plurality of reduced images corresponding to image data are displayed side by side on the display unit 118.

次に、S536において、システム制御部124は、記録媒体200に画像が記録されているかどうかを判定する。記録媒体200に画像が記録されていない(即ち、S534において画像の消去処理などが行われて画像が存在しない)と判定された場合には、S538に移行して、記録媒体200に画像が記録されていないことをユーザに通知する。一方、記録媒体200に画像が記録されていると判定された場合には、S518に移行する。   In step S536, the system control unit 124 determines whether an image is recorded on the recording medium 200. If it is determined that no image is recorded on the recording medium 200 (that is, the image is erased in S534 and there is no image), the process proceeds to S538 and the image is recorded on the recording medium 200. Notify the user that it has not been done. On the other hand, if it is determined that an image is recorded on the recording medium 200, the process proceeds to S518.

図5に示すS518の関連画像再生の可否判定処理について説明する。図6は、S518の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。   The related image reproduction availability determination process in S518 shown in FIG. 5 will be described. FIG. 6 is a flowchart for explaining in detail the process for determining whether or not the related image can be reproduced in S518.

まず、S602において、システム制御部124は、S516で表示された画像(画像データ)が関連画像再生の対象画像であるかどうかを判定する。本実施形態では、動画像、及び、検索条件を生成するために必要となる画像の特徴量及び撮像条件を有していない画像は、関連画像再生の対象画像としない。換言すれば、S602では、S516で表示された画像が、動画像ではなく、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件(対象画像条件)を満たしているかどうかを判定する。なお、対象画像条件は、静止画像であり、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件としてもよい。また、S516で表示された画像の撮像条件のうち、かかる画像を撮像した撮像装置の機種情報が検索条件を生成するために必要となる画像の特徴量及び撮像条件を付加可能な機種を示す情報であることを対象画像条件の1つとしてもよい。   First, in step S602, the system control unit 124 determines whether the image (image data) displayed in step S516 is a target image reproduction target image. In the present embodiment, a moving image and an image that does not have image feature amounts and imaging conditions necessary for generating a search condition are not set as target images for related image reproduction. In other words, in S602, the condition (target image condition) that the image displayed in S516 is not a moving image and is an image having at least one of the image feature amount and the imaging condition is satisfied. Determine whether or not. The target image condition may be a condition that the image is a still image and an image having at least one of the image feature amount and the imaging condition. In addition, among the imaging conditions of the image displayed in S516, information indicating the model that can add the image feature amount and imaging conditions necessary for the model information of the imaging apparatus that captured the image to generate the search condition This may be one of the target image conditions.

画像が関連画像再生の対象画像ではないと判定された場合には、S604において、システム制御部124は、メモリ114に格納されている関連画像再生選択可能フラグを無効にして、関連画像再生の可否判定処理を終了する。なお、関連画像再生選択可能フラグが無効である場合には、図7(a)に示すように、関連画像再生ボタンを操作(選択)することが不可能となる。図7(a)は、関連画像再生選択可能フラグが無効である場合の表示例であって、関連画像再生ボタンの形態(例えば、色)を他のボタン(例えば、WBボタン、Printボタン)の形態と異ならせ、関連画像再生ボタンの操作が不可能であることを示している。一方、画像が関連画像再生の対象画像であると判定された場合には、S606に移行する。   If it is determined that the image is not a related image reproduction target image, in S604, the system control unit 124 invalidates the related image reproduction selectable flag stored in the memory 114 and determines whether or not the related image reproduction is possible. The determination process ends. When the related image reproduction selectable flag is invalid, it is impossible to operate (select) the related image reproduction button as shown in FIG. FIG. 7A shows a display example when the related image reproduction selectable flag is invalid, and the related image reproduction button has a form (for example, color) of other buttons (for example, a WB button and a Print button). Different from the form, it indicates that the operation of the related image reproduction button is impossible. On the other hand, when it is determined that the image is a target image for related image reproduction, the process proceeds to S606.

S606において、システム制御部124は、メモリ114に格納されている関連画像再生選択可能フラグを有効にする。次いで、S608において、システム制御部124は、記録媒体200に記録された画像のうち、対象画像条件を満たす画像の数をカウントする。なお、連写モード等によって時間的に連続して撮像された一組の連写画像については代表画像を1つとしてカウントするとよい。連写画像のそれぞれを関連画像再生の対象画像としてカウントすると、記録媒体200に連写画像だけが記録されている場合であっても、関連画像再生が実行可能であるとしてしまう(即ち、S616及びS618が行われてしまう)からである。連写画像は画像の特徴量及び撮像条件が同じか類似している場合が多く、関連画像再生の対象として連写画像をバラバラにカウントしてしまうと、同一の連写で撮影された画像ばかりが再生されてしまう可能性が高く、好ましくない。また、S534において画像の編集処理が行われた画像は、編集処理前の画像に似た画像である可能性が高いため、編集処理前の画像と編集処理後の画像とを1つの画像とみなして(即ち、一連画像とみなして)カウントするとよい。但し、編集処理によって画像の特徴量が変更された場合には、編集処理前の画像と編集処理後の画像とを別々の画像としてカウントしてもよい。また、ブレ画像、非合焦画像、お気に入り度が−1(除去)画像は、関連画像再生において表示する必要がないと考え、関連画像再生の対象画像としてカウントしなくてもよい。   In step S <b> 606, the system control unit 124 enables the related image reproduction selectable flag stored in the memory 114. In step S <b> 608, the system control unit 124 counts the number of images that satisfy the target image condition among the images recorded on the recording medium 200. It should be noted that one set of representative images may be counted for a set of continuous shot images taken continuously in time in the continuous shooting mode or the like. If each of the continuous shot images is counted as a target image reproduction target image, the related image reproduction can be executed even when only the continuous shot image is recorded on the recording medium 200 (that is, S616 and S616). This is because S618 is performed). Continuous shot images often have the same or similar image feature values and imaging conditions, and if the consecutive shot images are counted apart as related image playback targets, only the images shot with the same continuous shot are used. Is likely to be regenerated, which is not preferable. In addition, since the image subjected to the image editing process in S534 is likely to be an image similar to the image before the editing process, the image before the editing process and the image after the editing process are regarded as one image. (Ie, as a series of images). However, when the feature amount of the image is changed by the editing process, the image before the editing process and the image after the editing process may be counted as separate images. Further, a blurred image, an out-of-focus image, and an image with a favorite degree of −1 (removed) do not need to be displayed in related image reproduction, and may not be counted as target images for related image reproduction.

次いで、S610において、システム制御部124は、S608でカウントされた対象画像条件を満たす画像の数が閾値以上であるかどうかを判定する。なお、閾値は、関連画像再生処理において、表示部118に同時に表示される複数の関連画像に同一の画像が含まれないように、表示部118に同時に表示する複数の関連画像の数に応じて設定する。また、閾値が大きくなればなるほど、関連画像再生において画像を検索及び表示する際に同一の画像が表示される可能性が少なくなり、変化に富んだ面白みのある関連画像再生が可能となる。従って、関連画像再生処理において、表示部118に表示される画像の数に対して十分に大きな数(例えば、数十枚程度)を閾値として設定するとよい。   Next, in step S610, the system control unit 124 determines whether the number of images that satisfy the target image condition counted in step S608 is greater than or equal to a threshold value. Note that the threshold value depends on the number of a plurality of related images displayed simultaneously on the display unit 118 so that the same image is not included in the plurality of related images displayed simultaneously on the display unit 118 in the related image reproduction process. Set. In addition, as the threshold value increases, the possibility that the same image is displayed when searching for and displaying an image in related image reproduction is reduced, and it is possible to reproduce related images that are rich and interesting. Therefore, in the related image reproduction process, a sufficiently large number (for example, about several tens of images) with respect to the number of images displayed on the display unit 118 may be set as the threshold value.

S608でカウントされた対象画像条件を満たす画像の数が閾値以上ではないと判定された場合には、S612に移行して、システム制御部124は、関連画像再生の実行不可能通知処理を行う。具体的には、図7(b)に示すように、関連画像再生を実行することが不可能であることを表すアイコンICを関連画像再生ボタンに重ねて表示する。次いで、S614において、システム制御部124は、メモリ114に格納されている関連画像再生実行可能フラグを無効にして、関連画像再生の可否判定処理を終了する。   If it is determined that the number of images that satisfy the target image condition counted in S608 is not greater than or equal to the threshold value, the process proceeds to S612, and the system control unit 124 performs an impossibility notification process for related image reproduction. Specifically, as shown in FIG. 7B, an icon IC indicating that it is impossible to execute the related image reproduction is displayed so as to overlap the related image reproduction button. Next, in S614, the system control unit 124 invalidates the related image reproduction executable flag stored in the memory 114, and ends the related image reproduction determination process.

S608でカウントされた対象画像条件を満たす画像の数が閾値以上であると判定された場合には、S616に移行して、システム制御部124は、関連画像再生の実行可能通知処理を行う。具体的には、図7(c)に示すように、関連画像再生ボタンを操作(選択)することが可能であることを表示する。図7(c)では、関連画像再生ボタンの形態が他のボタンの形態と同じであり、また、関連画像再生を実行することが不可能であることを表すアイコンICが表示されておらず、関連画像再生ボタンの操作及び関連画像再生の実行が可能であることを示している。次いで、S618において、システム制御部124は、メモリ114に格納されている関連画像再生実行可能フラグを有効にして、関連画像再生の可否判定処理を終了する。   If it is determined that the number of images that satisfy the target image condition counted in S608 is equal to or greater than the threshold value, the process proceeds to S616, and the system control unit 124 performs a related image reproduction executable notification process. Specifically, as shown in FIG. 7C, it is displayed that the related image playback button can be operated (selected). In FIG. 7C, the form of the related image playback button is the same as that of the other buttons, and the icon IC indicating that it is impossible to execute the related image playback is not displayed. This shows that the operation of the related image playback button and the execution of the related image playback are possible. Next, in S618, the system control unit 124 enables the related image reproduction executable flag stored in the memory 114, and ends the related image reproduction availability determination process.

図5に示すS532の関連画像再生処理について説明する。図8は、S532の関連画像再生処理を詳細に説明するためのフローチャートである。   The related image reproduction process of S532 shown in FIG. 5 will be described. FIG. 8 is a flowchart for explaining in detail the related image reproduction processing of S532.

まず、S802において、システム制御部124は、関連画像再生実行可能フラグが有効であるかどうかを判定する。関連画像再生実行可能フラグが有効ではない(無効である)と判定された場合には、S804に移行して、システム制御部124は、対象画像条件を満たす画像が閾値以上必要であることを通知して、関連画像再生処理を終了する。例えば、システム制御部124は、図7(d)に示すように、「関連画像再生を行うためには、もっとたくさんの画像が必要です。」というメッセージMSを表示部118に表示する。一方、関連画像再生実行可能フラグが有効であると判定された場合には、S806に移行する。   First, in step S <b> 802, the system control unit 124 determines whether the related image reproduction executable flag is valid. If it is determined that the related image reproduction executable flag is not valid (invalid), the process proceeds to S804, and the system control unit 124 notifies that an image satisfying the target image needs to be equal to or greater than a threshold value. Then, the related image reproduction process ends. For example, as shown in FIG. 7D, the system control unit 124 displays a message MS “A larger number of images are necessary to perform related image reproduction” on the display unit 118. On the other hand, if it is determined that the related image reproduction executable flag is valid, the process proceeds to S806.

S806において、システム制御部124は、記録媒体200に記録されている複数の画像から1つの画像をランダムに選択して一手前画像として設定する。次いで、S808において、システム制御部124は、関連画像再生処理に移行する直前に表示部118に表示されている画像(カレント画像)を検索キー画像として設定する。なお、検索キー画像は、検索条件を生成するために設定される画像である。次に、S810において、システム制御部124は、S806で設定された一手前画像を表示部118の所定の位置に表示する。同様に、S812において、システム制御部124は、S808で設定された検索キー画像を表示部118の所定の位置に表示する。本実施形態では、図9(a)に示すように、表示部118の左位置に一手前画像902が表示され、表示部118の中央位置に検索キー画像904が表示される。   In step S806, the system control unit 124 randomly selects one image from a plurality of images recorded on the recording medium 200 and sets it as the previous image. Next, in step S808, the system control unit 124 sets the image (current image) displayed on the display unit 118 immediately before shifting to the related image reproduction process as a search key image. Note that the search key image is an image set for generating a search condition. In step S810, the system control unit 124 displays the previous image set in step S806 at a predetermined position on the display unit 118. Similarly, in step S812, the system control unit 124 displays the search key image set in step S808 at a predetermined position on the display unit 118. In the present embodiment, as shown in FIG. 9A, the previous image 902 is displayed at the left position of the display unit 118, and the search key image 904 is displayed at the center position of the display unit 118.

次に、S814において、システム制御部124は、S808で設定された検索キー画像から、かかる検索キー画像の特徴量及び撮像条件の少なくとも一方を取得する取得処理を行う。具体的には、画像ファイルの構成(図4参照)で説明したように、アプリケーションマーカから画像の特徴量及び撮像条件を取得することが可能である。なお、画像の特徴量は、例えば、画像データの色情報(色の分布及び強度など)や顔情報(顔の数、位置及びサイズなど)などを含む。また、撮像条件は、例えば、画像データが生成(撮像)された日時、撮像モード、撮像装置の各種設定(露出設定など)、被写体距離、位置情報などを含む。   Next, in S814, the system control unit 124 performs an acquisition process for acquiring at least one of the feature amount and the imaging condition of the search key image from the search key image set in S808. Specifically, as described in the configuration of the image file (see FIG. 4), it is possible to acquire the image feature amount and the imaging condition from the application marker. Note that the image feature amount includes, for example, color information (color distribution and intensity, etc.) and face information (number, position, size, etc.) of image data. The imaging conditions include, for example, the date and time when image data was generated (imaged), the imaging mode, various settings of the imaging device (exposure settings, etc.), subject distance, position information, and the like.

次いで、S816において、システム制御部124は、S814で取得された検索キー画像の特徴量及び撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う。検索条件は、表示部118に関連画像(即ち、検索キー画像を用いて検索された画像)として表示する画像の数(本実施形態では、3つ)だけ、画像の特徴量及び撮像条件に含まれる情報を組み合わせて生成される。本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件との3つの検索条件を生成するものとする。   Next, in S816, the system control unit 124 performs generation processing for generating a plurality of different search conditions from at least one of the feature amount and the imaging condition of the search key image acquired in S814. The search conditions are included in the image feature amount and the imaging conditions by the number of images (three in this embodiment) displayed as related images (that is, images searched using the search key image) on the display unit 118. Generated by combining information. In the present embodiment, there are three search conditions including both color information and face information of the search key image, a search condition including only the color information of the search key image, and a search condition including only the face information of the search key image. A search condition is generated.

次に、S818において、システム制御部124は、S816で生成された複数の検索条件のそれぞれについて、S808で設定された検索キー画像を除く画像から検索条件に一致又は類似する関連画像を検索する検索処理を行う。上述したように、本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件が生成されている。従って、関連画像として、検索キー画像の色情報及び顔情報に類似又は一致する画像、検索キー画像の色情報のみに類似又は一致する画像、及び、検索キー画像の顔情報のみに類似又は一致する画像が検索される。   Next, in S818, for each of the plurality of search conditions generated in S816, the system control unit 124 searches for related images that match or are similar to the search conditions from the images other than the search key image set in S808. Process. As described above, in the present embodiment, the search condition including both the color information and face information of the search key image, the search condition including only the color information of the search key image, and the search including only the face information of the search key image. A condition has been generated. Therefore, as related images, an image similar or coincident with the color information and face information of the search key image, an image similar or coincident with only the color information of the search key image, and similar or coincident with only the face information of the search key image. Images are retrieved.

S820において、システム制御部124は、S818で検索された画像が複数の検索条件のそれぞれについて表示部118に表示されるように制御する表示制御処理を行う。具体的には、S818で検索された関連画像を検索条件ごとに割り当てられた表示部118の所定の位置に表示する。本実施形態では、図9(a)に示すように、表示部118の中央下位置に検索キー画像の色情報及び顔情報の両方を含む検索条件で検索された関連画像906が表示される。また、表示部118の右位置に検索キー画像の色情報のみを含む検索条件で検索された関連画像908が表示される。更に、表示部118の中央上位置に検索キー画像の顔情報のみを含む検索条件で検索された関連画像910が表示される。なお、一手前画像902、検索キー画像904、関連画像906、908及び910のそれぞれの色情報及び顔情報を明示した図を図9(b)に示す。但し、図9(b)は、表示部118に実際に表示されるものではなく、内部的に使用される画像の特徴量である色情報及び顔情報を可視化したものである。   In step S820, the system control unit 124 performs display control processing for controlling the image searched in step S818 to be displayed on the display unit 118 for each of a plurality of search conditions. Specifically, the related image searched in S818 is displayed at a predetermined position on the display unit 118 assigned for each search condition. In the present embodiment, as shown in FIG. 9A, a related image 906 searched under a search condition including both color information and face information of a search key image is displayed at the lower center position of the display unit 118. In addition, the related image 908 searched under the search condition including only the color information of the search key image is displayed at the right position of the display unit 118. Further, the related image 910 searched under the search condition including only the face information of the search key image is displayed at the center upper position of the display unit 118. FIG. 9B clearly shows the color information and face information of the foreground image 902, the search key image 904, and the related images 906, 908, and 910. However, FIG. 9B does not actually display on the display unit 118, but visualizes color information and face information, which are feature amounts of images used internally.

また、S818の検索処理において、1つの検索条件に対して複数の画像が検索された場合には、かかる複数の画像から1つの画像をランダムで選択して表示部118に表示すればよい。これにより、1つの検索条件に対して様々な画像を表示することが可能となる。なお、1つの検索条件に対して1つの画像を検索するように、S818の検索処理を行うことも可能である。   Further, in the search process of S818, when a plurality of images are searched for one search condition, one image may be randomly selected from the plurality of images and displayed on the display unit 118. Thereby, various images can be displayed for one search condition. Note that the search processing in S818 can be performed so that one image is searched for one search condition.

また、時間的に連続して撮像された連写画像に対しては検索処理(S818)を行うことを制限してもよい。例えば、関連画像として連写画像を繰り返して表示部118に表示してもユーザにとってメリットはない。そこで、連写画像については代表画像に対して検索処理を行うことで、S820の表示制御処理において、連写画像が繰り返して表示されることを抑制することが可能となる。なお、連写画像であるかどうかの判定方法には、当業界で周知のいかなる判定方法をも適用することができるため、ここでの詳しい説明は省略する。   In addition, the search process (S818) may be restricted for continuous shot images that are continuously captured in time. For example, there is no merit for the user even if continuous shot images are repeatedly displayed as related images on the display unit 118. Therefore, by performing a search process on the representative image for the continuous shot image, it is possible to suppress the continuous shot image from being repeatedly displayed in the display control process of S820. It should be noted that any determination method known in the art can be applied to the determination method as to whether or not the images are continuous shot images, and thus detailed description thereof is omitted here.

次に、S822において、システム制御部124は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部140の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、S822を繰り返す。一方、操作入力があったと判定された場合には、S824に移行する。   Next, in S822, the system control unit 124 determines whether there is an operation input. The operation input includes an event for notifying an operation of the operation unit by the user, a voltage drop of the power supply unit 140, and the like. If it is determined that there is no operation input, S822 is repeated until there is an operation input. On the other hand, if it is determined that there is an operation input, the process proceeds to S824.

S824において、システム制御部124は、操作入力が関連画像再生の終了を指示する操作入力であるかどうかを判定する。ここで、関連画像再生の終了を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生終了ボタンを押した(選択した)場合などである。操作入力が関連画像再生の終了を指示する操作入力であると判定された場合には、関連画像再生処理を終了する。一方、操作入力が関連画像再生の終了を指示する操作入力ではないと判定された場合には、S826に移行する。   In step S824, the system control unit 124 determines whether the operation input is an operation input that instructs the end of the related image reproduction. Here, the operation input for instructing the end of the related image reproduction is, for example, when the user presses (selects) the related image reproduction end button via the operation unit. When it is determined that the operation input is an operation input for instructing the end of the related image reproduction, the related image reproduction process is ended. On the other hand, if it is determined that the operation input is not an operation input for instructing the end of the related image reproduction, the process proceeds to S826.

S826において、システム制御部124は、操作入力が画像の選択を指示する操作入力であるかどうかを判定する。ここで、画像の選択とは、S810及びS820で表示部118に表示された一手前画像及び関連画像からユーザが1つの画像を選択することを意味する。具体的には、ユーザは、図9(a)において、一手前画像902、関連画像906、908及び910の配置関係と同じ配置関係を有する十字ボタン132の左ボタン、下ボタン、上ボタン及び右ボタンのいずれかを指定することで、画像を選択する。また、表示部118にはタッチパネルが設けられているため、ユーザは、表示部118に表示された一手前画像902、関連画像906、908及び910のいずれかをタッチすることで、画像を選択することも可能である。操作入力が画像の選択を指示する操作入力ではないと判定された場合には、S828に移行して、システム制御部124は、操作入力に対応する処理を行う。S828で行う操作入力に対応する処理としては例えば以下の処理がある。   In step S826, the system control unit 124 determines whether the operation input is an operation input instructing selection of an image. Here, the selection of an image means that the user selects one image from the previous image and the related image displayed on the display unit 118 in S810 and S820. Specifically, in FIG. 9A, the user selects the left button, the lower button, the upper button, and the right button of the cross button 132 having the same arrangement relationship as that of the foreground image 902 and the related images 906, 908, and 910. Select an image by specifying one of the buttons. In addition, since the display unit 118 is provided with a touch panel, the user selects an image by touching one of the foreground image 902 and the related images 906, 908, and 910 displayed on the display unit 118. It is also possible. If it is determined that the operation input is not an operation input for instructing image selection, the process proceeds to S828, and the system control unit 124 performs processing corresponding to the operation input. Examples of processing corresponding to the operation input performed in S828 include the following processing.

S822で判定された操作入力が検索キー画像を拡大する操作入力であった場合には、中央に表示された検索キー画像を拡大して表示する。検索キー画像を拡大する操作入力は、操作部の一つとしてのズームレバーで行えるものとすると好適である。ズームレバーは、撮像モードにおいては光学ズーム及び電子ズーム、再生モードにおいては再生している画像の拡大/縮小指示にもちいるズーム操作部材である。   If the operation input determined in S822 is an operation input for enlarging the search key image, the search key image displayed in the center is enlarged and displayed. The operation input for enlarging the search key image is preferably performed with a zoom lever as one of the operation units. The zoom lever is a zoom operation member that uses an optical zoom and an electronic zoom in the imaging mode and an instruction to enlarge / reduce the image being reproduced in the reproduction mode.

S822で判定された操作入力がメニューボタンの押下であった場合は、メニュー画面を表示部118に表示し、各種設定操作を受け付ける。   If the operation input determined in S822 is pressing of the menu button, a menu screen is displayed on the display unit 118 and various setting operations are accepted.

S822で判定された操作入力が検索キー画像に対する画像処理(回転、トリミング、リサイズなど)を指示する操作入力であった場合には、その指示に応じた処理を検索キー画像に施す。   If the operation input determined in S822 is an operation input for instructing image processing (rotation, trimming, resizing, etc.) for the search key image, processing corresponding to the instruction is performed on the search key image.

S822で判定された操作入力が検索キー画像に対して属性情報(お気に入り度、キーワード、分類情報、プロテクト属性、印刷指定属性等)の付与あるいは削除を指示する操作入力であった場合には、その指示に応じて検索キー画像の属性を変更する。   If the operation input determined in step S822 is an operation input for giving or deleting attribute information (favorite degree, keyword, classification information, protect attribute, print designation attribute, etc.) to the search key image, The attribute of the search key image is changed according to the instruction.

一方、操作入力が画像の選択を指示する操作入力であると判定された場合には、S830に移行する。   On the other hand, when it is determined that the operation input is an operation input for instructing selection of an image, the process proceeds to S830.

S830において、システム制御部124は、表示部118に表示された複数の画像(一手前画像及び関連画像)から、ユーザの操作に応じて1つの画像を選択する選択処理を行う。   In step S830, the system control unit 124 performs a selection process of selecting one image from a plurality of images (the previous image and the related image) displayed on the display unit 118 according to a user operation.

次いで、S832において、システム制御部124は、S830で選択された画像を新たな検索キー画像として設定する設定処理を行う。次に、S834において、システム制御部124は、直前の検索キー画像(即ち、S832で新たなキー画像を設定する前の検索キー画像)を新たな一手前画像として設定する。S832及びS834で新たな検索キー画像及び新たな一手間画像が設定されると、S810に移行する。従って、新たな検索キー画像を用いて、取得処理(S814)、生成処理(S816)、検索処理(S818)、表示制御処理(S820)、選択処理(S830)及び設定処理(S832)が繰り返し行われる。   Next, in S832, the system control unit 124 performs setting processing for setting the image selected in S830 as a new search key image. Next, in S834, the system control unit 124 sets the previous search key image (that is, the search key image before setting a new key image in S832) as a new previous image. When a new search key image and a new one-time image are set in S832 and S834, the process proceeds to S810. Therefore, using the new search key image, the acquisition process (S814), the generation process (S816), the search process (S818), the display control process (S820), the selection process (S830), and the setting process (S832) are repeated. Is called.

本実施形態の撮像装置100によれば、検索キー画像を用いて検索された複数の関連画像うち、ユーザの操作に応じて選択された1つの関連画像を新たな検索キー画像として設定することによって、画像の検索を継続して(繰り返し)行うことができる。この際、ユーザは、キーワードや検索条件を入力する必要はなく、興味に応じて画像を選択するだけで、かかる興味に応じた画像が検索及び表示される。従って、撮像装置100は、従来技術と比較して、画像の検索の効率や操作性(ユーザビリティ)を向上させることができる。   According to the imaging apparatus 100 of the present embodiment, by setting, as a new search key image, one related image selected according to the user's operation among a plurality of related images searched using the search key image. The image search can be continued (repeatedly). At this time, the user does not need to input a keyword or a search condition, and simply selects an image according to interest, and an image corresponding to the interest is retrieved and displayed. Therefore, the imaging apparatus 100 can improve the efficiency of image search and operability (usability) as compared with the related art.

また、撮像装置100では、画像の検索を繰り返し行う際に、選択処理において選択された画像の検索条件を記憶し、かかる検索条件を次の検索時の生成処理において優先的に生成することによって、ユーザの興味をより反映させた検索を行うことも可能である。   In the imaging apparatus 100, when the image search is repeatedly performed, the search condition of the image selected in the selection process is stored, and the search condition is preferentially generated in the generation process at the time of the next search. It is also possible to perform a search that more reflects the user's interest.

例えば、検索キー画像の特徴量及び撮像条件を「色=赤」、「人数=集合写真」とし、「検索条件=集合写真」に対して検索された関連画像をユーザが選択した場合を考える。この場合、かかる関連画像を検索キー画像として次の検索を行う際に、検索条件として「検索条件=集合写真」を優先的に生成することで、集合写真を閲覧したいというユーザの興味に対応することができる。   For example, let us consider a case where the feature amount and the imaging condition of the search key image are “color = red” and “number of people = group photo”, and the user selects a related image searched for “search condition = group photo”. In this case, when the next search is performed using the related image as a search key image, “search condition = group photo” is preferentially generated as a search condition, thereby responding to the user's interest to view the group photo. be able to.

また、撮像装置100では、関連画像再生処理において様々な画像を検索及び表示するために、厳しさの異なる検索条件を生成することも可能である。具体的には、検索キー画像と一致又は類似するレベルが異なる画像を検索する第1の検索条件、第2の検索条件及び第3の検索条件を生成すればよい。例えば、第1の検索条件は、検索キー画像と一致又は類似するレベルが最も高いレベル(第1のレベル)となるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を最も多く(第1の数だけ)含む。また、第2の検索条件は、検索キー画像と一致又は類似するレベルが第1のレベルよりも低い第2のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第1の数よりも少ない第2の数だけ含む。また、第3の検索条件は、検索キー画像と一致又は類似するレベルが第2のレベルよりも低い第3のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第2の数よりも少ない第3の数だけ含む。   Further, in the imaging apparatus 100, it is also possible to generate search conditions with different strictness in order to search and display various images in the related image reproduction process. Specifically, a first search condition, a second search condition, and a third search condition for searching for an image with a different level that matches or is similar to the search key image may be generated. For example, the first search condition includes at least one of the feature amount of the search key image and the imaging condition so that the level that matches or is similar to the search key image is the highest level (first level) (the first search condition). Including only 1). In addition, the second search condition is such that at least one of the feature amount of the search key image and the imaging condition is set to the first level so that a level that matches or is similar to the search key image is lower than the first level. Including a second number less than the number of. In addition, the third search condition is that at least one of the feature amount of the search key image and the imaging condition is set to the second level so that the level that matches or is similar to the search key image is a third level lower than the second level. Including a third number less than the number of.

また、本実施形態では、表示部118に表示される複数の画像(一手前画像、検索キー画像、関連画像)の配置関係が十字ボタン132の配置関係と同じになるようにして、ユーザが関連画像を選択する際の操作性を高めている。その際、複数の検索条件のそれぞれで検索された画像が表示部118において常に同じ配置関係となるようにすることも可能である。特に、画像送りにおいては、十字ボタン132の右ボタンに送りボタン、十字ボタン132の左ボタンに戻りボタンの機能を割り当てることが多いため、画像を閲覧する際に、ユーザは右ボタンを多く押す(選択する)傾向がある。そこで、十字ボタン132の右ボタンに対応する表示部118の右位置に、上述した第1の検索条件で検索された画像が常に表示されるようにする。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合には、検索条件の変動が少ないため、最初の検索キー画像に似た画像を閲覧し続けることが可能となる。一方、十字ボタン132の右ボタンに対応する表示部118の右位置に、上述した第1の検索条件で検索された画像が常に表示されないようにすることも可能である。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合に、検索条件の変動を大きくして、様々な画像を閲覧することが可能となる。   In the present embodiment, the user is associated with the arrangement relationship of the plurality of images (the previous image, the search key image, and the related image) displayed on the display unit 118 so as to be the same as the arrangement relationship of the cross button 132. The operability when selecting images is improved. At that time, it is also possible to make the images searched under each of the plurality of search conditions always have the same arrangement relationship on the display unit 118. In particular, in image forwarding, the function of the send button is often assigned to the right button of the cross button 132, and the function of the return button is assigned to the left button of the cross button 132. Therefore, when viewing an image, the user presses the right button many times ( Tend to choose). Therefore, the image searched under the first search condition described above is always displayed at the right position of the display unit 118 corresponding to the right button of the cross button 132. As a result, when the user repeatedly presses the right button in the same way as in normal image forwarding, the search condition varies little, so that it is possible to continue browsing images similar to the first search key image. On the other hand, the image searched under the first search condition described above may not always be displayed at the right position of the display unit 118 corresponding to the right button of the cross button 132. As a result, when the user repeatedly presses the right button in the same way as normal image forwarding, it becomes possible to increase the variation of the search condition and browse various images.

なお、図6で説明した関連画像再生の可否判定処理を、静止画撮像モード及び/または動画撮像モードに遷移した時と、静止画撮像モード及び/または動画撮像モードで静止画または動画を撮像して画像ファイルが1つ生成される度に行ってもよい。そして、関連画像再生可能フラグが有効であるか無効であるかに応じて、関連画像再生が可能であるか不可能であるか、不可能な場合あと何枚の画像が必要かを識別可能な表示を静止画撮像モード及び/または動画撮像モードにおいて表示してもよい。このようにすれば、ユーザは現状で関連画像再生を行えるのか否か、行えない場合あと何枚の画像を撮影すれば関連画像再生が行えるのかが撮影時にわかり、これ以上の撮影を行うべきか否かの判断の助けとなる。   It should be noted that the related image reproduction determination process described with reference to FIG. 6 is performed when the still image capturing mode and / or the moving image capturing mode is changed, and still images or moving images are captured in the still image capturing mode and / or the moving image capturing mode. May be performed each time one image file is generated. Depending on whether the related image playback flag is valid or invalid, it is possible to identify whether or not the related image playback is possible or not, and if not, how many more images are needed. The display may be displayed in the still image capturing mode and / or the moving image capturing mode. In this way, the user can know at the time of shooting whether or not the related image can be reproduced at the current time, and if not, how many more images can be taken to reproduce the related image. Helps determine whether or not.

また、本実施形態においては、本発明をデジタルカメラに適用した場合を例として説明したが、これに限定されるものではない。例えば、本発明は、パーソナルコンピュータ、PDA、携帯電話端末、携帯型画像ビューワ及びプリンタなど、複数の画像を同時に表示するように制御可能な表示装置を備えるものに適用することができる。   In the present embodiment, the case where the present invention is applied to a digital camera has been described as an example. However, the present invention is not limited to this. For example, the present invention can be applied to a personal computer, a PDA, a mobile phone terminal, a portable image viewer, and a printer including a display device that can be controlled to display a plurality of images simultaneously.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記億媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer of the system or apparatus (or CPU, MPU, etc.) reads the program. To be executed. In this case, the program and the storage medium storing the program constitute the present invention.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, it cannot be overemphasized that this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

Claims (10)

画像を表示手段に表示するように制御する表示制御手段と、
前記表示手段に表示している検索キー画像に基づいて生成した複数の検索条件で検索された複数の画像を表示し、該複数の画像の中から選択された画像を新たな検索キー画像として表示し、該新たな検索キー画像に基づいて新たな複数の検索条件を生成し、該新たな複数の検索条件で検索される複数の画像の表示を行う動作モードに切り替える切り替え手段と、
記録媒体に前記検索キー画像になり得る画像の数が閾値以上記録されているか否かを判定する判定手段と、
前記判定手段によって前記検索キー画像になり得る画像が前記閾値以上記録されていると判定すると、前記切り替え手段によって前記動作モードに切り替えられるように制御し、前記判定手段によって前記検索キー画像になり得る画像が前記閾値以上記録されていないと判定すると、前記切り替え手段によって前記動作モードに切り替えられないように前記切り替え手段を制御する制御手段と
を有することを特徴とする画像検索装置。
Display control means for controlling to display an image on the display means;
A plurality of images searched under a plurality of search conditions generated based on a search key image displayed on the display means are displayed, and an image selected from the plurality of images is displayed as a new search key image. Switching means for generating a plurality of new search conditions based on the new search key image and switching to an operation mode for displaying a plurality of images searched under the new search conditions;
Determining means for determining whether or not the number of images that can be the search key images is recorded on a recording medium equal to or greater than a threshold;
If it is determined by the determination means that an image that can be the search key image is recorded above the threshold value, the switching means is controlled to switch to the operation mode, and the determination means can be the search key image. An image search apparatus comprising: a control unit that controls the switching unit so that the switching unit is not switched to the operation mode when it is determined that an image is not recorded above the threshold value.
前記表示制御手段は、前記判定手段によって前記検索キー画像になり得る画像が前記閾値以上記録されていないと判定すると、前記動作モードに切り替えられないことが識別可能な表示を前記表示手段に表示するように制御することを特徴とする請求項1に記載の画像検索装置。   If the display control unit determines that an image that can be the search key image is not recorded above the threshold, the display control unit displays a display on the display unit that can be identified that the operation mode cannot be switched. The image search apparatus according to claim 1, wherein the image search apparatus is controlled as follows. 撮像手段をさらに有し、
前記表示制御手段は、前記識別可能な表示を前記撮像手段による撮像を行うための撮像モードの際に表示するように制御することを特徴とする請求項2に記載の画像検索装置。
It further has an imaging means,
The image search apparatus according to claim 2, wherein the display control unit performs control so that the identifiable display is displayed in an imaging mode for performing imaging by the imaging unit.
前記判定手段は、特定の属性情報を持つ画像を前記検索キー画像になり得る画像として前記判定を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像検索装置。   4. The image search apparatus according to claim 1, wherein the determination unit performs the determination with an image having specific attribute information as an image that can be the search key image. 5. 前記閾値は、前記動作モードで前記表示手段に表示される画像の数に応じて、前記検索された複数の画像として前記表示手段に同時に表示される画像に同一の画像が含まれないように設定されることを特徴とする請求項1乃至4のいずれか1項に記載の画像検索装置。   The threshold value is set so that the same image is not included in the images simultaneously displayed on the display unit as the plurality of searched images according to the number of images displayed on the display unit in the operation mode. The image search apparatus according to claim 1, wherein the image search apparatus is an image search apparatus. 前記判定手段は、前記検索キー画像になり得る画像の数として、連続して撮像された一組の連写画像については1つの画像と数えて前記判定を行うことを特徴とする請求項1乃至5のいずれか1項に記載の画像検索装置。   2. The determination unit according to claim 1, wherein the determination unit performs the determination by counting the number of images that can be the search key image as one image with respect to a set of consecutively captured images. The image search device according to any one of 5. 前記判定手段は、前記検索キー画像になり得る画像の数として、編集処理前の画像と該編集処理の後の画像とについては1つの画像と数えて前記判定を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像検索装置。   The determination means performs the determination by counting the number of images that can be the search key image as one image for an image before the editing process and an image after the editing process. The image search device according to any one of 1 to 6. 画像を表示手段に表示するように制御する表示制御ステップと、
切り替え手段によって、前記表示手段に表示している検索キー画像に基づいて生成した複数の検索条件で検索される複数の画像を表示し、該複数の画像の中から選択された画像を新たな検索キー画像として表示し、該新たな検索キー画像に基づいて新たな複数の検索条件を生成し、該新たな複数の検索条件で検索される複数の画像の表示を行う動作モードに切り替える切り替えステップと、
記録媒体に前記検索キー画像になり得る画像の数が閾値以上記録されているか否かを判定する判定ステップと、
前記判定ステップによって前記検索キー画像になり得る画像が前記閾値以上記録されていると判定すると、前記切り替え手段によって前記動作モードに切り替えられるように制御し、前記判定ステップによって前記検索キー画像になり得る画像が前記閾値以上記録されていないと判定すると、前記切り替え手段によって前記動作モードに切り替えられないように前記切り替え手段を制御する制御ステップと
を有することを特徴とする画像検索装置の制御方法。
A display control step for controlling to display the image on the display means;
The switching means displays a plurality of images searched under a plurality of search conditions generated based on the search key image displayed on the display means, and newly searches for an image selected from the plurality of images. A switching step of switching to an operation mode for displaying as a key image, generating a plurality of new search conditions based on the new search key image, and displaying a plurality of images searched under the new plurality of search conditions; ,
A determination step of determining whether or not the number of images that can be the search key images is recorded on a recording medium equal to or greater than a threshold;
If it is determined in the determination step that an image that can be the search key image is recorded above the threshold value, the switching unit controls the switching to the operation mode, and the determination step can be the search key image. And a control step of controlling the switching unit so that the switching unit does not switch to the operation mode when it is determined that an image is not recorded above the threshold value.
コンピュータを、請求項1乃至7のいずれか1項に記載された画像検索装置の各手段として機能させるプログラム。   A program that causes a computer to function as each unit of the image search device according to any one of claims 1 to 7. コンピュータを、請求項1乃至7のいずれか1項に記載された画像検索装置の各手段として機能させるプログラムを格納した記憶媒体。   A storage medium storing a program that causes a computer to function as each unit of the image search device according to claim 1.
JP2010023202A 2010-02-04 2010-02-04 Image retrieval device and control method of the same Pending JP2011166214A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010023202A JP2011166214A (en) 2010-02-04 2010-02-04 Image retrieval device and control method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010023202A JP2011166214A (en) 2010-02-04 2010-02-04 Image retrieval device and control method of the same

Publications (1)

Publication Number Publication Date
JP2011166214A true JP2011166214A (en) 2011-08-25

Family

ID=44596433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010023202A Pending JP2011166214A (en) 2010-02-04 2010-02-04 Image retrieval device and control method of the same

Country Status (1)

Country Link
JP (1) JP2011166214A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176422A (en) * 2014-03-17 2015-10-05 日本電気株式会社 Device, system, method, and program for processing information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176422A (en) * 2014-03-17 2015-10-05 日本電気株式会社 Device, system, method, and program for processing information

Similar Documents

Publication Publication Date Title
JP5473646B2 (en) Image search apparatus, control method, program, and storage medium
JP4795193B2 (en) Image display apparatus, control method therefor, and program
KR101559992B1 (en) Imaging apparatus which performs development processing on captured image
US11696020B2 (en) Electronic apparatus, image capture apparatus, method for controlling the same, and storage medium
US9648195B2 (en) Image capturing apparatus and image capturing method
JP2009290819A (en) Photographing device, photography control program, and image reproducing device and image reproducing program
JP4612874B2 (en) Imaging apparatus and control method thereof
US8780250B2 (en) Image processing apparatus that processes image data to which a plurality of pieces of classification information are added, method of controlling image processing apparatus, and storage medium
JP2014138246A (en) Image pickup device, control method and program thereof, and recording medium
JP2011166214A (en) Image retrieval device and control method of the same
JP4574382B2 (en) Information retrieval apparatus, control method therefor, program, and storage medium
JP2017041795A (en) Image processing device, and image processing method
JP2015095082A (en) Image display device, control method therefor, and control program
JP6289107B2 (en) Image reproduction apparatus, control method thereof, and control program
JP5264547B2 (en) Display control apparatus, control method, program, and storage medium
US20230385245A1 (en) Image processing apparatus capable of efficiently converting image file, control method therefor, and storage medium
US11196920B2 (en) Imaging apparatus and method for controlling an inserting/removing operation of an optical filter
US20230388533A1 (en) Image processing apparatus capable of converting image file such that all annotation information can be used, control method therefor, and storage medium
JP2012029119A (en) Display control device, camera and display device
JP5094270B2 (en) Image management apparatus and control method thereof
JP2010206503A (en) Image processing apparatus, method and program, and recording medium
JP2013219502A (en) Image reproduction apparatus, method, and program
US20120201505A1 (en) Image reproducing apparatus and image reproducing method thereof
JP6124658B2 (en) Image processing apparatus and image processing apparatus control method
JP2015036893A (en) File recording device and file management device