JP2010066959A - Image retrieval device, image retrieval system, image retrieval method, and program - Google Patents
Image retrieval device, image retrieval system, image retrieval method, and program Download PDFInfo
- Publication number
- JP2010066959A JP2010066959A JP2008232050A JP2008232050A JP2010066959A JP 2010066959 A JP2010066959 A JP 2010066959A JP 2008232050 A JP2008232050 A JP 2008232050A JP 2008232050 A JP2008232050 A JP 2008232050A JP 2010066959 A JP2010066959 A JP 2010066959A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- image search
- photographing
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、撮影した画像を用いた画像検索を行う画像検索装置に関し、特に、画像検索の対象物の認識精度を向上する技術に関する。 The present invention relates to an image search apparatus that performs an image search using a photographed image, and more particularly to a technique for improving recognition accuracy of an object for image search.
従来、携帯端末装置で撮影した画像を用いて画像検索を行うシステムが提案されている（例えば特許文献１参照）。この従来のシステムでは、携帯端末装置のカメラで情報誌の記事を撮影すると、その記事の画像データが携帯端末装置から画像検索サーバ装置へ送信される。そして、画像検索サーバ装置では、この画像データを用いて画像検索が行われ、その結果が、携帯端末装置へ送信されて画面に表示される。
しかしながら、従来の画像検索システムでは、画像検索を行うために情報誌の記事を撮影したときに、画像検索の対象物である記事とは無関係なもの（非対象物）まで写ってしまうことがある。そのような場合、これらの非対象物がノイズとなり、画像検索の対象物を認識する精度が低下してしまうおそれがある。 However, in the conventional image search system, when an article of an information magazine is photographed to perform an image search, an article that is not related to the article that is the object of the image search (non-object) may be captured. . In such a case, these non-objects may become noise, which may reduce the accuracy of recognizing the object of image search.
特に、画像検索の対象物が、情報誌の記事ではなく、例えば、東京タワーなどの建物や、手に持ったボトル、走行中の車両などである場合には、画像検索の対象物を撮影しようとするときに、対象物の周辺の様々な物体（非対象物）が写りこみやすい。その結果、画像検索の対象物の認識精度が低下するおそれがある。 In particular, if the object of the image search is not an article in an information magazine, for example, a building such as Tokyo Tower, a bottle in hand, or a running vehicle, take a picture of the object of the image search. In this case, various objects (non-objects) around the object are easily captured. As a result, there is a risk that the recognition accuracy of the object of the image search is lowered.
また、屋外などの周辺の照明条件が変わりやすい場所で画像検索の対象物の撮影を行う場合には、照明条件の変化（例えば照明が暗すぎるなど）が原因となり、画像検索の対象物を上手く認識できなくなるおそれがある。また、画像検索の対象物を撮影するときの向き（撮影方向）によっては、画像検索の対象物を認識する精度が低くなるおそれがある。 In addition, when shooting an object for image search in a place where the surrounding lighting conditions are likely to change, such as outdoors, the target of the image search is successful due to a change in the lighting conditions (for example, the lighting is too dark). There is a risk of being unable to recognize. In addition, depending on the direction (shooting direction) when shooting the image search target, the accuracy of recognizing the image search target may be low.
本発明は、上記の課題に鑑みてなされたもので、画像検索の対象物の認識精度を向上することのできる画像検索装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image search apparatus capable of improving the recognition accuracy of an object for image search.
本発明の画像検索装置は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する送信手段と、前記画像検索手段から受信した前記画像検索の結果を表示する結果表示手段と、を備えている。 The image search apparatus of the present invention includes: an imaging unit that continuously captures a plurality of object images including an object of image search as a subject; and the plurality of object images that are continuously captured, A selection unit that selects at least one search image to be used for image search, a transmission unit that transmits information on the selected search image to the image search unit that performs the image search, and the image search unit. And a result display means for displaying the received image search result.
この装置によれば、複数の対象物画像が連続的に撮影され、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索が行われる。したがって、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。 According to this apparatus, a plurality of object images are continuously photographed, and an image search is performed using information on search images selected from the plurality of object images. Therefore, it is possible to select a search image suitable for image search (for example, an image in which a non-target object is not shown so much) from a plurality of object images, and the recognition accuracy of the object for image search is improved. To do.
また、本発明の画像検索装置では、前記画像検索に用いるための検索用領域として、選択された前記検索用画像において前記対象物が含まれる領域を指定する指定手段を備え、前記送信手段は、指定された前記検索用領域の情報を前記画像検索手段に送信してもよい。 Further, in the image search device of the present invention, the image search apparatus includes a specifying unit that specifies a region including the object in the selected search image as a search region for use in the image search, and the transmission unit includes: Information on the designated search area may be transmitted to the image search means.
これにより、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。 Thus, a search area included in the search image selected from the plurality of object images is designated, and an image search is performed using the information of the search area. Therefore, it is possible to specify a search area suitable for image search (for example, an area that does not include many non-objects) in the search image, and the authentication accuracy of the object for image search is further improved.
また、本発明の画像検索装置では、連続的に撮影された前記複数の対象物画像を、連続的に表示する画像表示手段と、前記画像表示手段の画面上で行われるタッチ入力を検出する検出手段と、を備え、前記選択手段は、前記タッチ入力に基づいて前記検索用画像の選択を行い、前記画像表示手段は、選択された前記検索用画像を静止画像として表示し、前記指定手段は、静止画像として表示された前記検索用画像において前記検索用領域の指定を行ってもよい。 In the image search device of the present invention, the image display means for continuously displaying the plurality of object images taken continuously, and detection for detecting a touch input performed on the screen of the image display means And the selection means selects the search image based on the touch input, the image display means displays the selected search image as a still image, and the designation means includes The search area may be specified in the search image displayed as a still image.
これにより、画面上でタッチ入力が行われると、連続的に表示された複数の対象物画像の中から検索用画像が選択され、選択された検索用画像が静止画像として表示され、この静止画像として表示された検索用画像において検索用領域の指定を行うことが可能となる。このようにして、検索用画像の選択および検索用領域の指定を容易に行うことが可能になり、画像検索を行うときの操作性が向上する。 Thus, when a touch input is performed on the screen, a search image is selected from a plurality of object images displayed continuously, and the selected search image is displayed as a still image. It is possible to specify a search area in the search image displayed as. In this way, it becomes possible to easily select the search image and specify the search area, and the operability when performing the image search is improved.
また、本発明の画像検索装置では、連続的に撮影された前記複数の対象物画像に対して画像処理を施して、前記対象物画像から前記対象物を検出する処理を行う対象物検出手段を備え、前記指定手段は、前記対象物の検出処理の結果に基づいて前記検索用領域の指定を行ってもよい。 Further, in the image search device of the present invention, there is provided an object detection means for performing an image process on the plurality of object images photographed continuously and detecting the object from the object image. The specifying unit may specify the search area based on a result of the object detection process.
これにより、複数の対象物画像に対して画像処理（例えば背景差分処理など）を施すことによって対象物の検出処理が行われ、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、対象物の検出処理によって検索用領域が自動的に指定される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 As a result, the object detection processing is performed by performing image processing (for example, background difference processing, etc.) on a plurality of object images, and a search area suitable for image search (a non-object background is excluded). Specified area) is specified. Therefore, the authentication accuracy of the object for image search is improved. Further, when the search area is automatically specified by the object detection process, the number of operations required for performing the image search is reduced, and the image search with high authentication accuracy can be easily performed.
また、本発明の画像検索装置では、前記撮影手段は、複数の異なる撮影条件で、前記複数の対象物画像を撮影し、前記選択手段は、前記複数の対象物画像から前記撮影条件が類似する対象物画像を除外して、前記撮影条件が類似しない対象物画像を選択してもよい。 In the image search device of the present invention, the photographing unit photographs the plurality of object images under a plurality of different photographing conditions, and the selecting unit has similar photographing conditions from the plurality of object images. An object image that excludes the object image and does not have similar imaging conditions may be selected.
これにより、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 As a result, a plurality of target images are shot under various shooting conditions, and those with similar shooting conditions are excluded, and target images with similar shooting conditions are selected as search images. Therefore, it is possible to select a search image suitable for image search (an image shot under characteristic shooting conditions) from a plurality of target images shot under various shooting conditions. The authentication accuracy of the object is improved. In addition, when a search image is automatically selected, fewer operations are required when performing an image search, and an image search with high authentication accuracy can be easily performed.
また、本発明の画像検索装置では、前記撮影条件には、前記対象物を撮影するときの撮影方向が含まれ、画像検索装置は、撮影された前記対象物画像に基づいて、前記画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する判定手段と、前記未撮影方向が有と判定された場合に、前記未撮影方向から前記対象物画像を撮影するためのガイドを表示するガイド表示手段と、を備えてもよい。 In the image search device of the present invention, the shooting condition includes a shooting direction when shooting the object, and the image search device performs the image search based on the shot object image. Determining means for determining whether or not there is an unphotographed direction in which no photographing is performed among a plurality of different photographing directions that need to be photographed, and when the unphotographed direction is determined to be present, You may provide the guide display means which displays the guide for imaging | photography the said target object image from a direction.
これにより、様々な撮影方向から複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（代表的な撮影方向から撮影された画像など）が選択される。この場合、まだ撮影が行われていない撮影方向（未撮影方向）があるときには、その未撮影方向から撮影を行うためのガイド表示が表示される。このガイド表示に従えば、画像検索に適した検索用画像を容易に撮影することができる。したがって、画像検索に適した検索用画像が不足するのを防ぐことができ、その結果、認証精度の高い画像検索を容易に行うことが可能になる。 As a result, a plurality of object images are taken from various shooting directions, and a search image suitable for image search (such as an image shot from a typical shooting direction) is selected. In this case, when there is a shooting direction (non-shooting direction) in which shooting has not yet been performed, a guide display for shooting from the non-shooting direction is displayed. According to this guide display, a search image suitable for image search can be easily taken. Therefore, it is possible to prevent a shortage of search images suitable for image search, and as a result, it is possible to easily perform image search with high authentication accuracy.
また、本発明の画像検索装置では、前記撮影条件には、前記対象物を撮影するときの光学的条件が含まれてもよい。 In the image search device of the present invention, the photographing condition may include an optical condition when photographing the object.
これにより、様々な光学的条件で複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（適切な照明条件で撮影された画像など）が選択される。したがって、画像検索の対象物の認証精度が向上する。 As a result, a plurality of object images are captured under various optical conditions, and a search image suitable for image search (such as an image captured under appropriate illumination conditions) is selected from the captured images. Therefore, the authentication accuracy of the object for image search is improved.
また、本発明の画像検索装置では、選択された前記検索用画像に画像処理を施して、前記検索用画像に含まれる特徴量を抽出する特徴量抽出手段を備え、前記送信手段は、前記検索用画像の特徴量の情報を前記画像検索手段に送信してもよい。 In the image search device of the present invention, the image search apparatus includes a feature amount extraction unit that performs image processing on the selected search image and extracts a feature amount included in the search image, and the transmission unit includes the search unit Information on the feature amount of the image for use may be transmitted to the image search means.
これにより、検索用画像から特徴量（例えば、検索用画像に含まれる特徴点の局所特徴量を示す特徴量ベクトルなど）が抽出され、その特徴量の情報が送信されて画像検索が行われる。一般に、特徴量の情報は、画像の情報に比べるとデータ量が少ない。したがって、画像検索のための情報を送信するときの送信データ量を低く抑えることができ、データ通信時のネットワーク負荷を軽減することが可能になる。 Thereby, a feature amount (for example, a feature amount vector indicating a local feature amount of a feature point included in the search image) is extracted from the search image, and information on the feature amount is transmitted to perform an image search. In general, the amount of feature information is smaller than the amount of image information. Therefore, the amount of transmission data when transmitting information for image search can be kept low, and the network load during data communication can be reduced.
また、本発明の画像検索装置は、カメラ付き携帯端末装置、画像入力機能付きナビゲーション装置、または、車外カメラ搭載車両を含んでもよい。 Moreover, the image search device of the present invention may include a mobile terminal device with a camera, a navigation device with an image input function, or a vehicle equipped with an outside camera.
本発明の画像検索システムは、ユーザが操作する画像検索装置と、前記画像検索装置と通信可能なサーバ装置とを備える画像検索システムにおいて、前記サーバ装置は、画像検索を行う画像検索手段を備えており、前記画像検索装置は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、選択された前記検索用画像の情報を、前記サーバ装置に送信する送信手段と、前記サーバ装置から受信した前記画像検索の結果を表示する結果表示手段と、を備えている。 An image search system according to the present invention includes an image search device operated by a user and a server device capable of communicating with the image search device. The server device includes image search means for performing image search. And the image search device includes: an imaging unit that continuously captures a plurality of object images including an object of image search as a subject; and the plurality of object images that are continuously captured; Selection means for selecting at least one search image to be used for image search, transmission means for transmitting information on the selected search image to the server apparatus, and the image search received from the server apparatus And a result display means for displaying the result.
このシステムによれば、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。 According to this system, similarly to the above-described apparatus, it is possible to select a search image suitable for image search (for example, an image in which a non-target object is not shown so much) from a plurality of object images. The recognition accuracy of the object for image search is improved.
本発明の画像検索方法は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影し、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択し、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信し、前記画像検索手段から受信した前記画像検索の結果を表示する。 The image search method of the present invention continuously captures a plurality of object images including the object of image search as a subject, and performs the image search from the plurality of object images continuously captured. Select at least one search image to be used, send information on the selected search image to the image search means for performing the image search, and display the result of the image search received from the image search means To do.
この方法によれば、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。 According to this method, similarly to the above-described apparatus, it is possible to select a search image suitable for image search (for example, an image in which a non-target object is not shown so much) from a plurality of object images. The recognition accuracy of the object for image search is improved.
本発明のプログラムは、画像検索装置において実行されるプログラムであって、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する処理と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する処理と、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する処理と、前記画像検索手段から受信した前記画像検索の結果を表示する処理と、をコンピュータに実行させる。 The program according to the present invention is a program executed in an image search device, the process of continuously shooting a plurality of object images in which the object of image search is included as a subject, and the plurality of images shot continuously. A process of selecting at least one search image to be used for the image search from among the object images of the image, and a process of transmitting information on the selected search image to the image search means for performing the image search And a process for displaying the result of the image search received from the image search means.
このプログラムによっても、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。 Also with this program, it becomes possible to select a search image suitable for image search (for example, an image in which a non-target object is not so much captured) from among a plurality of object images, as in the above-described device. Recognition accuracy of the object of image search is improved.
本発明によれば、複数の対象物画像を連続的に撮影し、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索を実行することにより、画像検索の対象物の認識精度を向上することができる。 According to the present invention, a plurality of object images are continuously photographed, and an image search is performed using information on a search image selected from the plurality of object images. The recognition accuracy of the object can be improved.
以下、本発明の実施の形態の画像検索装置について、図面を用いて説明する。本実施の形態では、カメラ付き携帯端末装置や画像入力機能付きナビゲーション装置、車外カメラ搭載車両等を画像検索装置として用いた画像検索システムの場合を例示する。この画像検索装置は、撮影した画像を利用して画像検索を行う機能を備えている。この機能は、装置のＨＤＤやメモリなどに格納されたプログラムによって実現される。 Hereinafter, an image search apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, a case of an image search system using a camera-equipped mobile terminal device, a navigation device with an image input function, a vehicle equipped with a camera outside the vehicle, and the like as an image search device is illustrated. This image retrieval apparatus has a function of performing image retrieval using a photographed image. This function is realized by a program stored in the HDD or memory of the apparatus.
（第１の実施の形態）
本発明の第１の実施の形態の画像検索システムを、図１〜図４を用いて説明する。本実施の形態では、カメラ付き携帯端末装置（単に携帯端末装置ともいう）を用いた画像検索システムの場合を例示する。
(First embodiment)
An image search system according to a first embodiment of the present invention will be described with reference to FIGS. In this embodiment, a case of an image search system using a camera-equipped mobile terminal device (also simply referred to as a mobile terminal device) is illustrated.
図１は、本実施の形態の画像検索システムの構成を示すブロック図である。図１に示すように、画像検索システムは、ユーザが操作する携帯端末装置１と、その携帯端末装置１と通信可能なサーバ装置２とで構成されている。携帯端末装置１は、例えば、カメラ付き携帯電話機やＰＤＡなどである。 FIG. 1 is a block diagram showing the configuration of the image search system of the present embodiment. As illustrated in FIG. 1, the image search system includes a mobile terminal device 1 operated by a user and a server device 2 that can communicate with the mobile terminal device 1. The mobile terminal device 1 is, for example, a camera-equipped mobile phone or a PDA.
携帯端末装置１は、対象物の画像（対象物画像）を撮影する機能を備えたカメラ３と、撮影した画像や検索結果などを表示するディスプレイ４と、ディスプレイ４上でのタッチ入力を検出するタッチセンサ５と、サーバ装置２と通信（例えば無線通信）をする機能を備えた通信部６と、携帯端末装置１の種々の制御を行う制御部７を備えている。ここでは、カメラ３が、本発明の撮影手段に相当する。また、ディスプレイ４が、本発明の画像表示手段および結果表示手段に相当し、タッチセンサ５が、本発明の検出手段に相当する。また、通信部６は、本発明の送信手段に相当する。 The mobile terminal device 1 detects a camera 3 having a function of capturing an image of an object (object image), a display 4 that displays a captured image and a search result, and a touch input on the display 4. The touch unit 5 includes a communication unit 6 having a function of communicating with the server device 2 (for example, wireless communication), and a control unit 7 that performs various controls of the mobile terminal device 1. Here, the camera 3 corresponds to the photographing means of the present invention. The display 4 corresponds to the image display means and the result display means of the present invention, and the touch sensor 5 corresponds to the detection means of the present invention. Moreover, the communication part 6 is corresponded to the transmission means of this invention.
カメラ３は、複数の対象物画像を連続的に撮影（動画撮影）する機能を備えており、ディスプレイ４は、連続的に撮影された対象物画像を連続的に表示（動画表示）する機能を備えている。つまり、例えば、カメラ３を用いて対象物画像を動画として撮影すると、ディスプレイ４にはカメラ３で撮影された対象物画像が動画として表示される。 The camera 3 has a function of continuously shooting a plurality of object images (moving image shooting), and the display 4 has a function of continuously displaying (moving image display) the object images continuously shot. I have. That is, for example, when an object image is captured as a moving image using the camera 3, the object image captured by the camera 3 is displayed on the display 4 as a moving image.
制御部７は、例えばＣＰＵやマイコンなどで構成されている。この制御部７は、カメラ３で撮影された複数の対象物画像の中から画像検索に用いる画像（検索用画像）を選択する画像選択部８と、選択された検索用画像において画像検索に用いる領域（検索用領域）を指定する領域指定部９を備えている。なお、この検索用領域の指定は、画像検索で認識すべき領域（認識領域）を特定する処理であるともいえる。この画像選択部８が、本発明の選択手段に相当し、領域指定部９が、本発明の指定手段に相当する。 The control part 7 is comprised by CPU, a microcomputer, etc., for example. The control unit 7 selects an image (search image) to be used for image search from a plurality of object images photographed by the camera 3, and uses the selected search image for image search. An area designating unit 9 for designating an area (search area) is provided. It can be said that the designation of the search area is a process of specifying an area (recognition area) to be recognized in the image search. The image selecting unit 8 corresponds to the selecting unit of the present invention, and the area specifying unit 9 corresponds to the specifying unit of the present invention.
また、制御部７は、選択された検索用画像（または指定された検索用領域）から画像処理等によって特徴量を抽出する特徴量抽出部１０を備えている。特徴量を抽出する方法としては、既知の技術を用いることが可能であり、例えば、画像に含まれるすべての特徴点について、局所特徴量を１２８次元のベクトル（特徴量ベクトルともいう）として算出する方法、すなわち、ＳＩＦＴ特徴量を利用する方法（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110. 参照）などを用いることができる。この特徴量抽出部１０は、本発明の特徴量抽出手段に相当する。 Further, the control unit 7 includes a feature amount extraction unit 10 that extracts a feature amount from the selected search image (or designated search region) by image processing or the like. A known technique can be used as a method for extracting feature quantities. For example, local feature quantities are calculated as 128-dimensional vectors (also referred to as feature quantity vectors) for all feature points included in an image. Methods, ie, methods using SIFT features (see David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.) Can be used. The feature amount extraction unit 10 corresponds to feature amount extraction means of the present invention.
また、制御部７は、サーバ装置２から受信した画像検索の結果（対象物に関連するコンテンツ、例えば対象物の名称や歴史情報、周辺施設情報など）をディスプレイ４に表示するための制御を行うコンテンツ表示制御部１１を備えている。 In addition, the control unit 7 performs control for displaying the result of the image search received from the server device 2 (content related to the object, such as the name of the object, history information, and peripheral facility information) on the display 4. A content display control unit 11 is provided.
サーバ装置２は、携帯端末装置１と通信（例えば無線通信）をする機能を備えた通信部１２と、画像検索を行うときに参照用の画像データなどが記憶されている画像記憶部１３と、種々のコンテンツ情報が記憶されているコンテンツ記憶部１４と、サーバ装置２の種々の制御を行う制御部１５を備えている。制御部１５は、例えばＣＰＵやマイコンなどで構成されており、携帯端末装置１から受信したデータと画像記憶部１３の画像データとを比較して画像検索の処理を実行する画像検索部１６と、検索でヒットした対象物に関連するコンテンツをコンテンツ記憶部１４から取得するコンテンツ取得部１７を備えている。 The server device 2 includes a communication unit 12 having a function of communicating with the mobile terminal device 1 (for example, wireless communication), an image storage unit 13 storing image data for reference when performing image search, and the like. A content storage unit 14 that stores various content information and a control unit 15 that performs various controls of the server device 2 are provided. The control unit 15 includes, for example, a CPU or a microcomputer, and compares the data received from the mobile terminal device 1 with the image data stored in the image storage unit 13 and executes an image search process. A content acquisition unit 17 is provided for acquiring content related to the object hit in the search from the content storage unit 14.
なお、画像検索部１６は、画像から抽出した特徴量を用いて画像検索を行う機能を備えている。この画像検索部１６は、特徴量を抽出する機能を備えていても良く、その場合には、携帯端末装置１から画像データをそのまま受信して画像検索を行うことができる。また、画像検索の方法は、特徴量を用いた方法に限定されるものではなく、既知の方法を用いてよいことは言うまでもない。 Note that the image search unit 16 has a function of performing an image search using a feature amount extracted from an image. The image search unit 16 may have a function of extracting a feature amount. In this case, the image search unit 16 can receive the image data as it is from the mobile terminal device 1 and perform an image search. Further, the image search method is not limited to the method using the feature quantity, and it goes without saying that a known method may be used.
ここで、図２の具体例を参照して、携帯端末装置１の制御部７の各構成が行う処理について詳しく説明する。図２は、携帯端末装置１で対象物（例えば東京タワー）を撮影したときの処理の一例を示す図である。まず、カメラ３を用いて対象物を動画で撮影している場合、ディスプレイ４にカメラ３で撮影した複数の対象物画像が動画として表示される。そして、ユーザが画面に触れると（タッチ入力を行うと）、タッチ入力時に表示されていた対象物画像が選択部によって選択され、静止画像としてディスプレイ４に表示される（図２（ａ）参照）。静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物（東京タワー）を「丸」で囲むと、領域指定部９は「丸」の内部を検索用領域として指定する（図２（ｂ）参照）。そして、特徴量抽出部１０は、この検索用領域（または選択された対象物画像）から特徴量を算出する。この特徴量の算出は、ユーザが画面から指を離した後に行われる。つまり、ユーザから見ると、画面から指を離したときに画像検索に関する処理が実行されるようになる。この特徴量がサーバ装置２へ送信され、サーバ装置２で画像検索が行われる。そして、画像検索の結果をサーバ装置２から受信すると、対象物に関連するコンテンツがディスプレイ４に表示される（図２（ｃ）参照）。なお、ここでは、画像から抽出した特徴量をサーバ装置２へ送信して画像検索を行う例について説明したが、本発明の範囲はこれに限定されるものではなく、選択された対象物画像（または指定領域）の画像データそのものをサーバ装置２へ送信して画像検索を行ってよいことは言うまでもない。 Here, with reference to the specific example of FIG. 2, the process which each structure of the control part 7 of the portable terminal device 1 performs is demonstrated in detail. FIG. 2 is a diagram illustrating an example of processing when an object (for example, Tokyo Tower) is photographed by the mobile terminal device 1. First, when an object is photographed with a moving image using the camera 3, a plurality of object images photographed with the camera 3 are displayed on the display 4 as a moving image. When the user touches the screen (performs touch input), the object image displayed at the time of touch input is selected by the selection unit and displayed on the display 4 as a still image (see FIG. 2A). . In the object image displayed on the display 4 as a still image, when the user surrounds the object (Tokyo Tower) with a “circle”, the area designating unit 9 designates the inside of the “circle” as a search area (FIG. 2). (See (b)). Then, the feature amount extraction unit 10 calculates a feature amount from this search area (or the selected object image). The calculation of the feature amount is performed after the user lifts the finger from the screen. That is, when viewed from the user, processing relating to image search is executed when a finger is removed from the screen. This feature amount is transmitted to the server device 2, and an image search is performed in the server device 2. And if the result of an image search is received from the server apparatus 2, the content relevant to a target object will be displayed on the display 4 (refer FIG.2 (c)). Here, the example in which the feature amount extracted from the image is transmitted to the server device 2 and the image search is performed has been described. However, the scope of the present invention is not limited to this, and the selected object image ( It goes without saying that the image search itself may be performed by transmitting the image data itself in the designated area) to the server device 2.
なお、検索用領域の指定の方法は、上記の図２（ｂ）の方法に限られるものではなく、他の方法によって検索用領域の指定が行われてもよい。図３は、検索用領域の指定の変形例を示す図である。例えば、図３の例では、静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物（東京タワー）の中心付近にタッチすると、タッチした部分を中心として所定形状（例えば円形など）の指定領域が自動的に設定される。これ以外にも、例えば、ディスプレイ４に表示された対象物画像において、タッチ入力された領域を指定領域として指定する（指定領域を塗りつぶす）方法などが用いられてもよい。 The method for specifying the search area is not limited to the method shown in FIG. 2B, and the search area may be specified by another method. FIG. 3 is a diagram illustrating a modification example of designating a search area. For example, in the example of FIG. 3, in the object image displayed on the display 4 as a still image, when the user touches the vicinity of the center of the object (Tokyo Tower), a predetermined shape (for example, a circle) is centered on the touched portion. The specified area is automatically set. In addition to this, for example, a method of designating a touch-input area as a designated area (filling the designated area) in the object image displayed on the display 4 may be used.
以上のように構成された第１の実施の形態の画像検索システムについて、図４のフロー図を用いてシステム全体の動作を説明する。 About the image search system of 1st Embodiment comprised as mentioned above, operation | movement of the whole system is demonstrated using the flowchart of FIG.
本実施の形態の画像検索システムにおいて画像検索を行うときには、図４に示すように、まず、携帯端末装置１のカメラ３を起動して対象物の撮影を行うと（Ｓ１）、カメラ３から画像が取り込まれ（Ｓ２）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ３）。この画像の取り込み処理とカメラ画像の更新処理は、タッチ入力が検出されるまで連続的に繰り返される。 When performing an image search in the image search system of the present embodiment, as shown in FIG. 4, first, when the camera 3 of the mobile terminal device 1 is activated and an object is photographed (S1), the image from the camera 3 is displayed. Is captured (S2), and an image (also referred to as a camera image) displayed on the screen of the display 4 is updated (S3). This image capturing process and camera image updating process are continuously repeated until a touch input is detected.
ユーザが指で画面に触れると（タッチ入力を行うと）、ディスプレイ４上でタッチ入力が検出され（Ｓ４）、タッチ入力時に表示されていた対象物画像が選択される。この場合、カメラ画像の更新が止まり、選択された対象物画像が静止画像として表示される。そして、静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物を「丸」で囲むなどの操作をすることにより、検索用領域の指定が行われる（Ｓ５）。この場合、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、携帯端末装置１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ６）。 When the user touches the screen with a finger (touch input is performed), the touch input is detected on the display 4 (S4), and the object image displayed at the time of the touch input is selected. In this case, the update of the camera image stops and the selected object image is displayed as a still image. Then, in the object image displayed on the display 4 as a still image, the user designates a search area by performing an operation such as enclosing the object with a “circle” (S5). In this case, feature amounts are extracted from the search area by image processing. Then, the portable terminal device 1 transmits image information (in this case, feature amount data) to the server device 2 (S6).
サーバ装置２は、携帯端末装置１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ７）、対象物に関連するコンテンツの情報を携帯端末装置１へ送信する。携帯端末装置１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ９）。 The server device 2 performs an image search using the image information received from the mobile terminal device 1. When the search for the target object is hit (S 7), the content information related to the target object is transmitted to the mobile terminal device 1. Send to. When the mobile terminal device 1 receives content information from the server device 2 (S8), the mobile terminal device 1 displays the content on the display 4 and presents the information to the user (S9).
このような第１の実施の形態の画像検索システムによれば、複数の対象物画像をカメラ３で連続的に撮影し、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索を実行することにより、画像検索の対象物の認識精度を向上することができる。 According to the image search system of the first embodiment as described above, a plurality of object images are continuously photographed by the camera 3, and information on search images selected from the plurality of object images is obtained. By executing the image search using, the recognition accuracy of the object of the image search can be improved.
すなわち、本実施の形態では、複数の対象物画像がカメラ３で連続的に撮影され、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索が行われる。したがって、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。 That is, in the present embodiment, a plurality of object images are continuously photographed by the camera 3, and an image search is performed using information on search images selected from the plurality of object images. Therefore, it is possible to select a search image suitable for image search (for example, an image in which a non-target object is not shown so much) from a plurality of object images, and the recognition accuracy of the object for image search is improved. To do.
また、本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。このように画像検索の検索範囲を限定することにより、画像検索を高速かつ正確に行うことが可能になる。 In the present embodiment, a search area included in a search image selected from a plurality of object images is designated, and an image search is performed using information on the search area. Therefore, it is possible to specify a search area suitable for image search (for example, an area that does not include many non-objects) in the search image, and the authentication accuracy of the object for image search is further improved. By limiting the search range of the image search in this way, the image search can be performed quickly and accurately.
また、本実施の形態では、ディスプレイ４の画面上でタッチ入力が行われると、連続的に表示された複数の対象物画像の中から検索用画像が選択され、選択された検索用画像が静止画像として表示され、この静止画像として表示された検索用画像において検索用領域の指定を行うことが可能となる。このようにして、検索用画像の選択および検索用領域の指定を容易に行うことが可能になり、画像検索を行うときの操作性が向上する。例えば、手ぶれのために正確な操作が難しくなるのを防ぐことができる。 In the present embodiment, when touch input is performed on the screen of the display 4, a search image is selected from a plurality of continuously displayed object images, and the selected search image is stationary. It is displayed as an image, and the search area can be specified in the search image displayed as a still image. In this way, it becomes possible to easily select the search image and specify the search area, and the operability when performing the image search is improved. For example, it is possible to prevent an accurate operation from becoming difficult due to camera shake.
また、本実施の形態では、検索用画像から特徴量（例えば、検索用画像に含まれる特徴点の局所特徴量を示す特徴量ベクトルなど）が抽出され、その特徴量の情報が送信されて画像検索が行われる。一般に、特徴量の情報は、画像の情報に比べるとデータ量が少ない。したがって、画像検索のための情報を送信するときの送信データ量を低く抑えることができ、データ通信時のネットワーク負荷を軽減することが可能になる。 In this embodiment, a feature amount (for example, a feature amount vector indicating a local feature amount of a feature point included in the search image) is extracted from the search image, and information on the feature amount is transmitted to the image. A search is performed. In general, the amount of feature information is smaller than the amount of image information. Therefore, the amount of transmission data when transmitting information for image search can be kept low, and the network load during data communication can be reduced.
このように、本実施の形態の画像検索システムでは、撮影した対象物の画像の背景などに余計なもの（非対象物）が写っていても、これを排除することができ、画像検索の対象物の認証精度が向上する。また、このような画像検索システムでは、画像検索の対象物の名称が分からない場合でも、対象物を撮影した画像を用いて画像検索を行うことができる。この場合、キーワード入力をする必要がないので、早く簡単に目的の情報に到達できる。 As described above, in the image search system according to the present embodiment, even if there is an extra (non-object) in the background of the image of the captured object, this can be excluded, and the object of image search The authentication accuracy of the object is improved. Further, in such an image search system, even when the name of the target object of the image search is not known, the image search can be performed using an image obtained by photographing the target object. In this case, since it is not necessary to input a keyword, the target information can be reached quickly and easily.
（第２の実施の形態）
次に、本発明の第２の実施の形態の画像検索システムを、図５〜図８を用いて説明する。本実施の形態では、第１の実施の形態と同様のカメラ付き携帯端末装置（単に携帯端末装置ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第１の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第１の実施の形態と同様の構成である。
(Second Embodiment)
Next, an image search system according to a second embodiment of the present invention will be described with reference to FIGS. In the present embodiment, a case of an image search system using a camera-equipped mobile terminal device (also simply referred to as a mobile terminal device) similar to that in the first embodiment will be exemplified. Here, the difference between the image search system of the present embodiment and the first embodiment will be mainly described. That is, unless specifically mentioned here, the image search system of the present embodiment has the same configuration as that of the first embodiment.
図５は、本実施の形態の画像検索システムの構成を示すブロック図である。図５に示すように、携帯端末装置１の制御部７には、画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する未撮影判定部１８が備えられている。なお、対象物を撮影するときの撮影方向は、対象物を撮影するときのカメラ３の位置に対応するともいえる。また、この制御部７には、未撮影方向から対象物を撮影するためのガイドを生成するガイド生成部１９と、ディスプレイ４にガイドを表示するための制御を行うガイド表示制御部２０が備えられている。ここでは、未撮影判定部１８が、本発明の判定手段に相当し、ディスプレイ４が、本発明のガイド表示手段に相当する。 FIG. 5 is a block diagram showing the configuration of the image search system of the present embodiment. As shown in FIG. 5, the control unit 7 of the mobile terminal device 1 determines whether there is an uncaptured direction in which shooting is not performed among a plurality of different shooting directions that need to be shot for image retrieval. An unphotographed determination unit 18 is provided. It can be said that the shooting direction when shooting the object corresponds to the position of the camera 3 when shooting the object. In addition, the control unit 7 includes a guide generation unit 19 that generates a guide for photographing an object from an unphotographed direction, and a guide display control unit 20 that performs control for displaying the guide on the display 4. ing. Here, the non-photographing determination unit 18 corresponds to the determination unit of the present invention, and the display 4 corresponds to the guide display unit of the present invention.
この制御部７の画像選択部８は、様々な撮影方向から撮影された複数の対象物画像から、撮影方向が類似する画像を除外して、撮影方向が大きく異なる代表的な対象物画像を選択する機能を備えている。例えば、画像選択部８は、複数の対象物画像の相互でマッチング演算を行い、相関が高い画像を除外することにより、代表的な対象物画像を選択することができる。なお、選択する対象物画像は１つでもよく、複数でもよい。 The image selection unit 8 of the control unit 7 excludes images with similar shooting directions from a plurality of target images taken from various shooting directions, and selects representative object images with greatly different shooting directions. It has a function to do. For example, the image selection unit 8 can select a representative object image by performing a matching operation between a plurality of object images and excluding images with high correlation. Note that one or more target object images may be selected.
ここで、図６および図７を参照して、本実施の形態において特徴的な処理について詳しく説明する。図６は、携帯端末装置１で対象物（例えばボトル）を撮影したときの処理の一例を示す図である。図６（ａ）に示すように、カメラ３で対象物を様々な撮影方向から撮影する場合、撮影する方向によっては、その画像が検索用のデータベース（サーバ装置２の画像記憶部１３）に登録されていないことがある。そこで、この場合には、対象物を様々な視点（角度）からカメラ３で撮影する。このようにして、様々な撮影方向から撮影された複数の対象物画像が、例えば動画像として得られる（図６（ｂ）参照）。画像選択部８は、これらの複数の対象物画像にマッチング演算を行い、相関が高い画像（似ている画像）を除外することによって、代表的な対象物画像（例えば３つの対象物画像）を選択する（図６（ｃ）参照）。 Here, with reference to FIG. 6 and FIG. 7, a characteristic process in the present embodiment will be described in detail. FIG. 6 is a diagram illustrating an example of processing when the mobile terminal device 1 captures an object (for example, a bottle). As shown in FIG. 6A, when an object is photographed from various photographing directions by the camera 3, the image is registered in a search database (image storage unit 13 of the server device 2) depending on the photographing direction. It may not have been done. Therefore, in this case, the object is photographed by the camera 3 from various viewpoints (angles). In this way, a plurality of object images photographed from various photographing directions are obtained as moving images, for example (see FIG. 6B). The image selection unit 8 performs a matching operation on the plurality of object images and excludes images having high correlation (similar images), thereby obtaining representative object images (for example, three object images). Select (see FIG. 6C).
図７は、ディスプレイ４に表示されるガイドの例を示す図である。図６に示したように、様々な撮影方向から対象物を撮影した場合であっても、画像検索のために撮影を行うことが必要な撮影方向の撮影が行われていないことがある。未撮影判定部１８では、そのような未撮影方向の有無の判定が行われ、未撮影方向が有と判定された場合には、ディスプレイ４に未撮影方向からの撮影を促すガイドが表示される。例えば、ボトルの周りの水平方向からの撮影が未撮影である場合には、ボトルの周りを水平方向に一周して撮影するように促すガイドが表示される（図７（ａ）参照）。また、ボトルの周りの垂直方向からの撮影が未撮影である場合には、ボトルの周りを垂直方向に一周して撮影するように促すガイドが表示される（図７（ｂ）参照）。また、ある撮影方向からのボトルの撮影が未撮影である場合には、その方向からボトルを撮影するように促すガイドが表示される（図７（ｃ）参照）。 FIG. 7 is a diagram illustrating an example of a guide displayed on the display 4. As illustrated in FIG. 6, even when an object is photographed from various photographing directions, photographing in a photographing direction that is necessary for photographing for image retrieval may not be performed. The unphotographed determination unit 18 determines whether or not there is such an unphotographed direction. If it is determined that the unphotographed direction is present, a guide for prompting photographing from the non-photographed direction is displayed on the display 4. . For example, when shooting from the horizontal direction around the bottle has not been performed, a guide is displayed to prompt the user to take a picture around the bottle in the horizontal direction (see FIG. 7A). In addition, when shooting from the vertical direction around the bottle has not been taken, a guide for prompting shooting around the bottle in the vertical direction is displayed (see FIG. 7B). Further, when the bottle is not photographed from a certain photographing direction, a guide for urging to photograph the bottle from that direction is displayed (see FIG. 7C).
以上のように構成された第２の実施の形態の画像検索システムについて、図８のフロー図を用いてシステム全体の動作を説明する。 About the image search system of 2nd Embodiment comprised as mentioned above, operation | movement of the whole system is demonstrated using the flowchart of FIG.
本実施の形態の画像検索システムにおいて画像検索を行うときには、図８に示すように、まず、携帯端末装置１のカメラ３を起動して対象物の撮影を行うと（Ｓ１０）、カメラ３から画像が取り込まれ（Ｓ１１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ１２）。この画像の取り込み処理とカメラ画像の更新処理は、画像検索に必要なすべての撮影方向から撮影が行われるまで、連続的に繰り返される。 When performing an image search in the image search system of the present embodiment, as shown in FIG. 8, first, when the camera 3 of the mobile terminal device 1 is activated and an object is photographed (S10), the image from the camera 3 is displayed. Is captured (S11), and an image (also referred to as a camera image) displayed on the screen of the display 4 is updated (S12). This image capturing process and camera image updating process are continuously repeated until shooting is performed from all shooting directions necessary for image search.
未撮影判定部１８によって未撮影の撮影方向があると判定された場合には（Ｓ１３）、図７に示すようなガイドが表示される（Ｓ１４）。画像検索に必要なすべての撮影方向から撮影が行われたと判定されると、図６に示すように画像選択部８によって代表的な対象物画像（検索用画像）が選定される（Ｓ１５）。この場合、この代表的な対象物画像（検索用画像）から画像処理によって特徴量の抽出が行われる。そして、携帯端末装置１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ１６）。 When it is determined by the unphotographed determination unit 18 that there is an unphotographed shooting direction (S13), a guide as shown in FIG. 7 is displayed (S14). If it is determined that shooting has been performed from all shooting directions necessary for image search, a representative object image (search image) is selected by the image selection unit 8 as shown in FIG. 6 (S15). In this case, feature amounts are extracted from the representative object image (search image) by image processing. Then, the mobile terminal device 1 transmits image information (in this case, feature amount data) to the server device 2 (S16).
サーバ装置２は、携帯端末装置１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ１７）、対象物に関連するコンテンツの情報を携帯端末装置１へ送信する。携帯端末装置１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ１８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ１９）。 The server device 2 performs an image search using the image information received from the mobile terminal device 1. When the search for the target object is hit (S 17), the content information related to the target object is transmitted to the mobile terminal device 1. Send to. When the mobile terminal device 1 receives content information from the server device 2 (S18), the mobile terminal device 1 displays the content on the display 4 and presents the information to the user (S19).
このような本実施の形態の画像検索システムによっても、第１の実施の形態と同様の作用効果を奏することができる。 Such an image search system according to the present embodiment can provide the same operational effects as those of the first embodiment.
本実施の形態では、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない代表的な対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択されるので、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 In the present embodiment, a plurality of target images are shot under various shooting conditions, and those with similar shooting conditions are excluded from them, and representative target images with similar shooting conditions are not search images. Selected as. Therefore, it is possible to select a search image suitable for image search (an image shot under characteristic shooting conditions) from a plurality of target images shot under various shooting conditions. The authentication accuracy of the object is improved. In addition, since the search image is automatically selected, fewer operations are required when performing the image search, and an image search with high authentication accuracy can be easily performed.
具体的には、様々な撮影方向から複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（代表的な撮影方向から撮影された画像など）が選択される。この場合、まだ撮影が行われていない撮影方向（未撮影方向）があるときには、図７に示すように、その未撮影方向から撮影を行うためのガイド表示が表示される。このガイド表示に従って、画像検索に適した検索用画像を容易に撮影することができる。したがって、画像検索に適した検索用画像が不足するのを防ぐことができ、その結果、認証精度の高い画像検索を容易に行うことが可能になる。 Specifically, a plurality of object images are taken from various shooting directions, and a search image suitable for image search (such as an image taken from a typical shooting direction) is selected from among them. In this case, when there is a shooting direction in which shooting has not yet been performed (unshooting direction), as shown in FIG. 7, a guide display for shooting from that non-shooting direction is displayed. According to this guide display, a search image suitable for image search can be easily taken. Therefore, it is possible to prevent a shortage of search images suitable for image search, and as a result, it is possible to easily perform image search with high authentication accuracy.
従来のシステムでは、画像検索に用いる画像の撮影条件（撮影方向など）と、検索サーバ装置２のデータベースに格納されている画像の撮影条件（撮影方向など）とが一致していない場合には、画像検索の対象物の認識が困難になる。これに対して、本実施の形態の画像検索システムでは、様々な撮影方向から撮影した画像を効率よく利用することができるので、画像検索の対象物を容易に認識でき、認証精度が向上する。 In the conventional system, when the shooting conditions (such as shooting direction) of the image used for image search and the shooting conditions (such as shooting direction) of the images stored in the database of the search server device 2 do not match, Recognition of an object for image search becomes difficult. On the other hand, in the image search system of the present embodiment, images taken from various shooting directions can be used efficiently, so that an object for image search can be easily recognized, and authentication accuracy is improved.
（第３の実施の形態）
次に、本発明の第３の実施の形態の画像検索システムを、図９〜図１２を用いて説明する。本実施の形態では、車両に搭載される画像入力機能付きナビゲーション装置（単にナビゲーション装置ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第１の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第１の実施の形態と同様の構成である。
(Third embodiment)
Next, an image search system according to a third embodiment of the present invention will be described with reference to FIGS. In the present embodiment, the case of an image search system using a navigation device with an image input function (also simply referred to as a navigation device) mounted on a vehicle is illustrated. Here, the difference between the image search system of the present embodiment and the first embodiment will be mainly described. That is, unless specifically mentioned here, the image search system of the present embodiment has the same configuration as that of the first embodiment.
図９は、本実施の形態の画像検索システムの構成を示すブロック図である。図９に示すように、ナビゲーション装置２１は、車内の対象物（旅行のガイドブックなど）を撮影する車内カメラ２２と、車内の対象物を照らすＬＥＤ２３と、ナビゲーション装置２１を操作するためのリモコン２４を備えている。なお、図１０では、車内カメラ２２が二つ設けられている場合が例示されているが、車内カメラ２２の数はこれに限定されるものではない。 FIG. 9 is a block diagram showing the configuration of the image search system of the present embodiment. As shown in FIG. 9, the navigation device 21 includes an in-vehicle camera 22 that captures an object in the vehicle (such as a travel guidebook), an LED 23 that illuminates the object in the vehicle, and a remote control 24 for operating the navigation device 21. It has. In addition, in FIG. 10, although the case where the two in-vehicle cameras 22 are provided is illustrated, the number of the in-vehicle cameras 22 is not limited to this.
また、この例では、画像入力手段として車内カメラ２２を利用する例について説明するが、本発明の範囲はこれに限定されるものではなく、ユーザがカメラ付き携帯電話機で撮影した画像等をナビゲーション装置２１に送信することによって、画像入力が行われてもよい。この他の方法として、例えば、ナビゲーション装置２１のＨＤＤ内の画像から入力する方法、ワンセグテレビの画像をそのまま入力する方法、ＷＥＢブラウザの画像をそのまま入力する方法、手書きの絵を入力する方法などを用いてもよい。 In this example, an example in which the in-vehicle camera 22 is used as an image input unit will be described. However, the scope of the present invention is not limited to this, and an image taken by a user with a camera-equipped mobile phone is used as a navigation device. The image may be input by transmitting to 21. As other methods, for example, a method of inputting from an image in the HDD of the navigation device 21, a method of inputting a one-segment TV image as it is, a method of inputting a WEB browser image as it is, a method of inputting a handwritten picture, etc. It may be used.
ナビゲーション装置２１の制御部７は、車内カメラ２２を制御するためのカメラ制御部２５と、ＬＥＤ２３を制御するためのＬＥＤ制御部２６を備えている。カメラ制御部２５は、車内カメラ２２のゲインや露光時間などを変化させて、対象物を複数回撮影する制御を行う。また、ＬＥＤ制御部２６は、対象物を車内カメラ２２で撮影するときに、光源の種類（光の波長）を変化させる制御を行う。このようにして、様々な光学的条件で複数の対象物画像が撮影される。 The control unit 7 of the navigation device 21 includes a camera control unit 25 for controlling the in-vehicle camera 22 and an LED control unit 26 for controlling the LED 23. The camera control unit 25 performs control of photographing an object a plurality of times by changing the gain and exposure time of the in-vehicle camera 22. Further, the LED control unit 26 performs control to change the type of light source (wavelength of light) when the object is photographed by the in-vehicle camera 22. In this way, a plurality of object images are photographed under various optical conditions.
制御部７の画像選択部８は、様々な光学的条件で撮影された複数の対象物画像から、光学的条件が類似する画像を除外して、光学的条件が大きく異なる代表的な対象物画像を選択する機能を備えている。例えば、画像選択部８は、複数の対象物画像の相互でマッチング演算を行い、相関が高い画像を除外することにより、代表的な対象物画像を選択することができる。なお、選択する対象物画像は１つでもよく、複数でもよい。 The image selection unit 8 of the control unit 7 excludes images having similar optical conditions from a plurality of object images photographed under various optical conditions, and representative object images having greatly different optical conditions. It has a function to select. For example, the image selection unit 8 can select a representative object image by performing a matching operation between a plurality of object images and excluding images with high correlation. Note that one or more target object images may be selected.
また、この制御部７は、様々な光学的条件で撮影された複数の対象物画像に対して画像処理（例えば背景差分処理）を施して、対象物画像の中から対象物を検出する処理を行う画像処理部２７を備えている。領域指定部９は、この背景差分処理の結果に基づいて検索用領域の指定を行う。この場合、車内カメラ２２で撮影される複数の対象物画像は、光学的条件はそれぞれ異なるものの、対象物の撮影方向は殆ど同じであり、また、車内カメラ２２の位置は固定されているので、対象物画像に背景として写るもの（非対象物）も殆ど同じものである。したがって、複数の対象物画像に背景差分処理を施すことによって、対象物画像に写りこむ非対象物を効率よく排除することができる。ここでは、この画像処理部２７が、本発明の対象物検出手段に相当する。 Further, the control unit 7 performs image processing (for example, background difference processing) on a plurality of object images photographed under various optical conditions, and performs processing for detecting the object from the object images. An image processing unit 27 is provided. The area designating unit 9 designates a search area based on the result of the background difference process. In this case, although the plurality of object images photographed by the in-vehicle camera 22 have different optical conditions, the photographing direction of the object is almost the same, and the position of the in-vehicle camera 22 is fixed. A thing (non-object) that appears in the object image as a background is almost the same. Therefore, by performing background difference processing on a plurality of object images, it is possible to efficiently eliminate non-objects that appear in the object image. Here, this image processing unit 27 corresponds to the object detection means of the present invention.
ここで、図１０および図１１を参照して、本実施の形態における特徴的な処理について詳しく説明する。図１０は、ナビゲーション装置２１の車内カメラ２２で対象物（ガイドブック）を撮影するときの様子を示す説明図である。図１０に示すように、車内カメラ２２の前で、対象物（ガイドブック）を掲げると、車内カメラ２２によって対象物画像の撮影が行われる。そして、例えば、撮影されたガイドブックに記載されている場所に、ナビゲーション装置２１の目的地設定が自動的に行われる。なお、撮影した画像をディスプレイ４に一度表示し、ユーザに目的地を手動で設定させてもよい。 Here, with reference to FIG. 10 and FIG. 11, characteristic processing in the present embodiment will be described in detail. FIG. 10 is an explanatory diagram showing a situation when an object (guidebook) is photographed by the in-vehicle camera 22 of the navigation device 21. As shown in FIG. 10, when an object (guidebook) is lifted in front of the in-vehicle camera 22, the object image is captured by the in-vehicle camera 22. For example, the destination setting of the navigation device 21 is automatically performed at a place described in the photographed guidebook. The captured image may be displayed once on the display 4 and the user may manually set the destination.
この場合、車内カメラ２２は、ゲインや露光時間などを変化させて、対象物（ガイドブック）を複数回撮影する。あるいは、車内カメラ２２が対象物（ガイドブック）を撮影するときに、ＬＥＤ２３の種類（光の波長）を変化させる。このようにして、様々な光学的条件で撮影された複数の対象物画像の中から、図１１に示すように、光学的条件が類似する画像が除外されて、光学的条件が異なる代表的な対象物画像が選択される。 In this case, the in-vehicle camera 22 captures the object (guide book) a plurality of times by changing the gain, the exposure time, and the like. Alternatively, when the in-vehicle camera 22 captures an object (guidebook), the type (light wavelength) of the LED 23 is changed. In this manner, images having similar optical conditions are excluded from a plurality of object images photographed under various optical conditions, as shown in FIG. An object image is selected.
以上のように構成された第３の実施の形態の画像検索システムについて、図１２のフロー図を用いてシステム全体の動作を説明する。 Regarding the image search system according to the third embodiment configured as described above, the operation of the entire system will be described with reference to the flowchart of FIG.
本実施の形態の画像検索システムにおいて画像検索を行うときには、図１２に示すように、まず、車内カメラ２２を起動して対象物の撮影を行うと（Ｓ２０）、車内カメラ２２から画像が取り込まれ（Ｓ２１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ２２）。この画像の取り込み処理とカメラ画像の更新処理は、リモコン２４による撮影トリガの操作（撮影ボタンの押下など）が検出されるまで、連続的に繰り返される。 When performing an image search in the image search system of the present embodiment, as shown in FIG. 12, first, when an in-vehicle camera 22 is activated to photograph an object (S20), an image is captured from the in-vehicle camera 22. (S21) An image (also referred to as a camera image) displayed on the screen of the display 4 is updated (S22). This image capturing process and camera image updating process are continuously repeated until a shooting trigger operation (such as pressing a shooting button) by the remote controller 24 is detected.
撮影トリガが検出されると（Ｓ２３）、様々な光学的条件で複数の対象物画像が撮影され、画像選択部８によって代表的な対象物画像（検索用画像）が選定される（Ｓ２４）。そして、画像処理部２７によってこれらの検索用画像に背景差分処理が施され（Ｓ２５）、その背景差分処理の結果に基づいて検索用領域が指定される。この場合、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、ナビゲーション装置２１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ２６）。 When a shooting trigger is detected (S23), a plurality of target images are shot under various optical conditions, and a representative target image (search image) is selected by the image selection unit 8 (S24). Then, a background difference process is performed on these search images by the image processing unit 27 (S25), and a search area is designated based on the result of the background difference process. In this case, feature amounts are extracted from the search area by image processing. Then, the navigation device 21 transmits image information (in this case, feature amount data) to the server device 2 (S26).
サーバ装置２は、ナビゲーション装置２１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ２７）、対象物に関連するコンテンツの情報をナビゲーション装置２１へ送信する。ナビゲーション装置２１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ２８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ２９）。また、この場合には、例えば、撮影されたガイドブックに記載されている場所に、ナビゲーション装置２１の目的地設定が行われる。 The server device 2 performs an image search using the image information received from the navigation device 21, and when the search for the object is hit (S 27), transmits information on the content related to the object to the navigation device 21. To do. When the navigation device 21 receives content information from the server device 2 (S28), the navigation device 21 displays the content on the display 4 and presents the information to the user (S29). In this case, for example, the destination setting of the navigation device 21 is performed at a location described in the photographed guidebook.
このような本実施の形態の画像検索システムによっても、第１の実施の形態と同様の作用効果を奏することができる。 Such an image search system according to the present embodiment can provide the same operational effects as those of the first embodiment.
本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。 In the present embodiment, a search area included in a search image selected from a plurality of object images is designated, and an image search is performed using information on the search area. Therefore, it is possible to specify a search area suitable for image search (for example, an area that does not include many non-objects) in the search image, and the authentication accuracy of the object for image search is further improved.
また、本実施の形態では、複数の対象物画像に対して背景差分処理が施されて、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、背景差分処理によって検索用領域が自動的に指定される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 Further, in the present embodiment, background difference processing is performed on a plurality of object images, and a search area suitable for image search (an area from which a non-object background is excluded) is designated. Therefore, the authentication accuracy of the object for image search is improved. Further, when the search area is automatically specified by the background difference process, the number of operations required for performing the image search is small, and the image search with high authentication accuracy can be easily performed.
また、本実施の形態では、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 In the present embodiment, a plurality of target images are shot under various shooting conditions, and those with similar shooting conditions are excluded, and target images with similar shooting conditions are used as search images. Selected. Therefore, it is possible to select a search image suitable for image search (an image shot under characteristic shooting conditions) from a plurality of target images shot under various shooting conditions. The authentication accuracy of the object is improved. In addition, when a search image is automatically selected, fewer operations are required when performing an image search, and an image search with high authentication accuracy can be easily performed.
具体的には、様々な光学的条件で複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（適切な照明条件で撮影された画像など）が選択される。したがって、画像検索の対象物の認証精度が向上する。 Specifically, a plurality of object images are captured under various optical conditions, and a search image suitable for image search (such as an image captured under appropriate illumination conditions) is selected from the images. Therefore, the authentication accuracy of the object for image search is improved.
従来のシステムでは、画像検索に用いる画像の撮影条件（照明条件など）と、検索サーバ装置２のデータベースに格納されている画像の撮影条件（照明条件など）とが一致していない場合には、画像検索の対象物の認識が困難になる。これに対して、本実施の形態の画像検索システムでは、様々な光学的条件で撮影した画像を効率よく利用することができるので、画像検索の対象物を容易に認識でき、認証精度が向上する。 In the conventional system, when the image capturing conditions (such as lighting conditions) used for the image search and the image capturing conditions (such as lighting conditions) stored in the database of the search server device 2 do not match, Recognition of an object for image search becomes difficult. On the other hand, in the image search system according to the present embodiment, an image taken under various optical conditions can be used efficiently, so that the object of the image search can be easily recognized and the authentication accuracy is improved. .
（第４の実施の形態）
次に、本発明の第４の実施の形態の画像検索システムを、図１３〜図１６を用いて説明する。本実施の形態では、車外カメラ搭載車両（単に車両ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第３の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第３の実施の形態と同様の構成である。
(Fourth embodiment)
Next, an image search system according to a fourth embodiment of the present invention will be described with reference to FIGS. In the present embodiment, an example of an image search system using a vehicle equipped with an outside camera (also simply referred to as a vehicle) is illustrated. Here, the difference between the image search system of the present embodiment and the third embodiment will be mainly described. That is, unless specifically mentioned here, the image search system of the present embodiment has the same configuration as that of the third embodiment.
図１３は、本実施の形態の画像検索システムの構成を示すブロック図である。図１３に示すように、車両２８には、前方を走行する車両を撮影する車外カメラ２９が設けられている。なお、図１３では、車外カメラ２９が前方を走行する車両を撮影するカメラである場合を例示したが、車外カメラ２９は側方や後方などを撮影するものであってもよい。 FIG. 13 is a block diagram showing the configuration of the image search system of the present embodiment. As shown in FIG. 13, the vehicle 28 is provided with an outside-vehicle camera 29 that captures a vehicle traveling ahead. Although FIG. 13 illustrates the case where the vehicle outside camera 29 is a camera that captures a vehicle traveling in front, the vehicle exterior camera 29 may capture a side, a rear, or the like.
この制御部７の画像処理部３０は、車外カメラ２９で撮影された対象物画像に対して画像処理を施して、対象物を検出する機能を備えている。領域指定部９は、この画像処理（対象物の検出処理）の結果に基づいて検索用領域の指定を行う。この場合、画像処理で対象物を検出する方法は、既知の方法を用いることが可能であり、例えば、画像中の動きベクトルを算出して、対象物を検出する方法などを用いることができる。ここでは、この画像処理部３０が、本発明の対象物検出手段に相当する。 The image processing unit 30 of the control unit 7 has a function of detecting an object by performing image processing on the object image captured by the camera 29 outside the vehicle. The area designating unit 9 designates a search area based on the result of this image processing (object detection process). In this case, a known method can be used as a method of detecting an object by image processing. For example, a method of calculating a motion vector in an image and detecting the object can be used. Here, the image processing unit 30 corresponds to the object detection means of the present invention.
ここで、図１４および図１５を参照して、本実施の形態における特徴的な処理について詳しく説明する。図１４は、車外カメラ２９で撮影した前方の車両の車種を識別する様子を示す説明図である。図１４に示すように、前方を走行する車両を車外カメラ２９で撮影すると、撮影された車両の車種などの情報がナビゲーション装置２１のディスプレイ４に表示される。 Here, with reference to FIG. 14 and FIG. 15, characteristic processing in the present embodiment will be described in detail. FIG. 14 is an explanatory diagram showing a state in which the vehicle type of the vehicle ahead is photographed by the camera 29 outside the vehicle. As shown in FIG. 14, when a vehicle traveling ahead is photographed by the outside camera 29, information such as the model of the photographed vehicle is displayed on the display 4 of the navigation device 21.
この場合、車外カメラ２９で撮影された対象物画像に画像処理を施すことによって、対象物（前方の車両）の検出処理が行われる。例えば、図１５に示すように、対象物画像の中から対象物（前方の車両）に対応する領域（検出枠内の領域）が検出されて、画像検索に用いるための検索用領域が指定される。 In this case, the object (the vehicle ahead) is detected by performing image processing on the object image photographed by the camera 29 outside the vehicle. For example, as shown in FIG. 15, an area (area in the detection frame) corresponding to the object (the vehicle ahead) is detected from the object image, and a search area to be used for image search is designated. The
以上のように構成された第４の実施の形態の画像検索システムについて、図１６のフロー図を用いてシステム全体の動作を説明する。 With respect to the image search system of the fourth embodiment configured as described above, the operation of the entire system will be described using the flowchart of FIG.
本実施の形態の画像検索システムにおいて画像検索を行うときには、図１６に示すように、まず、車外カメラ２９を起動して対象物の撮影を行うと（Ｓ３０）、車外カメラ２９から画像が取り込まれ（Ｓ３１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される。そして、カメラ画像に画像処理を施して、対象物（前方を走行する車両）を検出する処理を実行する（Ｓ３２）。この画像の取り込み処理とカメラ画像の更新処理と対象物の検出処理は、対象物（前方を走行する車両）が検出されるまで、連続的に繰り返される。 When performing an image search in the image search system of the present embodiment, as shown in FIG. 16, first, when the vehicle exterior camera 29 is activated to photograph an object (S30), the image is captured from the vehicle exterior camera 29. (S31), an image (also referred to as a camera image) displayed on the screen of the display 4 is updated. Then, image processing is performed on the camera image to execute processing for detecting an object (a vehicle traveling ahead) (S32). The image capturing process, the camera image updating process, and the object detection process are continuously repeated until an object (a vehicle traveling ahead) is detected.
対象物（前方を走行する車両）が検出されると（Ｓ３３）、領域指定部９によって検索用領域が指定され、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、車両２８のナビゲーション装置２１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ３４）。 When an object (a vehicle traveling in front) is detected (S33), a region for search is specified by the region specifying unit 9, and feature amounts are extracted from the search region by image processing. Then, the navigation device 21 of the vehicle 28 transmits image information (in this case, feature amount data) to the server device 2 (S34).
サーバ装置２は、車両２８から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ３５）、対象物に関連するコンテンツの情報（車両の車種などの情報）を車両２８へ送信する。車両２８は、サーバ装置２からコンテンツの情報を受信すると（Ｓ３６）、ナビゲーション装置２１のディスプレイ４上にコンテンツを表示して、その情報をユーザに提示する（Ｓ３７）。 The server device 2 performs an image search using the image information received from the vehicle 28. If the search for the object is hit (S35), information on the content related to the object (information such as the vehicle type of the vehicle) ) To the vehicle 28. When the vehicle 28 receives content information from the server device 2 (S36), the vehicle 28 displays the content on the display 4 of the navigation device 21 and presents the information to the user (S37).
このような本実施の形態の画像検索システムによっても、第３の実施の形態と同様の作用効果を奏することができる。 Such an image search system according to the present embodiment can provide the same operational effects as those of the third embodiment.
本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。 In the present embodiment, a search area included in a search image selected from a plurality of object images is designated, and an image search is performed using information on the search area. Therefore, it is possible to specify a search area suitable for image search (for example, an area that does not include many non-objects) in the search image, and the authentication accuracy of the object for image search is further improved.
また、本実施の形態では、対象物画像から対象物を検出する画像処理が施されて、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、画像処理によって検索用領域が自動的に指定されるので、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。 Further, in the present embodiment, image processing for detecting an object from the object image is performed, and a search area suitable for image search (an area excluding the background as a non-object) is designated. Therefore, the authentication accuracy of the object for image search is improved. In addition, since the search area is automatically specified by the image processing, fewer operations are required when performing the image search, and an image search with high authentication accuracy can be easily performed.
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified in accordance with the purpose within the scope of the claims. is there.
例えば、以上の説明では、画像検索装置（携帯端末装置１など）とサーバ装置２が別々の機器である場合について例示したが、本発明の範囲はこれに限定されるものではなく、画像検索装置とサーバ装置２同一の機器であってもよい。つまり、画像検索部１６などのサーバ装置の構成が、画像検索装置の内部に備えられていてもよい。その場合には、通信部６、１２を省略することができ、内部結線などで通信を行えばよい。 For example, in the above description, the case where the image search device (such as the mobile terminal device 1) and the server device 2 are separate devices has been illustrated, but the scope of the present invention is not limited to this, and the image search device And the server device 2 may be the same device. That is, the configuration of the server device such as the image search unit 16 may be provided inside the image search device. In that case, the communication units 6 and 12 can be omitted, and communication may be performed by internal connection or the like.
以上のように、本発明にかかる画像検索装置は、画像検索の対象物の認識精度を向上することができるという効果を有し、カメラ付き携帯端末装置や画像入力機能付きナビゲーション装置、車外カメラ搭載車両などを利用した画像検索システム等に用いられ、有用である。 As described above, the image search device according to the present invention has an effect of improving the recognition accuracy of an object for image search, and is equipped with a camera-equipped mobile terminal device, a navigation device with an image input function, and an out-of-vehicle camera. It is useful for an image search system using a vehicle or the like.
１ 携帯端末装置
２ サーバ装置
３ カメラ
４ ディスプレイ
５ タッチセンサ
８ 画像選択部
９ 領域指定部
１０ 特徴量抽出部
１１ コンテンツ表示制御部
１６ 画像検索部
１７ コンテンツ取得部
１８ 未撮影判定部
１９ ガイド生成部
２０ ガイド表示制御部
２１ ナビゲーション装置
２２ 車内カメラ
２３ ＬＥＤ
２５ カメラ制御部
２６ ＬＥＤ制御部
２７ 画像処理部
２８ 車両
２９ 車外カメラ
３０ 画像処理部
DESCRIPTION OF SYMBOLS 1 Portable terminal device 2 Server apparatus 3 Camera 4 Display 5 Touch sensor 8 Image selection part 9 Area | region designation | designated part 10 Feature-value extraction part 11 Content display control part 16 Image search part 17 Content acquisition part 18 Un-photographing determination part 19 Guide production | generation part 20 Guide display control unit 21 Navigation device 22 In-car camera 23 LED
25 Camera control unit 26 LED control unit 27 Image processing unit 28 Vehicle 29 Outside camera 30 Image processing unit
Claims (12)
連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、
選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する送信手段と、
前記画像検索手段から受信した前記画像検索の結果を表示する結果表示手段と、
を備えることを特徴とする画像検索装置。 Photographing means for continuously photographing a plurality of object images including the object of image search as a subject;
A selection means for selecting at least one search image to be used for the image search from the plurality of object images taken continuously;
Transmitting means for transmitting information on the selected search image to image search means for performing the image search;
A result display means for displaying the result of the image search received from the image search means;
An image search apparatus comprising:
前記送信手段は、指定された前記検索用領域の情報を前記画像検索手段に送信することを特徴とする請求項１に記載の画像検索装置。 As a search area for use in the image search, comprising a designation means for designating an area including the object in the selected search image,
The image search apparatus according to claim 1, wherein the transmission unit transmits information on the designated search area to the image search unit.
前記画像表示手段の画面上で行われるタッチ入力を検出する検出手段と、
を備え、
前記選択手段は、前記タッチ入力に基づいて前記検索用画像の選択を行い、
前記画像表示手段は、選択された前記検索用画像を静止画像として表示し、
前記指定手段は、静止画像として表示された前記検索用画像において前記検索用領域の指定を行うことを特徴とする請求項２に記載の画像検索装置。 Image display means for continuously displaying the plurality of object images photographed continuously;
Detecting means for detecting a touch input performed on a screen of the image display means;
With
The selection means selects the search image based on the touch input,
The image display means displays the selected search image as a still image,
The image search apparatus according to claim 2, wherein the specifying unit specifies the search area in the search image displayed as a still image.
前記指定手段は、前記対象物の検出処理の結果に基づいて前記検索用領域の指定を行うことを特徴とする請求項２に記載の画像検索装置。 Object detection means that performs image processing on the plurality of object images captured continuously and detects the object from the object image,
The image search apparatus according to claim 2, wherein the specifying unit specifies the search area based on a result of the object detection process.
前記選択手段は、前記複数の対象物画像から前記撮影条件が類似する対象物画像を除外して、前記撮影条件が類似しない対象物画像を選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像検索装置。 The photographing unit photographs the plurality of object images under a plurality of different photographing conditions,
5. The selection unit according to claim 1, wherein an object image having a similar shooting condition is excluded from the plurality of object images, and an object image having a similar shooting condition is selected. The image search device according to any one of the above.
画像検索装置は、
撮影された前記対象物画像に基づいて、前記画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する判定手段と、
前記未撮影方向が有と判定された場合に、前記未撮影方向から前記対象物画像を撮影するためのガイドを表示するガイド表示手段と、
を備えることを特徴とする請求項５に記載の画像検索装置。 The shooting conditions include a shooting direction when shooting the object,
The image search device
Determining means for determining the presence or absence of an uncaptured direction in which shooting is not performed among a plurality of different shooting directions that are required to be shot for the image search based on the captured object image;
Guide display means for displaying a guide for photographing the object image from the non-photographing direction when it is determined that the non-photographing direction is present;
The image search apparatus according to claim 5, further comprising:
前記送信手段は、前記検索用画像の特徴量の情報を前記画像検索手段に送信することを特徴とする請求項１〜請求項７のいずれかに記載の画像検索装置。 A feature amount extraction unit that performs image processing on the selected search image and extracts a feature amount included in the search image;
The image search apparatus according to claim 1, wherein the transmission unit transmits information on a feature amount of the search image to the image search unit.
前記サーバ装置は、画像検索を行う画像検索手段を備えており、
前記画像検索装置は、
画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、
連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、
選択された前記検索用画像の情報を、前記サーバ装置に送信する送信手段と、
前記サーバ装置から受信した前記画像検索の結果を表示する結果表示手段と、
を備えることを特徴とする画像検索システム。 In an image search system comprising an image search device operated by a user and a server device capable of communicating with the image search device,
The server device includes image search means for performing image search,
The image search device includes:
Photographing means for continuously photographing a plurality of object images including the object of image search as a subject;
A selection means for selecting at least one search image to be used for the image search from the plurality of object images taken continuously;
Transmitting means for transmitting information on the selected search image to the server device;
A result display means for displaying the result of the image search received from the server device;
An image search system comprising:
連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択し、
選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信し、
前記画像検索手段から受信した前記画像検索の結果を表示することを特徴とする画像検索方法。 Continuously shoot multiple object images that contain image search objects as subjects,
Selecting at least one search image to be used for the image search from the plurality of object images continuously shot;
Sending the information on the selected search image to the image search means for performing the image search,
An image search method, wherein the image search result received from the image search means is displayed.
画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する処理と、
連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する処理と、
選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する処理と、
前記画像検索手段から受信した前記画像検索の結果を表示する処理と、
をコンピュータに実行させることを特徴とするプログラム。 A program executed in the image search device,
A process of continuously shooting a plurality of object images including an object of image search as a subject;
A process of selecting at least one search image to be used for the image search from the plurality of object images taken continuously;
Processing for transmitting information on the selected image for search to image search means for performing the image search;
Processing for displaying the result of the image search received from the image search means;
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008232050A JP5149744B2 (en) | 2008-09-10 | 2008-09-10 | Image search device, image search system, image search method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008232050A JP5149744B2 (en) | 2008-09-10 | 2008-09-10 | Image search device, image search system, image search method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010066959A true JP2010066959A (en) | 2010-03-25 |
| JP5149744B2 JP5149744B2 (en) | 2013-02-20 |
Family
ID=42192499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008232050A Active JP5149744B2 (en) | 2008-09-10 | 2008-09-10 | Image search device, image search system, image search method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5149744B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022023A (en) * | 2009-07-16 | 2011-02-03 | Aisin Aw Co Ltd | Apparatus, method, and program for driving support |
| WO2012090890A1 (en) * | 2010-12-27 | 2012-07-05 | 日本電気株式会社 | Information processing system, information processing method, and information processing program |
| JP2012141768A (en) * | 2010-12-28 | 2012-07-26 | Dainippon Printing Co Ltd | Portable terminal device, information browsing program, server device, and browsing information providing program |
| JPWO2013145883A1 (en) * | 2012-03-26 | 2015-12-10 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001052011A (en) * | 1999-08-06 | 2001-02-23 | Canon Inc | Method and device for picture retrieval |
| JP2001282825A (en) * | 2000-03-29 | 2001-10-12 | Eighting:Kk | Method and server for information retrieval and portable remote terminal |
| JP2003029625A (en) * | 2001-07-18 | 2003-01-31 | Koujiro Omoto | Mapping method |
| JP2005227957A (en) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | Optimal face image recording device and optimal face image recording method |
| JP2005267607A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Digital picture book system, picture book search method, and picture book search program |
| JP2005267609A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Digital picture book system, and method and program for searching picture book |
| JP2005352780A (en) * | 2004-06-10 | 2005-12-22 | Canon Inc | Image recording device, and its control method |
| JP2006092280A (en) * | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | Portable image pickup device |
| JP2006178721A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Image retrieval device |
| JP2007164513A (en) * | 2005-12-14 | 2007-06-28 | Ricoh Co Ltd | Image processor |
-
2008
- 2008-09-10 JP JP2008232050A patent/JP5149744B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001052011A (en) * | 1999-08-06 | 2001-02-23 | Canon Inc | Method and device for picture retrieval |
| JP2001282825A (en) * | 2000-03-29 | 2001-10-12 | Eighting:Kk | Method and server for information retrieval and portable remote terminal |
| JP2003029625A (en) * | 2001-07-18 | 2003-01-31 | Koujiro Omoto | Mapping method |
| JP2005227957A (en) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | Optimal face image recording device and optimal face image recording method |
| JP2005267607A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Digital picture book system, picture book search method, and picture book search program |
| JP2005267609A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Digital picture book system, and method and program for searching picture book |
| JP2005352780A (en) * | 2004-06-10 | 2005-12-22 | Canon Inc | Image recording device, and its control method |
| JP2006092280A (en) * | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | Portable image pickup device |
| JP2006178721A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Image retrieval device |
| JP2007164513A (en) * | 2005-12-14 | 2007-06-28 | Ricoh Co Ltd | Image processor |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011022023A (en) * | 2009-07-16 | 2011-02-03 | Aisin Aw Co Ltd | Apparatus, method, and program for driving support |
| WO2012090890A1 (en) * | 2010-12-27 | 2012-07-05 | 日本電気株式会社 | Information processing system, information processing method, and information processing program |
| JP2012141768A (en) * | 2010-12-28 | 2012-07-26 | Dainippon Printing Co Ltd | Portable terminal device, information browsing program, server device, and browsing information providing program |
| JPWO2013145883A1 (en) * | 2012-03-26 | 2015-12-10 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5149744B2 (en) | 2013-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103916592B (en) | For shooting the device and method of portrait in the portable terminal with camera | |
| CN103685952B (en) | Terminal and image processing method | |
| CN108399349B (en) | Image recognition method and device | |
| KR101977703B1 (en) | Method for controlling photographing in terminal and terminal thereof | |
| US9836886B2 (en) | Client terminal and server to determine an overhead view image | |
| US8831282B2 (en) | Imaging device including a face detector | |
| CN109478334B (en) | Target position recognition device, imaging device, display device, target position recognition method, and non-transitory tangible medium | |
| US9549111B2 (en) | Image capturing apparatus and control program product with speed detection features | |
| JP5652886B2 (en) | Face authentication device, authentication method and program, information device | |
| EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
| JP2007249588A (en) | Face image registration device, method, program, and storage medium | |
| JP5674465B2 (en) | Image processing apparatus, camera, image processing method and program | |
| CN106415442A (en) | Portable electronic equipment and method of controlling a portable electronic equipment | |
| JP2012038153A (en) | Surrounding information retrieval device and surrounding information retrieval method | |
| WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
| JP5149744B2 (en) | Image search device, image search system, image search method and program | |
| JP2016123044A (en) | Subject tracking device, and control method and program therefor | |
| CN115525140A (en) | Gesture recognition method, gesture recognition apparatus, and storage medium | |
| US20090202180A1 (en) | Rotation independent face detection | |
| WO2020008711A1 (en) | Learning device, learning system, and learning method | |
| JP2011095985A (en) | Image display apparatus | |
| CN112788244B (en) | Shooting method, shooting device and electronic equipment | |
| JP5810890B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5310040B2 (en) | Imaging processing apparatus and program | |
| JP2009205203A (en) | Iris authentication device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5149744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |