KR20180035253A - query image generation method and system for content based image search - Google Patents

query image generation method and system for content based image search Download PDF

Info

Publication number
KR20180035253A
KR20180035253A KR1020160124539A KR20160124539A KR20180035253A KR 20180035253 A KR20180035253 A KR 20180035253A KR 1020160124539 A KR1020160124539 A KR 1020160124539A KR 20160124539 A KR20160124539 A KR 20160124539A KR 20180035253 A KR20180035253 A KR 20180035253A
Authority
KR
South Korea
Prior art keywords
image
query
query image
images
search
Prior art date
Application number
KR1020160124539A
Other languages
Korean (ko)
Other versions
KR101886182B1 (en
Inventor
낭종호
김상철
이승빈
최효진
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020160124539A priority Critical patent/KR101886182B1/en
Publication of KR20180035253A publication Critical patent/KR20180035253A/en
Application granted granted Critical
Publication of KR101886182B1 publication Critical patent/KR101886182B1/en

Links

Images

Classifications

    • G06F17/30247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G06F17/30277—

Abstract

A query image generation method for content-based image search according to the present invention comprises the following steps by a user terminal: receiving selections on some of a plurality of sample images, and selection on the transparency for each of the selected sample images; and overlaying the sample images on a query image editing canvas according to the selected transparency to generate a query image. The present invention enables a user to easily edit a query image desired by the user at the time of image search, thereby enabling the user to search for an image similar to the image desired by the user at the time of content-based image search.

Description

내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템{query image generation method and system for content based image search}[0001] The present invention relates to a query image generation method and system for content-based image search,

본 발명은 이미지 검색 기술에 관한 것으로, 더욱 상세하게는 이미지 검색시에 사용자가 검색해내길 바라는 질의 이미지를 손쉽게 편집할 수 있게 함으로써 내용 기반 이미지 검색시에 사용자가 원하는 이미지와 유사한 이미지를 보다 빠르게 검색해낼 수 있게 하는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템에 관한 것이다.
The present invention relates to an image retrieval technique, and more particularly, to an image retrieval technique capable of easily editing a query image desired by a user at the time of retrieving an image, thereby making it possible to retrieve an image similar to a user- To a query image generation method and system for content-based image search.

인터넷의 발달로 인해 인터넷을 이용한 다양한 서비스가 제공되고 있으며, 그 중 대표적인 예가 검색 서비스라 할 수 있다. 상기 검색 서비스는 사용자가 검색하고자 하는 단어 또는 단어의 조합을 쿼리로 입력하면, 검색 엔진이 입력된 쿼리에 상응하는 검색 결과 문서(예컨대, 사용자로부터 입력된 검색 쿼리를 포함하는 웹 사이트, 기사)를 사용자에게 제공하는 서비스를 의미한다.Due to the development of the Internet, various services using the Internet have been provided, and a representative example thereof is a search service. When the search service inputs a word or a combination of words to be searched by a user as a query, the search engine searches a search result document (e.g., a web site or an article including a search query inputted by the user) corresponding to the inputted query Means a service provided to a user.

최근 사용자의 다양한 검색요구에 부응하기 위해 검색 서비스 제공자들은 텍스트 형태의 검색결과뿐만 아니라 이미지와 같은 컨텐츠를 검색결과로 제공하고 있다. 종래 검색 서비스 제공자들은 사용자가 입력한 쿼리를 포함하고 있는 이미지들, 예컨대 사용자가 입력한 쿼리가 파일명 또는 이미지와 관련된 텍스트에 포함되어 있는 이미지를 해당 쿼리의 중요도에 따라 모델링하여 이미지 검색결과를 제공하였다. Recently, in order to meet various search requests of users, search service providers provide content such as images as search results as well as text search results. Conventionally, search service providers provide image search results by modeling images including a query input by a user, for example, an image in which a query entered by a user is included in a text associated with a file name or an image, according to the importance of the query .

그러나 이미지의 파일명에 사용자가 입력한 쿼리가 포함되어 있거나 해당 이미지와 관련된 텍스트 파일에 사용자가 입력한 쿼리가 포함되어 있는 경우를 해당 이미지의 검색결과로 제공하고 있기 때문에, 사용자가 입력한 쿼리와 관련이 없는 이미지나 열악한 품질을 가진 이미지가 검색결과로 제공될 수 있었다. 이는 이미지 검색 서비스에 대한 신뢰도가 저하시키는 원인이 되었다. However, since the file name of the image contains the query entered by the user or the text file associated with the image contains the query entered by the user, the search result of the image provides the query. Images with poor quality or images with poor quality could be provided as search results. This has caused the reliability of the image search service to deteriorate.

또한 종래의 검색 시스템은 이미지 검색 결과를 제공함에 있어서 사용자들이 입력한 쿼리와 유사도가 높은 이미지를 검색결과로 제공하였기 때문에, 사용자들에 의해 많이 선택되지 않는 이미지, 즉 사용자들의 선호도가 높지 않은 이미지들이 검색결과에 포함되거나, 검색결과 내에서도 사용자들의 선호도가 높지 않은 이미지들이 검색결과의 상단에 배치될 수 있으며, 이 또한 이미지 검색 서비스의 정확도가 저하될 수 있다는 문제도 있었다. In addition, since the conventional search system provides an image having a similarity to the query inputted by the users in providing the image search result, the image that is not selected by the users, that is, the images in which the users' Images that are included in the search results or whose users' preferences are not high in the search results may be placed at the top of the search results, which may also degrade the accuracy of the image search service.

이러한 문제를 해결하기 위한 기술로는 대한민국 특허청에 이미지 검색방법 및 검색 시스템을 명칭으로 하여 특허공개된 제10-2009-0109215호가 있으며, 이는 각 이미지의 품질지수(Quality Value)를 산출하는 단계; 쿼리(Query)와 상기 각 이미지간의 텍스트 유사도(Similarity)를 산출하는 단계; 및 상기 각 이미지의 품질지수 및 상기 각 이미지의 텍스트 유사도를 이용하여 상기 쿼리에 대한 이미지의 적합도(Relevance)를 산출하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 개시하며, 상기 이미지 품질지수는 상기 각 이미지로부터 추출된 이미지 기본정보, 칼라 분포정보, 그레이(Gray) 분포정보, 및 텍스추어(Texture) 정보 중 적어도 하나를 포함하는 이미지 특징정보들을 이용하여 생성되는 것을 개시한다. As a technique for solving such a problem, Korean Patent No. 10-2009-0109215 discloses an image searching method and a searching system in the Korean Intellectual Property Office, which includes calculating a quality value of each image; Calculating a text similarity between the query and each of the images; And calculating a relevance of the image for the query using the quality index of each image and the text similarity of each image, wherein the image quality index And image feature information including at least one of image basic information, color distribution information, gray distribution information, and texture information extracted from the respective images.

이와 같이 종래에는 텍스트 유사도뿐만 아니라 이미지의 기본정보, 칼라 분포정보, 그레이 분포정보 및 텍스추어 정보를 토대로 이미지를 검색하는 것을 개시하나, 여전히 사용자에게 고품위의 검색 서비스를 제공하기 위해서는 쿼리부터 사용자가 원하는 이미지를 추종해야 한다. As described above, in the related art, it has been disclosed to search an image based on not only the similarity of text but also the basic information of the image, the color distribution information, the gray distribution information, and the texture information. In order to still provide a high quality search service to the user, .

이에 종래에는 텍스트가 아닌 쿼리 이미지를 직접 입력하여 검색을 이행하는 이미지 검색 기술이 제안되었으며, 이는 대한민국 특허청에 이미지를 탐색하는 시스템들 및 방법들을 명칭으로 하여 특허공개된 제10-2014-0111328호가 있으며, 이는 미디어 소스로부터 비디오 콘텐트를 수신하고; 상기 비디오 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 수신하고; 메모리에 상기 이미지를 저장하고; 상기 이미지에 디스플레이되는 복수의 아이템들을 선택하고, 제1아이템은 알려진 아이덴티티를 갖고 그리고 제2아이템은 알려지지 않은 아이덴티티를 가지며; 상기 이미지에서 상기 복수의 선택된 아이템들을 강조하고, 상기 제1아이템의 강조는 상기 제2아이템의 강조와는 서로 다른 외양(appearance)을 갖고; 상기 제1 및 제2 아이템들 중 하나에 대한 사용자 선택을 수신하고; 상기 선택된 아이템에 관한 정보를 검색하고; 그리고 상기 검색된 정보에 기초한 디스플레이 데이터를 제공하도록 된 프로세싱 회로를 포함하는 것을 특징으로 하는 시스템을 개시한다. Conventionally, an image retrieval technology for directly inputting a query image, not a text, to perform retrieval has been proposed. This system is disclosed in Korean Patent Office No. 10-2014-0111328 titled as systems and methods for searching images. , Which receives video content from a media source; Receive a request from a user to select an image from the video content; Storing the image in a memory; Selecting a plurality of items to be displayed in the image, the first item having a known identity and the second item having an unknown identity; Highlighting the plurality of selected items in the image, the emphasis of the first item having an appearance different from the emphasis of the second item; Receive a user selection for one of the first and second items; Retrieve information about the selected item; And a processing circuit adapted to provide display data based on the retrieved information.

이와 같이 종래에는 텍스트가 아닌 쿼리 이미지를 토대로 이미지를 검색하는 기술이 제안되었으나, 여전히 사용자가 원하는 검색결과를 제공하는 데에는 한계가 있었다.
As described above, a technique for searching an image based on a non-text query image has been proposed. However, there is still a limit to providing a search result desired by a user.

대한민국 특허공개 제10-2009-0109215호Korean Patent Publication No. 10-2009-0109215 대한민국 특허공개 제10-2014-0111328호Korean Patent Publication No. 10-2014-0111328 대한민국 특허공개 제10-2009-0028789호Korean Patent Publication No. 10-2009-0028789 대한민국 특허공개 제10-2008-0031695호Korean Patent Publication No. 10-2008-0031695

본 발명은 이미지 검색시에 사용자가 검색해내길 바라는 질의 이미지를 손쉽게 편집할 수 있게 함으로써 내용 기반 이미지 검색시에 사용자가 원하는 이미지와 유사한 이미지를 보다 빠르게 검색해낼 수 있게 하는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
The present invention provides a query image for content-based image retrieval that allows a user to easily edit a query image desired to be searched at the time of image search, thereby enabling a user to search for an image similar to a desired image at the time of content- And to provide a method and a system for generating the same.

상기한 목적을 달성하기 위한 본 발명에 따르는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법은, 사용자 단말기가, 다수의 예제 이미지 중 일부를 선택받고, 선택된 일부 예제 이미지들 각각에 대한 투명도를 선택받는 단계; 선택된 투명도에 따라 상기 예제 이미지들을 질의 이미지 편집 캔버스에 오버레이하여 질의 이미지를 생성하는 단계;를 구비함을 특징으로 한다.
According to another aspect of the present invention, there is provided a method of generating a query image for content-based image retrieval, the method comprising: receiving, by a user terminal, part of a plurality of sample images and selecting transparency for each selected sample image ; And generating a query image by overlaying the example images on the query image editing canvas according to the selected transparency.

본 발명은 이미지 검색시에 사용자가 검색해내길 바라는 질의 이미지를 손쉽게 편집할 수 있게 함으로써 내용 기반 이미지 검색시에 사용자가 원하는 이미지와 유사한 이미지를 보다 빠르게 검색해낼 수 있게 하는 효과를 야기한다.
The present invention facilitates editing a query image desired by a user at the time of image search, thereby enabling the user to search for an image similar to a desired image at a time of searching for a content-based image.

도 1은 본 발명의 바람직한 실시예에 따르는 내용 기반 이미지 검색 서비스 시스템의 구성도.
도 2는 본 발명의 바람직한 실시예에 따르는 내용기반 이미지 검색방법의 절차도.
도 3은 도 2의 질의 이미지 생성방법의 절차도.
도 4 및 도 5는 본 발명의 바람직한 실시예에 따른 내용기반 이미지 검색과정을 예시한 도면. 1 is a configuration diagram of a contents-based image search service system according to a preferred embodiment of the present invention;
2 is a flow chart of a content-based image retrieval method according to a preferred embodiment of the present invention.
Fig. 3 is a procedure diagram of the query image generation method of Fig. 2; Fig.
4 and 5 are diagrams illustrating a content-based image retrieval process according to a preferred embodiment of the present invention.

본 발명은 내용 기반 이미지 검색시에 사용자가 검색해내길 바라는 질의 이미지를 손쉽게 편집할 수 있게 함으로써 내용 기반 이미지 검색시에 사용자가 원하는 이미지와 유사한 이미지를 보다 빠르게 검색해낼 수 있게 한다.
The present invention enables a user to easily edit a query image desired to be searched in a content-based image search, thereby enabling a user to search for an image similar to a desired image in a content-based image search at a faster speed.

이러한 본 발명의 바람직한 실시예에 따른 내용기반 이미지 검색을 위한 질의 이미지 생성과정을 도면을 참조하여 상세하게 설명한다.
The process of generating a query image for content-based image retrieval according to a preferred embodiment of the present invention will be described in detail with reference to the drawings.

<내용 기반 이미지 검색 서비스 시스템의 구성><Configuration of content-based image search service system>

본 발명의 바람직한 실시예에 따르는 내용 기반 이미지 검색 서비스 시스템의 구성을 도 1을 참조하여 설명한다. A configuration of a content-based image search service system according to a preferred embodiment of the present invention will be described with reference to FIG.

상기 내용 기반 이미지 검색 서비스 시스템(200)은 서비스 서버(202)와 데이터베이스(204)로 구성된다. The content-based image search service system 200 comprises a service server 202 and a database 204.

상기 서비스 서버(202)는 질의 이미지에 대해 내용 기반 이미지 검색을 이행하고, 그에 따른 검색 결과를 제공하는 내용 기반 이미지 검색 서비스를 사용자 단말기(100)로 제공한다. The service server 202 provides a content-based image search service to the user terminal 100, which performs a content-based image search on the query image and provides a search result accordingly.

또한 상기 서비스 서버(202)는 상기의 내용 기반 이미지 검색 서비스를 위한 질의 이미지 생성 서비스를 사용자 단말기(100)를 통해 사용자에게 제공한다. 즉 질의 이미지 생성 서비스는 사용자 단말기(100)에서 이행된다. In addition, the service server 202 provides a query image generation service for the content-based image search service to the user through the user terminal 100. That is, the query image generation service is performed in the user terminal 100.

상기 데이터베이스(204)는 본 발명의 바람직한 실시예에 따른 이미지 검색 서비스를 위한 이미지 정보는 물론이며, 각 이미지에 대한 빠른 검색을 위해 이미지에 내재된 저급 수준 정보들에 대한 색인 정보 등을 저장한다. 상기 이미지에 내재된 저급 수준 정보로는 쉐이프(shape) 정보, 컬러(color) 정보, 텍스추어(texture) 정보 등이 있다.
The database 204 stores not only the image information for the image search service according to the preferred embodiment of the present invention but also the index information about the low level information inherent in the image for quick searching of each image. The low-level information inherent in the image includes shape information, color information, and texture information.

<이미지 검색 방법의 절차><Procedures of image retrieval method>

상기한 내용 기반 이미지 검색 서비스 시스템(200)에 의해 제공되는 이미지 검색방법을 도 2를 참조하여 설명한다.The image retrieval method provided by the content-based image retrieval service system 200 will be described with reference to FIG.

상기 사용자 단말기(100)는 사용자에 의해 질의 이미지 생성이 요청되는지를 체크한다(300단계). The user terminal 100 checks whether a query image is requested by the user (operation 300).

상기 사용자에 의해 질의 이미지 생성이 요청되면, 상기 사용자 단말기(100)는 질의 이미지 생성을 위한 질의 이미지 편집 캔버스와 예제 이미지들을 표시하여 사용자에게 질의 이미지를 생성하도록 안내한다. 상기 예제 이미지들은 사용자가 사용자 단말기(100)에 저장하고 있던 이미지이거나, 클립보드에 있는 이미지이거나, 이전의 이미지 검색을 통해 획득된 이미지들일 수 있다. When a query image generation is requested by the user, the user terminal 100 displays a query image edit canvas for generating a query image and example images to guide the user to generate a query image. The example images may be images stored in the user terminal 100 by the user, images on the clipboard, or images obtained through previous image search.

상기한 안내에 따라 상기 사용자는 질의 이미지 편집 캔버스에 예제 이미지들 중 일부를 이용하여 질의 이미지를 생성할 수 있다. According to the above guidance, the user can generate a query image using some of the example images in the query image editing canvas.

상기 사용자 단말기(100)는 상기 사용자가 예제 이미지들 중 일부를 이용하여 생성한 질의 이미지 정보를 입력받아 서비스 서버(202)로 전송한다(302단계). The user terminal 100 receives query image information generated by the user using some of the sample images and transmits the query image information to the service server 202 (operation 302).

상기 서비스 서버(202)는 상기 질의 이미지 정보를 제공받아 내용기반 이미지 검색을 이행하고 그 결과를 사용자 단말기(100)로 반환한다(304단계). The service server 202 receives the query image information, performs a content-based image search, and returns the result to the user terminal 100 (operation 304).

상기 사용자 단말기(100)는 상기 이미지 검색결과를 제공받아 미도시된 디스플레이 장치를 통해 표시함으로써 사용자에게 안내한다(306단계).
The user terminal 100 receives the image search result and displays it through a display device (not shown) to inform the user of the result of the image search in operation 306.

상기한 본 발명에 따라 예제 이미지들 중 일부를 이용하여 질의 이미지를 생성하는 과정을 좀 더 상세히 설명한다.
The process of generating a query image using some of the example images according to the present invention will be described in more detail.

<질의 이미지 생성방법><Query Image Generation Method>

도 3은 본 발명의 바람직한 실시예에 따르는 질의 이미지 생성과정의 절차를 도시한 것이다. 상기 도 3을 참조하면, 사용자 단말기(100)는 사용자에 의해 질의 이미지 생성이 요청되면(500단계), 다수의 예제 이미지를 표시하여 안내한다(502단계). 이는 도 4의 (a)에 예시한 바와 같다. FIG. 3 shows a procedure of a query image generation process according to a preferred embodiment of the present invention. Referring to FIG. 3, if the user terminal 100 requests the generation of a query image by the user (operation 500), the user terminal 100 displays and guides a plurality of example images (operation 502). This is as illustrated in FIG. 4 (a).

이와 같이 다수의 예제 이미지를 표시한 상태에서, 사용자는 다수의 예제 이미지 중 어느 하나를 선택하여 해당 예제 이미지의 투명도 및 오버레이 기준위치를 선택하면, 상기 사용자 단말기(100)는 선택된 예제 이미지를 질의 이미지 편집 캔버스에서 선택된 오버레이 기준위치에 위치시킨 후에 선택된 투명도로 질의 이미지 편집 캔버스에 오버레이한다(504,506단계).
When a user selects one of a plurality of example images and selects a transparency and an overlay reference position of the corresponding example image in a state in which a plurality of example images are displayed, the user terminal 100 displays a selected example image as a query image After positioning the selected overlay reference position in the edit canvas, the overlay is overlaid on the query image edit canvas with the selected transparency (steps 504 and 506).

이러한 질의 이미지 편집 과정을 도 4를 참조하여 좀더 설명한다. This query image editing process will be described in more detail with reference to FIG.

도 4의 (b)는 선택된 예제 이미지들을 오버레이 기준없이 미리 정해진 투명도(33%)로 오버레이하여 질의 이미지를 생성한 것을 예시한 것이다. 4 (b) illustrates the generation of the query image by overlaying the selected example images with a predetermined transparency (33%) without overlay reference.

그리고 도 4의 (c)는 선택된 예제 이미지들을 더하기(+) 문양을 기준으로 오버레이되도록 설정한 상태에서 미리 정해진 투명도(33%)로 오버레이하여 질의 이미지를 생성한 것을 예시한 것이다. 특히 상기 기준 위치는 예제이미지들 및 질의 이미지에서 각각 설정된다.
FIG. 4C illustrates the generation of the query image by overlaying the selected example images with a predetermined transparency (33%) in a state in which the selected example images are set to be overlaid on the plus (+) pattern. In particular, the reference position is set in each of the example images and the query image.

상기한 예제 이미지 선택 및 선택된 예제 이미지의 투명도, 기준위치 선택과정은 사용자의 질의 이미지 생성완료가 명령될 때까지(508단계), 반복되어 수행된다(502~506단계). 이로서 사용자는 다수의 예제 이미지 중 일부 예제 이미지들을 선택하고, 그 선택된 예제 이미지들을 선택된 위치에 위치시킨 후에 투명도를 가변해가면서 하나로 오버레이되게 하여 질의 이미지를 생성한다.
The transparency and the reference position selection process of the above-described example image selection and the selected example image are repeatedly performed (steps 502 to 506) until the completion of the query image generation of the user is instructed (step 508). In this case, the user selects some of the plurality of example images, positions the selected selected images at the selected position, and changes the transparency to overlay the selected example images to generate a query image.

이러한 질의 이미지는 선택된 예제 이미지의 공통적인 부분 혹은 사용자가 강조하고 싶은 부분이 부각되게 편집될 수 있으며, 이로서 사용자는 검색되기를 원하는 이미지에 좀 더 가까운 질의 이미지를 생성할 수 있게 된다.
This query image can be edited so that the common part of the selected example image or the part that the user wants to emphasize is highlighted, thereby allowing the user to create a query image closer to the desired image to be searched.

상기한 본 발명에 따라 질의 이미지를 생성하는 과정을 예시한 것이 도 5이다. FIG. 5 illustrates a process of generating a query image according to the present invention.

상기 도 5를 참조하면, 상기 도 5의 (a)는 이전의 이미지 검색을 통해 획득된 이미지들 혹은 사용자의 로컬 디스크 혹은 다른 웹 사이트에서의 카피 앤 페이스트(copy and paste)를 통해 예제 이미지를 로드한 것을 예시한 것이다. 5, (a) of FIG. 5 illustrates a method of loading an example image through images obtained through a previous image search or copy and paste on a user's local disk or another web site .

상기 도 5의 (b)는 로드된 예제 이미지들의 투명도 및 오버레이 기준위치를 결정하여 오버레이함으로써 원하는 질의 이미지를 생성하는 예를 도시한 것이다. FIG. 5B shows an example of generating a desired query image by determining transparency and overlay reference positions of the loaded sample images and overlaying them.

이러한 과정을 통해 생성된 질의 이미지를 통한 내용기반 이미지 검색을 실행하면, 도 5의 (c)에 도시한 바와 같이 도 5의 (a)보다 더 많은 수의 뽀로로와 더 연관도가 높은 결과를 획득할 수 있게 된다.
When the content-based image retrieval is performed through the query image generated through this process, as shown in (c) of FIG. 5, a result having a higher degree of association with a larger number of Pororo than .

이러한 본 발명은 예제 이미지들을 오버레이하여 원하는 질의 이미지를 얻는 것으로, 도 5의 (b)와 같이 중복 영역이 많은 이미지들을 로드하여 이를 원하는 만큼 투명도를 높여서 합산하게 되면, 자연스럽게 사용자가 관심있는 영역만 중점적으로 남고 나머지 부분들을 희미해져 원하는 질의 이미지를 즉각적으로 생성할 수 있다. The present invention overcomes the example images to obtain a desired query image. If the images having a lot of redundant areas are loaded as shown in FIG. 5 (b) and the transparency is increased by adding the desired images, And the remaining portions are blurred to instantly generate a desired query image.

이러한 과정을 거쳐 생성한 질의 이미지를 이용하여 검색을 서버에 요청하고, 서버는 상기 질의 이미지의 저급 수준 특징을 추출하여 데이터베이스에 저장된 이미지와 비교 및 검색하여 가장 비슷한 이미지를 검색결과로 반환하며, 이로서 사용자는 원하는 이미지를 얻을 수 있게 된다. The server requests the search using the query image generated through the process, and the server extracts the low-level features of the query image and compares and searches the images stored in the database to return the most similar image as the search result, The user can obtain the desired image.

상기한 본 발명의 바람직한 실시예에서는 예제 이미지들의 투명도 및 오버레이 기준위치를 결정하여 오버레이하여 질의 이미지를 생성하는 것만을 예시하였으나, 예제 이미지들의 투명도만 결정한 상태에서 오버레이하여 질의 이미지를 생성할 수 있음은 본 발명에 의해 당업자에게 자명하다. In the preferred embodiment of the present invention, the transparency and the overlay reference position of the example images are determined and overlaid to generate the query image. However, it is possible to generate the query image by overlaying only the transparency of the example images, And will be apparent to those skilled in the art by the present invention.

또한 본 발명의 바람직한 실시예에서는 예제 이미지들의 투명도를 동일한 값으로 결정하는 것만을 예시하였으나, 예제 이미지별 투명도를 상이하게 결정하는 것 역시 본 발명에 의해 당업자에게 자명하다.
Also, in the preferred embodiment of the present invention, only the transparency of the exemplary images is determined to be the same value. However, it is apparent to those skilled in the art that the transparency of each exemplary image is determined differently.

100 : 사용자 단말기
200 : 내용 기반 이미지 검색 서비스 시스템
202 : 서비스 서버
204 : 데이터베이스100: User terminal
200: Content-based image search service system
202: service server
204: Database

Claims (6)

내용 기반 이미지 검색을 위한 질의 이미지 생성 방법에 있어서,
사용자 단말기가,
다수의 예제 이미지 중 일부를 선택받고, 선택된 일부 예제 이미지들 각각에 대한 투명도를 선택받는 단계;
선택된 투명도에 따라 상기 예제 이미지들을 질의 이미지 편집 캔버스에 오버레이하여 질의 이미지를 생성하는 단계;를 구비함을 특징으로 하는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법.A query image generation method for content-based image search,
A user terminal,
Selecting some of the plurality of sample images and selecting transparency for each of the selected sample images;
And generating a query image by overlaying the example images on a query image editing canvas according to the selected transparency. 제1항에 있어서,
상기 일부 예제 이미지들 각각에 대해 오버레이 기준위치를 선택받는 단계;
선택된 오버레이 기준위치들에 따라 상기 예제 이미지들을 상기 질의 이미지 편집 캔버스에 위치시켜 오버레이하는 단계;를 더 구비함을 특징으로 하는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법.The method according to claim 1,
Receiving an overlay reference position for each of the sample images;
And positioning and overlaying the example images on the query image editing canvas according to the selected overlay reference positions. &Lt; Desc / Clms Page number 20 &gt; 제1항에 있어서,
상기 일부 예제 이미지들 각각에 대한 투명도는 동일하거나 각기 상이하게 선택됨을 특징으로 하는 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법.The method according to claim 1,
Wherein the transparency of each of the exemplary images is the same or different. 내용 기반 이미지 검색 서비스 시스템에 있어서,
다수의 예제 이미지 중 일부를 선택받고, 선택된 일부 예제 이미지들 각각에 대한 투명도를 선택받고,
선택된 투명도에 따라 상기 예제 이미지들을 질의 이미지 편집 캔버스에 오버레이하여 질의 이미지를 생성하여 외부로 전송하는 사용자 단말기;
상기 사용자 단말기가 제공하는 질의 이미지에 대해 내용 기반 이미지 검색을 이행하고 그 결과를 반환하는 서버;를 구비함을 특징으로 하는 내용 기반 이미지 검색 서비스 시스템.A content-based image search service system,
Selecting a portion of a plurality of example images, selecting transparency for each of the selected exemplary images,
A user terminal for generating a query image by overlaying the example images on a query image editing canvas according to a selected transparency, and transmitting the query image to the outside;
And a server for performing a content-based image search on the query image provided by the user terminal and for returning the result of the content-based image search. 제4항에 있어서,
상기 사용자 단말기는,
상기 일부 예제 이미지들 각각에 대해 오버레이 기준위치를 선택받고, 선택된 오버레이 기준위치들에 따라 상기 예제 이미지들을 상기 질의 이미지 편집 캔버스에 위치시켜 오버레이함을 특징으로 하는 내용 기반 이미지 검색 서비스 시스템.5. The method of claim 4,
The user terminal comprises:
Wherein the overlay reference location is selected for each of the plurality of example images and overlaid by placing the example images on the query image editing canvas according to the selected overlay reference locations. 제4항에 있어서,
상기 일부 예제 이미지들 각각에 대한 투명도는 동일하거나 각기 상이하게 선택됨을 특징으로 하는 내용 기반 이미지 검색 서비스 시스템.5. The method of claim 4,
Wherein the transparency of each of the sample images is the same or different.
KR1020160124539A 2016-09-28 2016-09-28 query image generation method and system for content based image search KR101886182B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160124539A KR101886182B1 (en) 2016-09-28 2016-09-28 query image generation method and system for content based image search

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160124539A KR101886182B1 (en) 2016-09-28 2016-09-28 query image generation method and system for content based image search

Publications (2)

Publication Number Publication Date
KR20180035253A true KR20180035253A (en) 2018-04-06
KR101886182B1 KR101886182B1 (en) 2018-08-08

Family

ID=61973608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160124539A KR101886182B1 (en) 2016-09-28 2016-09-28 query image generation method and system for content based image search

Country Status (1)

Country Link
KR (1) KR101886182B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080031695A (en) 2005-06-29 2008-04-10 마이크로소프트 코포레이션 Query-by-image search and retrieval system
KR20090028789A (en) 2006-06-29 2009-03-19 구글 인코포레이티드 Recognizing text in images
KR20090109215A (en) 2008-04-15 2009-10-20 엔에이치엔(주) Method and System for Searching Image
KR20130107366A (en) * 2011-03-11 2013-10-01 오므론 가부시키가이샤 Image processing device, image processing method and control program
KR20140111328A (en) 2012-01-04 2014-09-18 구글 인코포레이티드 Systems and methods of image searching
KR20160044044A (en) * 2013-10-04 2016-04-22 구글 인코포레이티드 Image blur with preservation of detail

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080031695A (en) 2005-06-29 2008-04-10 마이크로소프트 코포레이션 Query-by-image search and retrieval system
KR20090028789A (en) 2006-06-29 2009-03-19 구글 인코포레이티드 Recognizing text in images
KR20090109215A (en) 2008-04-15 2009-10-20 엔에이치엔(주) Method and System for Searching Image
KR20130107366A (en) * 2011-03-11 2013-10-01 오므론 가부시키가이샤 Image processing device, image processing method and control program
KR20140111328A (en) 2012-01-04 2014-09-18 구글 인코포레이티드 Systems and methods of image searching
KR20160044044A (en) * 2013-10-04 2016-04-22 구글 인코포레이티드 Image blur with preservation of detail

Also Published As

Publication number Publication date
KR101886182B1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
CN109933802B (en) Image-text matching method, image-text matching device and storage medium
US9928242B2 (en) Managing the content of shared slide presentations
US20200226133A1 (en) Knowledge map building system and method
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
EP1258816A2 (en) Image search method and apparatus
KR100836235B1 (en) A database for link of serch data in gis system, a building method
US6772145B2 (en) Search method in a used car search support system
US20080172380A1 (en) Information retrieval based on information location in the information space.
US20080275850A1 (en) Image tag designating apparatus, image search apparatus, methods of controlling operation of same, and programs for controlling computers of same
US20060112142A1 (en) Document retrieval method and apparatus using image contents
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
KR100874339B1 (en) Search method for CAD viewer using spatial linkage DV.
KR101391107B1 (en) Method and apparatus for providing search service presenting class of search target interactively
KR20130038547A (en) System for dual-searching image using region of interest set and method therefor
CN105069175A (en) Information retrieval method and server based on version control system
CN104598585A (en) Information search method and information search device
US10176152B2 (en) Method and system for assigning a content item as a link target to a managed object
KR101886182B1 (en) query image generation method and system for content based image search
JP2005107931A (en) Image search apparatus
KR101153534B1 (en) Method and system for automatically tagging web data and local data
CN114040012B (en) Information query pushing method and device and computer equipment
CN115544405A (en) Page rendering method and device, electronic equipment and storage medium
US10699678B2 (en) System and method for generating interactive layers over the display of a resource by another application
KR101941693B1 (en) Method and system for content based image search
KR20180026011A (en) query image generation method and system based example editing for content based image search

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant