KR102256057B1 - Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor - Google Patents

Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor Download PDF

Info

Publication number
KR102256057B1
KR102256057B1 KR1020140030848A KR20140030848A KR102256057B1 KR 102256057 B1 KR102256057 B1 KR 102256057B1 KR 1020140030848 A KR1020140030848 A KR 1020140030848A KR 20140030848 A KR20140030848 A KR 20140030848A KR 102256057 B1 KR102256057 B1 KR 102256057B1
Authority
KR
South Korea
Prior art keywords
posture
input image
images
image
information
Prior art date
Application number
KR1020140030848A
Other languages
Korean (ko)
Other versions
KR20150108099A (en
Inventor
전혁준
신형철
장언동
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140030848A priority Critical patent/KR102256057B1/en
Publication of KR20150108099A publication Critical patent/KR20150108099A/en
Application granted granted Critical
Publication of KR102256057B1 publication Critical patent/KR102256057B1/en

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명은 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공함으로써 다양한 검색 결과 제공으로 인해 사용자의 편의성을 향상시키고 원하는 자세를 가진 검색 결과들을 용이하게 확인할 수 있다.The present invention discloses an apparatus for providing a search result based on a posture of an object, a method thereof, and a recording medium in which a computer program is recorded. That is, the present invention arranges search results in different directions according to the attitude of an object in providing the search results according to the similarity to the search query image, and provides the sorted search results, thereby providing various search results for user convenience. And you can easily check the search results with the desired posture.

Description

객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체{Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor}Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor}

본 발명은 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공하는 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to an apparatus for providing a search result based on an object's attitude, a method thereof, and a recording medium in which a computer program is recorded. In particular, in providing a search result according to the similarity of a search query image, different directions are provided according to the attitude of an object. The present invention relates to an apparatus for providing a posture-based search result of an object that sorts search results and provides the sorted search results, a method thereof, and a recording medium in which a computer program is recorded.

이미지 검색 장치는 스토리지에 저장된 복수의 이미지 중에서 사용자가 검색하고자 하는 이미지 또는 객체와 유사한 특징을 갖는 이미지를 검색하고, 해당 유사도에 따른 검색 결과를 제공하는 장치이다.The image search device is a device that searches for an image or an image having characteristics similar to an object that a user wants to search among a plurality of images stored in a storage, and provides a search result according to a corresponding degree of similarity.

이러한 이미지 검색 장치는 검색하고자 하는 이미지 또는 객체와 유사한 특징을 갖는 이미지만을 검색하고, 그에 따른 검색 결과를 제공하는데 그쳐, 사용자 중심의 자료 제공 방법을 제공하지 못하고 있으며, 검색된 결과에 대한 신뢰도가 저하된다.Such an image search device only searches for an image or an image having characteristics similar to the object to be searched, and provides the search result accordingly, but does not provide a method for providing user-centered data, and the reliability of the searched result is lowered. .

한국등록특허 제10-1058961호 [명칭: 이미지 검색 방법]Korean Patent Registration No. 10-1058961 [Name: Image search method]

본 발명의 목적은 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공하는 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.An object of the present invention is an apparatus for providing an attitude-based search result of an object that arranges search results in different directions according to the attitude of an object in providing a search result according to the similarity of a search query image, and provides the sorted search result, It is to provide a recording medium on which the method and computer program are recorded.

본 발명의 다른 목적은 복수의 이미지 중에서 입력 이미지에 대응하여 검색된 이미지 중에서, 해당 입력 이미지에 포함된 객체의 자세 정보를 근거로 해당 자세에 대응하는 영역으로 분류하고, 분류된 영역별로 검색된 이미지를 제공하는 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.Another object of the present invention is to classify into regions corresponding to the posture based on the posture information of the object included in the input image among images searched for the input image among a plurality of images, and provide the searched image for each classified area. It is to provide an apparatus for providing a search result based on a posture of an object, a method thereof, and a recording medium in which a computer program is recorded.

본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치는 입력 이미지에 포함된 객체를 식별하는 객체 식별부; 입력 이미지의 메타데이터를 근거로 식별된 객체의 자세 정보를 추출하는 자세 정보 추출부; 미리 저장된 복수의 이미지 중에서 입력 이미지에 포함된 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색하고, 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여 이미지별로 객체의 자세 정보를 확인하고, 확인된 이미지별 객체의 자세 정보를 근거로 검색된 하나 이상의 이미지를 자세별로 분류하는 검색부; 및 입력 이미지와 자세별로 분류된 하나 이상의 이미지를 각각 구분하여 표시하는 표시부를 포함할 수 있다.An apparatus for providing a search result based on an attitude of an object according to an embodiment of the present invention includes an object identification unit for identifying an object included in an input image; A posture information extracting unit for extracting posture information of the object identified based on the metadata of the input image; Search for one or more images having a similarity greater than or equal to a preset value to an object included in the input image among a plurality of pre-stored images, check the metadata for each image for the searched one or more images, and check the attitude information of the object for each image, A search unit for classifying at least one image searched for each posture based on posture information of the object for each image; And a display unit that separates and displays the input image and one or more images classified for each posture.

본 발명과 관련된 일 예로서 객체 식별부는 입력 이미지에 미리 설정된 특징 패턴을 적용하여 입력 이미지에 대한 특징 정보를 산출하고, 산출된 입력 이미지에 대한 특징 정보와 미리 학습된 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인하고, 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하고, 판단 결과 확인된 유사도가 기준값 이상일 때 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류하고, 입력 이미지 내에서 객체를 식별할 수 있다.As an example related to the present invention, the object identification unit calculates feature information for the input image by applying a preset feature pattern to the input image, and calculates feature information for the input image and individual feature information for a plurality of pre-learned images. It checks the similarity between each of the two, determines whether the confirmed similarity is greater than or equal to a preset reference value, classifies the object as being present in the input image when the determined similarity is greater than or equal to the reference value, and identifies the object within the input image. Can be identified.

본 발명과 관련된 일 예로서 메타데이터는 객체 종류, 객체명 및 객체의 자세 정보를 포함하는 입력 이미지 내에 포함된 객체 정보를 포함할 수 있다.As an example related to the present invention, metadata may include object information included in an input image including object type, object name, and attitude information of the object.

본 발명과 관련된 일 예로서 자세는 좌에서 우로 기울어진 자세, 우에서 좌로 기울어진 자세, 위에서 아래로 기울어진 자세, 아래에서 위로 기울어진 자세 및 대각선으로 기울어진 자세를 포함할 수 있다.As an example related to the present invention, the posture may include a left-to-right inclined posture, a right-to-left posture, a top-to-bottom inclined posture, a lower-to-upward inclined posture, and a diagonally inclined posture.

본 발명과 관련된 일 예로서 표시부는 입력 이미지를 기준으로 상, 하, 좌, 우 및 대각선 중 어느 하나의 방향에 자세별로 분류된 하나 이상의 이미지를 배치하여 표시할 수 있다.As an example related to the present invention, the display unit may display one or more images classified by posture in any one of up, down, left, right, and diagonal directions based on the input image.

본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 방법은 객체 식별부를 통해 입력 이미지에 포함된 객체를 식별하는 단계; 자세 정보 추출부를 통해 입력 이미지의 메타데이터를 근거로 식별된 객체의 자세 정보를 추출하는 단계; 검색부를 통해 미리 저장된 복수의 이미지 중에서 입력 이미지에 포함된 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색하는 단계; 검색부를 통해 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여 이미지별로 객체의 자세 정보를 확인하는 단계; 검색부를 통해 확인된 이미지별 객체의 자세 정보를 근거로 검색된 하나 이상의 이미지를 자세별로 분류하는 단계; 및 표시부를 통해 입력 이미지와 자세별로 분류된 하나 이상의 이미지를 각각 구분하여 표시하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a method for providing a search result based on a posture of an object includes: identifying an object included in an input image through an object identification unit; Extracting posture information of the object identified based on the metadata of the input image through the posture information extracting unit; Searching for one or more images having a similarity greater than or equal to a preset value to an object included in the input image from among a plurality of images previously stored through a search unit; Checking metadata for each image with respect to one or more images searched through the search unit, and checking posture information of the object for each image; Classifying at least one image searched for each posture based on the posture information of the object for each image checked through the search unit; And separately displaying the input image and one or more images classified by posture through the display unit.

본 발명과 관련된 일 예로서 입력 이미지에 포함된 객체를 식별하는 단계는, 객체 식별부를 통해 입력 이미지에 미리 설정된 특징 패턴을 적용하여 입력 이미지에 대한 특징 정보를 산출하는 과정; 산출된 입력 이미지에 대한 특징 정보와 미리 학습된 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인하는 과정; 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 과정; 판단 결과 확인된 유사도가 기준값 이상일 때, 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류하는 과정; 및 입력 이미지 내에서 객체를 식별하는 과정을 포함할 수 있다.As an example related to the present invention, the step of identifying an object included in an input image includes: calculating feature information for the input image by applying a preset feature pattern to the input image through an object identification unit; Checking the similarity between the calculated feature information on the input image and individual feature information on the plurality of pre-learned images; Determining whether the confirmed similarity is greater than or equal to a preset reference value; Classifying that the target object exists in the input image when the determined similarity is greater than or equal to the reference value as a result of the determination; And identifying an object in the input image.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.A computer program for performing the method according to the above-described embodiment may be stored in the recording medium on which the computer program according to the embodiment of the present invention is recorded.

본 발명은 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공함으로써, 다양한 검색 결과 제공으로 인해 사용자의 편의성을 향상시키는 효과가 있다.The present invention arranges the search results in different directions according to the attitude of the object in providing the search results according to the similarity to the search query image, and provides the sorted search results, thereby improving the user's convenience by providing various search results. There is an effect of improving.

또한, 본 발명은 복수의 이미지 중에서 입력 이미지에 대응하여 검색된 이미지 중에서, 해당 입력 이미지에 포함된 객체의 자세 정보를 근거로 해당 자세에 대응하는 영역으로 분류하고, 분류된 영역별로 검색된 이미지를 제공함으로써, 원하는 자세를 가진 검색 결과들을 용이하게 확인할 수 있는 효과가 있다.In addition, the present invention classifies a region corresponding to the posture based on the posture information of an object included in the input image among images searched for the input image among a plurality of images, and provides the searched image for each classified area. , There is an effect of being able to easily check the search results with the desired posture.

도 1은 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 객체의 자세 정보를 추출하기 위한 객체를 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 자세별 검색 결과를 나타낸 도이다.1 is a block diagram showing a configuration of an apparatus for providing search results based on an object's attitude according to an embodiment of the present invention.
Figure 2 A flowchart illustrating a method of providing a search result based on a posture of an object according to an embodiment of the present invention.
3 is a diagram illustrating an object for extracting posture information of an object according to an embodiment of the present invention.
4 is a diagram showing a search result for each posture according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as generally understood by those of ordinary skill in the technical field to which the present invention belongs, unless otherwise defined in the present invention, and is excessively comprehensive. It should not be construed as a human meaning or an excessively reduced meaning. In addition, when a technical term used in the present invention is an incorrect technical term that does not accurately express the spirit of the present invention, it should be understood by being replaced with a technical term that can be correctly understood by those skilled in the art. In addition, general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plurality of expressions unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the invention, and some components or some steps may not be included. It is to be construed that it may or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe the elements, but the elements should not be limited by the terms. The terms are used only to distinguish one component from another. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, but identical or similar components are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치(10)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an apparatus 10 for providing a search result based on a posture of an object according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 객체의 자세 기반 검색 결과 제공 장치(10)는 저장부(100), 객체 식별부(200), 자세 정보 추출부(300), 검색부(400) 및 표시부(500)로 구성된다. 도 1에 도시된 객체의 자세 기반 검색 결과 제공 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 객체의 자세 기반 검색 결과 제공 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 객체의 자세 기반 검색 결과 제공 장치(10)가 구현될 수도 있다.As shown in FIG. 1, the apparatus 10 for providing a search result based on an attitude of an object includes a storage unit 100, an object identification unit 200, a posture information extraction unit 300, a search unit 400, and a display unit 500. ). Not all of the components of the apparatus 10 for providing a posture-based search result of an object shown in FIG. 1 are essential components, and an apparatus for providing a posture-based search result of an object ( 10) may be implemented, or the apparatus 10 for providing a posture-based search result of an object may be implemented with fewer components.

객체 식별부(200)는 입력 이미지에서 객체를 식별한다. 이후, 자세 정보 추출부(300)는 식별된 객체의 자세 정보를 추출한다. 이후, 검색부(400)는 식별된 객체 및 추출된 객체의 자세 정보를 근거로 미리 저장된 복수의 이미지 중에서 해당 객체와 유사한 복수의(또는 하나 이상의) 이미지를 검색한다. 이후, 검색부(400)는 검색된 복수의 이미지를 개별 이미지 내의 객체의 자세에 따라 서로 상이한 방향으로 자세별로 정렬한다. 이후, 검색부(400)는 입력 이미지와 자세별로 분류된 복수의 이미지를 표시부(500)에 각각 구분하여 표시한다.The object identification unit 200 identifies an object in the input image. Thereafter, the posture information extracting unit 300 extracts posture information of the identified object. Thereafter, the search unit 400 searches for a plurality of (or one or more) images similar to the corresponding object from among a plurality of pre-stored images based on the identified object and the extracted attitude information of the object. Thereafter, the search unit 400 sorts the searched images for each posture in different directions according to the postures of the objects in the individual images. Thereafter, the search unit 400 displays an input image and a plurality of images classified by posture on the display unit 500, respectively.

저장부(100)는 사용자 인터페이스(UI), 그래픽 사용자 인터페이스(GUI) 등을 저장한다.The storage unit 100 stores a user interface (UI), a graphic user interface (GUI), and the like.

또한, 저장부(100)는 객체의 자세 기반 검색 결과 제공 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, the storage unit 100 stores data and programs necessary for the apparatus 10 for providing a search result based on the attitude of an object to operate.

또한, 저장부(100)는 객체의 자세 기반 검색 결과 제공 장치(10)에 포함된 입력부(미도시)(또는 카메라(미도시))를 통해 촬영되는 영상(또는 이미지), 객체의 자세 기반 검색 결과 제공 장치(10)에 포함된 통신부(미도시)를 통해 수신되는 영상 등을 저장한다.In addition, the storage unit 100 includes an image (or image) photographed through an input unit (not shown) (or a camera (not shown)) included in the apparatus 10 for providing a search result based on the attitude of the object, and search based on the attitude of the object. An image received through a communication unit (not shown) included in the result providing device 10 is stored.

또한, 저장부(100)는 복수의 특징 패턴을 저장한다. 여기서, 특징 패턴은 서로 다른 크기의 복수의 원본 이미지에 대해서 각각의 특징 정보를 산출할 수 있도록 설계자의 설계에 따라 다양한 크기로 설정할 수 있다.In addition, the storage unit 100 stores a plurality of feature patterns. Here, the feature pattern may be set to various sizes according to a designer's design so that each feature information can be calculated for a plurality of original images having different sizes.

또한, 저장부(100)는 객체 식별부(200)의 제어에 의해 확인되는 해당 입력 이미지에 대한 특징 정보, 객체 식별부(200)의 제어에 의해 확인되는 입력 이미지와 복수의 이미지에 대한 개별 특징 정보 간의 유사도, 객체 식별부(200)의 제어에 의해 식별되는(또는 인식되는) 객체에 대한 정보 등을 저장한다.In addition, the storage unit 100 includes feature information for the corresponding input image checked by the control of the object identification unit 200, the input image checked by the control of the object identification unit 200, and individual features for a plurality of images. A degree of similarity between information and information on an object identified (or recognized) by the control of the object identification unit 200 are stored.

또한, 저장부(100)는 자세 정보 추출부(300)의 제어에 의해 추출되는 입력 이미지에 포함된 객체의 자세 정보를 저장한다.In addition, the storage unit 100 stores attitude information of an object included in an input image extracted by the control of the attitude information extracting unit 300.

또한, 저장부(100)는 검색부(400)의 제어에 의해 검색되는 해당 입력 이미지에 포함된 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지, 검색부(400)의 제어에 의해 확인되는 하나 이상의 이미지별 객체의 자세 정보, 하나 이상의 이미지에 대해 자세별로 분류된 개별 이미지 등을 저장한다.In addition, the storage unit 100 includes one or more images having a similarity of more than a preset value to the object included in the corresponding input image searched under the control of the search unit 400, and one identified by the control of the search unit 400. The posture information of the object for each image and individual images classified by posture for one or more images are stored.

객체 식별부(200)는 입력 이미지(또는 입력 영상)에 포함된 객체를 식별(또는 확인)한다. 여기서, 해당 입력 이미지는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.The object identification unit 200 identifies (or confirms) an object included in the input image (or input image). Here, the corresponding input image may be an image (or image) previously stored in the storage unit 100 or an image received through a communication unit (not shown) or an input unit (not shown).

즉, 객체 식별부(200)는 해당 입력 이미지에 대해서 저장부(100)에 미리 설정된(또는 저장된) 특징 패턴을 적용하여 해당 입력 이미지에 대한 특징 정보를 산출(또는 추출/확인)한다.That is, the object identification unit 200 calculates (or extracts/confirms) feature information for the corresponding input image by applying a preset (or stored) feature pattern to the storage unit 100 with respect to the corresponding input image.

또한, 객체 식별부(200)는 산출된 입력 이미지에 대한 특징 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인한다.In addition, the object identification unit 200 checks the degree of similarity between the characteristic information on the calculated input image and the individual characteristic information on a plurality of images previously stored (or learned/registered) in the storage unit 100.

또한, 객체 식별부(200)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.In addition, the object identification unit 200 determines (or confirms) whether the confirmed similarity is equal to or greater than a preset reference value.

판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하는 경우(또는 확인된 유사도가 미리 설정된 기준값 이상인 경우), 객체 식별부(200)는 해당 유사도에 대응하는 해당 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 입력 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.As a result of the determination, if there is a similarity greater than or equal to a preset reference value among the plurality of confirmed similarities (or if the confirmed similarity is greater than or equal to a preset reference value), the object identification unit 200 aims at the input image corresponding to the similarity. It classifies (or judges/confirms) an object as being present, identifies (or recognizes) a corresponding object within a corresponding input image, and stores the identified object in the storage unit 100.

또한, 판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하지 않는 경우(또는 확인된 유사도가 미리 설정된 기준값보다 작은 경우), 객체 식별부(200)는 입력 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.In addition, as a result of the determination, if there is no similarity greater than or equal to a preset reference value among the plurality of confirmed similarities (or if the confirmed similarity is less than a preset reference value), the object identification unit 200 Classify as non-existent.

또한, 객체 식별부(200)는 식별된 객체에 대한 정보를 자세 정보 추출부(300) 또는 검색부(400)에 제공한다.In addition, the object identification unit 200 provides information on the identified object to the attitude information extraction unit 300 or the search unit 400.

자세 정보 추출부(300)는 입력 이미지의 메타데이터를 근거로 객체 식별부(200)로부터 식별된 객체의 자세 정보를 추출한다.The posture information extracting unit 300 extracts posture information of the object identified from the object identification unit 200 based on the metadata of the input image.

즉, 자세 정보 추출부(300)는 객체 식별부(200)로부터 식별된 객체(또는 해당 객체를 포함하는 입력 이미지)에 대한 메타데이터를 확인(또는 분석)하여, 해당 입력 이미지에 포함된 객체의 자세 정보를 추출(또는 확인)한다. 여기서, 메타데이터는 입력 이미지가 캡처된(또는 생성된) 위치 정보, 입력 이미지의 생성일자 정보, 입력 이미지의 특성 정보, 입력 이미지 내에 포함된 객체 정보(예를 들어, 객체 종류, 객체명, 객체의 자세 정보 등 포함) 등을 포함한다.That is, the posture information extracting unit 300 checks (or analyzes) metadata on the object (or an input image including the object) identified from the object identification unit 200, and Extract (or confirm) posture information. Here, the metadata is information on the location where the input image was captured (or generated), information on the creation date of the input image, information on the characteristics of the input image, and information on the object contained in the input image (e.g., object type, object name, object Including posture information), etc.

또한, 자세 정보 추출부(300)는 추출된 해당 입력 이미지 내에 포함된 객체의 자세 정보를 검색부(400)에 제공한다.In addition, the posture information extracting unit 300 provides posture information of the object included in the extracted corresponding input image to the search unit 400.

검색부(400)는 저장부(100)에 미리 저장된 복수의 이미지 중에서 해당 입력 이미지에 포함된 객체(또는 입력 이미지 내에서 식별된 객체)와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색한다.The search unit 400 searches for one or more images having a degree of similarity greater than or equal to a preset value to an object included in the input image (or an object identified in the input image) among a plurality of images previously stored in the storage unit 100.

또한, 검색부(400)는 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여, 이미지별로 객체의 자세 정보를 확인(또는 추출)한다.Further, the search unit 400 checks metadata for each image of one or more searched images, and checks (or extracts) posture information of the object for each image.

또한, 검색부(400)는 확인된 이미지별 객체의 자세 정보를 근거로 검색된 하나 이상의 이미지를 자세별로 분류(또는 정렬/구분)한다. 여기서, 분류에 따른 자세는 좌에서 우로 기울어진 자세, 우에서 좌로 기울어진 자세, 위에서 아래로 기울어진 자세, 아래에서 위로 기울어진 자세, 대각선으로 기울어진 자세(예를 들어 이미지 내의 객체를 중심으로 북서쪽 방향에서 남동쪽 방향으로 기울어진 자세, 남동쪽 방향에서 북서쪽 방향으로 기울어진 자세, 북동쪽 방향에서 남서쪽 방향으로 기울어진 자세, 남서쪽 방향에서 북동쪽 방향으로 기울어진 자세 등 포함) 등을 포함할 수 있다.In addition, the search unit 400 classifies (or sorts/classifies) one or more images searched for each posture based on the posture information of the identified object for each image. Here, the posture according to the classification is a posture that is inclined from left to right, a posture that is inclined from right to left, a posture that is inclined from top to bottom, a posture that is inclined from bottom to top, and a posture that is inclined diagonally (e.g. It may include a posture inclined from the northwest to the southeast, a posture inclined from the southeast to the northwest, a posture inclined from the northeast to the southwest, and a posture inclined from the southwest to the northeast).

또한, 검색부(400)는 입력 이미지와 자세별로 분류된 하나 이상의 이미지를 표시부(500)에 각각 구분하여 표시한다. 이때, 검색부(400)는 입력 이미지를 기준으로(또는 표시부(500)의 중앙 영역에 표시한 상태에서) 좌,우,상,하,대각선 방향 중 어느 하나의 방향에 자세별로 분류된 하나 이상의 이미지를 각각 배치하여 표시부(500)에 표시한다.In addition, the search unit 400 displays an input image and one or more images classified by posture on the display unit 500, respectively. At this time, the search unit 400 is based on the input image (or in a state displayed in the central area of the display unit 500), one or more classified by posture in any one of left, right, up, down, and diagonal directions. Each image is arranged and displayed on the display unit 500.

이와 같이, 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공할 수 있다.In this way, in providing the search results according to the similarity of the search query image, search results in different directions may be sorted according to the attitude of an object, and the sorted search results may be provided.

또한, 이와 같이, 복수의 이미지 중에서 입력 이미지에 대응하여 검색된 이미지 중에서, 해당 입력 이미지에 포함된 객체의 자세 정보를 근거로 해당 자세에 대응하는 영역으로 분류하고, 분류된 영역별로 검색된 이미지를 제공할 수 있다.In addition, among the images searched in response to the input image among a plurality of images as described above, based on the posture information of the object included in the input image, it is classified into an area corresponding to the posture, and the searched image is provided for each classified area. I can.

이하에서는, 본 발명에 따른 객체의 자세 기반 검색 결과 제공 방법을 도 1 내지 도 4를 참조하여 상세히 설명한다.Hereinafter, a method of providing a search result based on a posture of an object according to the present invention will be described in detail with reference to FIGS. 1 to 4.

도 2는 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 방법을 나타낸 흐름도이다.Figure 2 A flowchart illustrating a method of providing a search result based on a posture of an object according to an embodiment of the present invention.

먼저, 객체 식별부(200)는 입력 이미지(또는 입력 영상)에 포함된 객체를 식별(또는 확인)한다. 여기서, 해당 입력 이미지는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.First, the object identification unit 200 identifies (or confirms) an object included in an input image (or input image). Here, the corresponding input image may be an image (or image) previously stored in the storage unit 100 or an image received through a communication unit (not shown) or an input unit (not shown).

즉, 객체 식별부(200)는 해당 입력 이미지에 대해서 저장부(100)에 미리 설정된(또는 저장된) 특징 패턴을 적용하여 해당 입력 이미지에 대한 특징 정보를 산출(또는 추출/확인)한다. 이후, 객체 식별부(200)는 산출된 입력 이미지에 대한 특징 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인한다. 이후, 객체 식별부(200)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다. 판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 객체 식별부(200)는 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 입력 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다. 또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 객체 식별부(200)는 입력 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.That is, the object identification unit 200 calculates (or extracts/confirms) feature information for the corresponding input image by applying a preset (or stored) feature pattern to the storage unit 100 with respect to the corresponding input image. Thereafter, the object identification unit 200 checks the degree of similarity between the characteristic information of the calculated input image and the individual characteristic information of a plurality of images previously stored (or learned/registered) in the storage unit 100. Thereafter, the object identification unit 200 determines (or confirms) whether the confirmed similarity is greater than or equal to a preset reference value. As a result of the determination, when the confirmed similarity is greater than or equal to a preset reference value, the object identification unit 200 classifies (or judges/confirms) that the target object exists in the input image, and identifies the object in the input image ( Or recognition), and stores the identified object in the storage unit 100. In addition, as a result of the determination, when the confirmed similarity is less than a preset reference value, the object identification unit 200 classifies that the target object does not exist in the input image.

일 예로, 입력 이미지 내에 객체가 포함되어 있을 때, 객체 식별부(200)는 해당 입력 이미지에 포함된 ○○ 객체를 식별한다(S210).For example, when an object is included in the input image, the object identification unit 200 identifies the ○○ object included in the input image (S210).

이후, 자세 정보 추출부(300)는 입력 이미지의 메타데이터를 근거로 객체 식별부(200)로부터 식별된 객체의 자세 정보를 추출한다.Thereafter, the attitude information extraction unit 300 extracts the attitude information of the object identified from the object identification unit 200 based on the metadata of the input image.

즉, 자세 정보 추출부(300)는 객체 식별부(200)로부터 식별된 객체(또는 해당 객체를 포함하는 입력 이미지)에 대한 메타데이터를 확인(또는 분석)하여, 해당 객체의 자세 정보를 추출(또는 확인)한다. 여기서, 메타데이터는 입력 이미지가 캡처된(또는 생성된) 위치 정보, 입력 이미지의 생성일자 정보, 입력 이미지의 특성 정보, 입력 이미지 내에 포함된 객체 정보(예를 들어, 객체 종류, 객체명, 객체의 자세 정보 등 포함) 등을 포함한다.That is, the posture information extracting unit 300 checks (or analyzes) metadata about the object (or an input image including the object) identified from the object identification unit 200, and extracts the posture information of the object ( Or confirm). Here, the metadata is information on the location where the input image was captured (or generated), information on the creation date of the input image, information on the characteristics of the input image, and information on the object contained in the input image (e.g., object type, object name, object Including posture information), etc.

일 예로, 자세 정보 추출부(300)는 입력 이미지에 대한 메타데이터를 근거로 객체 식별부(200)로부터 식별된 도 3에 도시된 ○○ 객체(310)의 자세 정보(예를 들어, 좌측 부분이 전방으로 나오고 우측 부분이 후방으로 기울어진 자세 정보(또는 좌에서 우로 기울어진 자세 정보))를 추출(또는 확인)한다(S220).As an example, the posture information extracting unit 300 includes posture information of the ○○ object 310 shown in FIG. 3 identified from the object identification unit 200 based on metadata on the input image (for example, the left part The posture information (or posture information inclined from left to right) in which the right part is inclined to the front and the right part is extracted (or confirmed) (S220).

이후, 검색부(400)는 저장부(100)에 미리 저장된 복수의 이미지 중에서 해당 입력 이미지에 포함된 객체(또는 입력 이미지 내에서 식별된 객체)와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색한다.Thereafter, the search unit 400 searches for one or more images having a similarity greater than or equal to a preset value to an object included in the input image (or an object identified in the input image) among a plurality of images previously stored in the storage unit 100. do.

일 예로, 검색부(400)는 저장부(100)에 미리 저장된 복수의 이미지 중에서 입력 이미지에 포함된 ○○ 객체와 미리 설정된 값 이상의 유사도를 갖는 제 1 내지 제 24 이미지를 검색한다(S230).For example, the search unit 400 searches for first to twenty-fourth images having a similarity greater than or equal to a preset value with an ○○ object included in the input image among a plurality of images previously stored in the storage unit 100 (S230).

이후, 검색부(400)는 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여, 이미지별로 객체의 자세 정보를 확인(또는 추출)한다.Thereafter, the search unit 400 checks metadata for each image with respect to the searched one or more images, and checks (or extracts) posture information of the object for each image.

또한, 검색부(400)는 확인된 이미지별 객체의 자세 정보를 근거로 검색된 하나 이상의 이미지를 자세별로 분류(또는 정렬/구분)한다. 여기서, 분류에 따른 자세는 좌에서 우로 기울어진 자세, 우에서 좌로 기울어진 자세, 위에서 아래로 기울어진 자세, 아래에서 위로 기울어진 자세, 대각선으로 기울어진 자세(예를 들어 이미지 내의 객체를 중심으로 북서쪽 방향에서 남동쪽 방향으로 기울어진 자세, 남동쪽 방향에서 북서쪽 방향으로 기울어진 자세, 북동쪽 방향에서 남서쪽 방향으로 기울어진 자세, 남서쪽 방향에서 북동쪽 방향으로 기울어진 자세 등 포함) 등을 포함할 수 있다.In addition, the search unit 400 classifies (or sorts/classifies) one or more images searched for each posture based on the posture information of the identified object for each image. Here, the posture according to the classification is a posture that is inclined from left to right, a posture that is inclined from right to left, a posture that is inclined from top to bottom, a posture that is inclined from bottom to top, and a posture that is inclined diagonally (e.g. It may include a posture inclined from the northwest to the southeast, a posture inclined from the southeast to the northwest, a posture inclined from the northeast to the southwest, and a posture inclined from the southwest to the northeast).

일 예로, 검색부(400)는 입력 이미지에 포함된 ○○ 객체와 미리 설정된 값 이상의 유사도를 갖는 제 1 내지 제 24 이미지에 대해서, 이미지별 객체의 자세 정보(예를 들어 좌에서 우로 기울어진 자세 정보, 우에서 좌로 기울어진 자세 정보, 위에서 아래로 기울어진 자세 정보, 아래에서 위로 기울어진 자세 정보 등 포함)를 근거로 제 1 내지 제 24 이미지를 좌에서 우로 기울어진 자세 정보를 갖는 제 1 내지 제 6 이미지와, 우에서 좌로 기울어진 자세 정보를 갖는 제 7 내지 제 12 이미지와, 위에서 아래로 기울어진 자세 정보를 갖는 제 13 내지 제 18 이미지와, 아래에서 위로 기울어진 자세 정보를 갖는 제 19 내지 제 24 이미지로 각각 분류한다(S240).For example, the search unit 400 includes posture information of the object for each image (for example, the posture inclined from left to right) with respect to the first to the twenty-fourth images having a degree of similarity greater than or equal to a preset value with the ○○ object included in the input image. Information, posture information inclined from right to left, posture information inclined from top to bottom, posture information inclined from bottom to top, etc.) The sixth image, the seventh to twelfth images having posture information inclined from right to left, the thirteenth to eighteenth images having posture information inclined from top to bottom, and the 19th having posture information inclined from bottom to top Each of the images is classified into the 24th to 24th images (S240).

이후, 검색부(400)는 입력 이미지와 자세별로 분류된 하나 이상의 이미지를 표시부(500)에 각각 구분하여 표시한다. 이때, 검색부(400)는 입력 이미지를 기준으로 좌,우,상,하,대각선 방향 중 어느 하나의 방향에 자세별로 분류된 하나 이상의 이미지를 배치하여 표시부(500)에 표시한다.Thereafter, the search unit 400 displays the input image and one or more images classified by posture on the display unit 500, respectively. In this case, the search unit 400 arranges one or more images classified by posture in any one of left, right, top, bottom, and diagonal directions based on the input image and displays them on the display unit 500.

일 예로, 도 4에 도시된 바와 같이, 검색부(400)는 화면의 중앙에 입력 이미지(410)를 표시하고, 입력 이미지(410)의 좌측 영역에 자세별로 분류된 하나 이상의 이미지 중 좌에서 우로 기울어진 자세 정보를 갖는 제 1 내지 제 6 이미지(420)를 표시하고, 입력 이미지(410)의 우측 영역에 우에서 좌로 기울어진 자세 정보를 갖는 제 7 내지 제 12 이미지(430)를 표시하고, 입력 이미지(410)의 상측 영역에 위에서 아래로 기울어진 자세 정보를 갖는 제 13 내지 제 18 이미지(440)를 표시하고, 입력 이미지(410)의 하측 영역에 아래에서 위로 기울어진 자세 정보를 갖는 제 19 내지 제 24 이미지(450)를 각각 표시한다(S250).For example, as shown in FIG. 4, the search unit 400 displays the input image 410 in the center of the screen, and moves from left to right among one or more images classified by posture in the left area of the input image 410. Displaying first to sixth images 420 having inclined posture information, and displaying seventh to twelfth images 430 having posture information inclined from right to left in a right area of the input image 410, The thirteenth to eighteenth images 440 having posture information inclined from top to bottom are displayed in the upper area of the input image 410, and the first image having posture information inclined from bottom to top in the lower area of the input image 410. Each of the 19th to 24th images 450 is displayed (S250).

본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치 및 그 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치, 사용자 장치(또는 단말), 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 객체의 자세 기반 검색 결과 제공 장치 및 그 방법을 구현할 수 있다.The apparatus and method for providing search results based on the attitude of an object according to an embodiment of the present invention can be written in a computer program, and codes and code segments constituting a computer program can be easily inferred by a computer programmer in the field. . In addition, the computer program is stored in a computer-readable information storage medium (computer readable media), and the posture-based search result provision device, user device (or terminal) of the computer or object according to an embodiment of the present invention, and service provision By being read and executed by a device or the like, an apparatus and method for providing a search result based on the attitude of an object can be implemented.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치 및 그 방법을 구현하는 컴퓨터 프로그램은 객체의 자세 기반 검색 결과 제공 장치, 사용자 장치, 서비스 제공 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 객체의 자세 기반 검색 결과 제공 장치 및 그 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 객체의 자세 기반 검색 결과 제공 장치, 사용자 장치, 서비스 제공 장치 등에 장착될 수도 있다.The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium. An apparatus for providing a posture-based search result of an object according to an embodiment of the present invention and a computer program implementing the method may be stored and installed in an internal memory such as an apparatus for providing posture-based search results of an object, a user device, and a service providing device. . Alternatively, the device for providing a posture-based search result of an object according to an embodiment of the present invention and an external memory such as a smart card that stores and installs a computer program implementing the method are connected to the device for providing the posture-based search result of the object through an interface, a user It may be mounted on a device, a service providing device, or the like.

본 발명의 실시예는 앞서 설명된 바와 같이, 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공하여, 다양한 검색 결과 제공으로 인해 사용자의 편의성을 향상시킬 수 있다.As described above, an embodiment of the present invention arranges search results in different directions according to the attitude of an object in providing search results according to the similarity of a search query image, and provides the sorted search results. User convenience can be improved by providing search results.

또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 복수의 이미지 중에서 입력 이미지에 대응하여 검색된 이미지 중에서, 해당 입력 이미지에 포함된 객체의 자세 정보를 근거로 해당 자세에 대응하는 영역으로 분류하고, 분류된 영역별로 검색된 이미지를 제공하여, 원하는 자세를 가진 검색 결과들을 용이하게 확인할 수 있다.In addition, as described above, according to an embodiment of the present invention, among images retrieved from a plurality of images corresponding to an input image, based on the posture information of an object included in the input image, an area corresponding to the posture is classified, By providing the searched image for each classified area, it is possible to easily check the search results having a desired posture.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above-described contents may be modified and modified without departing from the essential characteristics of the present invention by those of ordinary skill in the technical field to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명은 검색 쿼리 이미지에 대한 유사도에 따른 검색 결과를 제공함에 있어서 객체의 자세에 따라 서로 상이한 방향의 검색 결과를 정렬하고, 정렬된 검색 결과를 제공함으로써 다양한 검색 결과 제공으로 인해 사용자의 편의성을 향상시키고 원하는 자세를 가진 검색 결과들을 용이하게 확인할 수 있는 것으로, 객체 검색 분야, 영상 처리 분야, 객체 식별/인식 분야 등에서 광범위하게 이용될 수 있다.The present invention improves user convenience by providing various search results by arranging search results in different directions according to the attitude of an object in providing search results according to similarity to a search query image, and providing the sorted search results. It can be used widely in the field of object search, image processing, object identification/recognition, and the like.

10: 객체의 자세 기반 검색 결과 제공 장치
100: 저장부 200: 객체 식별부
300: 자세 정보 추출부 400: 검색부
500: 표시부10: Device for providing search results based on the attitude of an object
100: storage unit 200: object identification unit
300: posture information extraction unit 400: search unit
500: display

Claims (8)

입력 이미지에 포함된 객체를 식별하는 객체 식별부;
상기 입력 이미지의 메타데이터를 근거로 상기 식별된 객체의 자세 정보를 추출하는 자세 정보 추출부;
미리 저장된 복수의 이미지 중에서 상기 입력 이미지에 포함된 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색하고, 상기 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여 이미지별로 객체의 자세 정보를 확인하고, 상기 확인된 이미지별 객체의 자세 정보를 근거로 상기 검색된 하나 이상의 이미지를 자세별로 분류하는 검색부; 및
상기 입력 이미지를 표시하고 이를 기준으로 상, 하, 좌, 우 및 대각선 중 어느 하나의 방향에 같은 자세별로 분류된 하나 이상의 검색된 이미지를 각각 구분 배치하여 표시하는 표시부를 포함하며,
상기 검색부는 상기 검색된 하나 이상의 이미지를 상기 확인된 이미지별 객체의 자세 정보를 근거로 좌에서 우로 기울어진 자세, 우에서 좌로 기울어진 자세, 위에서 아래로 기울어진 자세, 아래에서 위로 기울어진 자세 및 대각선으로 기울어진 자세 중 적어도 하나 이상의 자세로 분류하고,
상기 표시부는 상기 상, 하, 좌, 우 및 대각선을 포함하는 복수의 방향 상호 간에 자세가 상이한 검색 이미지가 배치되도록 상기 하나 이상의 검색된 이미지마다 상기 입력 이미지를 기준으로 상, 하, 좌, 우 및 대각선 중 분류된 자세에 대응되는 방향에 배치하여 표시하는 것을 특징으로 하는 객체의 자세 기반 검색 결과 제공 장치.An object identification unit for identifying an object included in the input image;
A posture information extracting unit for extracting posture information of the identified object based on metadata of the input image;
Searches one or more images having a similarity of more than a preset value to an object included in the input image among a plurality of pre-stored images, and checks the posture information of the object for each image by checking metadata for each image of the searched one or more images And a search unit for classifying the searched one or more images for each posture based on the checked posture information of the object for each image; And
And a display unit that displays the input image and divides and displays one or more searched images classified by the same posture in any one of up, down, left, right, and diagonal lines based on this,
The search unit converts the searched one or more images into a left-to-right inclined posture, a right-to-left posture, a top-to-bottom inclined posture, a bottom-to-top tilted posture, and a diagonal line based on the identified posture information of each object. At least one of the inclined positions is classified
The display unit up, down, left, right and diagonal lines based on the input image for each of the one or more searched images so that search images having different postures are arranged between a plurality of directions including the up, down, left, right, and diagonal lines. An apparatus for providing a posture-based search result of an object, characterized in that the posture-based search result of an object is arranged and displayed in a direction corresponding to the classified posture. 제1항에 있어서,
상기 객체 식별부는 상기 입력 이미지에 미리 설정된 특징 패턴을 적용하여 상기 입력 이미지에 대한 특징 정보를 산출하고, 상기 산출된 입력 이미지에 대한 특징 정보와 미리 학습된 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인하고, 상기 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하고, 상기 판단 결과 상기 확인된 유사도가 기준값 이상일 때 상기 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류하고, 상기 입력 이미지 내에서 상기 객체를 식별하는 것을 특징으로 하는 객체의 자세 기반 검색 결과 제공 장치.The method of claim 1,
The object identification unit calculates feature information for the input image by applying a preset feature pattern to the input image, and calculates the similarity between feature information for the calculated input image and individual feature information for a plurality of pre-learned images. Each is checked, it is determined whether the confirmed similarity is greater than or equal to a preset reference value, and as a result of the determination, when the determined similarity is greater than or equal to a reference value, the object is classified as being present in the input image, and within the input image An apparatus for providing a search result based on a posture of an object, characterized in that identifying the object. 제1항에 있어서,
상기 메타데이터는 객체 종류, 객체명 및 객체의 자세 정보를 포함하는 상기 입력 이미지 내에 포함된 객체 정보를 포함하는 것을 특징으로 하는 객체의 자세 기반 검색 결과 제공 장치.The method of claim 1,
The metadata includes object information included in the input image including object type, object name, and attitude information of the object. 삭제delete 삭제delete 객체 식별부를 통해 입력 이미지에 포함된 객체를 식별하는 단계;
자세 정보 추출부를 통해 상기 입력 이미지의 메타데이터를 근거로 상기 식별된 객체의 자세 정보를 추출하는 단계;
검색부를 통해 미리 저장된 복수의 이미지 중에서 상기 입력 이미지에 포함된 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 이미지를 검색하는 단계;
상기 검색부를 통해 상기 검색된 하나 이상의 이미지에 대해서 이미지별로 메타데이터를 확인하여 이미지별로 객체의 자세 정보를 확인하는 단계;
상기 검색부를 통해 상기 확인된 이미지별 객체의 자세 정보를 근거로 상기 검색된 하나 이상의 이미지를 자세별로 분류하는 단계; 및
표시부를 통해 상기 입력 이미지를 표시하고 이를 기준으로 상, 하, 좌, 우 및 대각선 중 어느 하나의 방향에 같은 자세별로 분류된 하나 이상의 검색된 이미지를 각각 구분 배치하여 표시하는 단계를 포함하며,
상기 분류하는 단계는, 상기 검색부를 통해, 상기 검색된 하나 이상의 이미지를 상기 확인된 이미지별 객체의 자세 정보를 근거로 좌에서 우로 기울어진 자세, 우에서 좌로 기울어진 자세, 위에서 아래로 기울어진 자세, 아래에서 위로 기울어진 자세 및 대각선으로 기울어진 자세 중 적어도 하나 이상의 자세로 분류하는 단계를 더 포함하고,
상기 표시하는 단계는, 상기 표시부를 통해, 상기 상, 하, 좌, 우 및 대각선을 포함하는 복수의 방향 상호 간에 자세가 상이한 검색 이미지가 배치되도록 상기 하나 이상의 검색된 이미지마다 상기 입력 이미지를 기준으로 상, 하, 좌, 우 및 대각선 중 분류된 자세에 대응되는 방향에 배치하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 객체의 자세 기반 검색 결과 제공 방법.Identifying an object included in the input image through an object identification unit;
Extracting posture information of the identified object based on metadata of the input image through a posture information extracting unit;
Searching for one or more images having a similarity greater than or equal to a preset value to an object included in the input image from among a plurality of images previously stored through a search unit;
Checking metadata for each image of the one or more images searched through the search unit, and checking attitude information of the object for each image;
Classifying the searched one or more images for each posture based on the checked posture information of the object for each image through the search unit; And
Displaying the input image through a display unit, and displaying at least one searched image classified by the same posture in any one of up, down, left, right, and diagonal lines based on this,
The classifying may include a left-to-right inclined posture, a right-to-left posture, a top-to-bottom inclined posture, based on the identified posture information of the object for each image through the search unit Further comprising the step of classifying at least one or more of a lower to upper inclined posture and a diagonally inclined posture,
The displaying may include, through the display unit, a search image having a different posture between a plurality of directions including the top, bottom, left, right, and diagonal lines, based on the input image for each of the one or more searched images. The method of providing a posture-based search result of an object, further comprising the step of arranging and displaying in a direction corresponding to the classified posture among, lower, left, right, and diagonal lines. 삭제delete 삭제delete
KR1020140030848A 2014-03-17 2014-03-17 Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor KR102256057B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140030848A KR102256057B1 (en) 2014-03-17 2014-03-17 Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030848A KR102256057B1 (en) 2014-03-17 2014-03-17 Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor

Publications (2)

Publication Number Publication Date
KR20150108099A KR20150108099A (en) 2015-09-25
KR102256057B1 true KR102256057B1 (en) 2021-05-25

Family

ID=54246226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030848A KR102256057B1 (en) 2014-03-17 2014-03-17 Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor

Country Status (1)

Country Link
KR (1) KR102256057B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102209678B1 (en) * 2019-01-31 2021-01-28 이화여자대학교 산학협력단 Companion animal care method, device and computer readable medium for performing the method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285141A (en) 1999-01-27 2000-10-13 Ricoh Co Ltd Image retrieval device, image classifying device, and computer readable recording medium recorded with program for functioning computer as these devices
JP2005266918A (en) 2004-03-16 2005-09-29 Sony Corp Image processing apparatus and method, recording medium, and program
KR100823649B1 (en) 2005-04-01 2008-04-21 캐논 가부시끼가이샤 Calibration method and apparatus
KR100831187B1 (en) 2003-08-29 2008-05-21 닛본 덴끼 가부시끼가이샤 Object posture estimation/correlation system using weight information
JP2011002965A (en) 2009-06-17 2011-01-06 Canon Inc Image retrieval method and device
KR101058961B1 (en) * 2002-12-19 2011-08-23 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 Image search method
JP2012513641A (en) 2008-12-22 2012-06-14 インテリジェント スペイシャル テクノロジーズ，インク． System and method for searching a 3D scene by pointing a reference object
JP2012514261A (en) 2008-12-30 2012-06-21 インテリジェント スペイシャル テクノロジーズ，インク． Mobile image retrieval and indexing system and method
JP2012524343A (en) 2009-04-14 2012-10-11 クアルコム，インコーポレイテッド System and method for image recognition using a mobile device
US20130091445A1 (en) 2010-06-01 2013-04-11 Sphere Technology Limited Method, Apparatus and System for a Graphical User Interface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040099A1 (en) * 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
KR101815975B1 (en) * 2011-07-27 2018-01-09 삼성전자주식회사 Apparatus and Method for Detecting Object Pose

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285141A (en) 1999-01-27 2000-10-13 Ricoh Co Ltd Image retrieval device, image classifying device, and computer readable recording medium recorded with program for functioning computer as these devices
KR101058961B1 (en) * 2002-12-19 2011-08-23 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 Image search method
KR100831187B1 (en) 2003-08-29 2008-05-21 닛본 덴끼 가부시끼가이샤 Object posture estimation/correlation system using weight information
JP2005266918A (en) 2004-03-16 2005-09-29 Sony Corp Image processing apparatus and method, recording medium, and program
KR100823649B1 (en) 2005-04-01 2008-04-21 캐논 가부시끼가이샤 Calibration method and apparatus
JP2012513641A (en) 2008-12-22 2012-06-14 インテリジェント スペイシャル テクノロジーズ，インク． System and method for searching a 3D scene by pointing a reference object
JP2012514261A (en) 2008-12-30 2012-06-21 インテリジェント スペイシャル テクノロジーズ，インク． Mobile image retrieval and indexing system and method
JP2012524343A (en) 2009-04-14 2012-10-11 クアルコム，インコーポレイテッド System and method for image recognition using a mobile device
JP2011002965A (en) 2009-06-17 2011-01-06 Canon Inc Image retrieval method and device
US20130091445A1 (en) 2010-06-01 2013-04-11 Sphere Technology Limited Method, Apparatus and System for a Graphical User Interface

Also Published As

Publication number Publication date
KR20150108099A (en) 2015-09-25

Similar Documents

Publication Publication Date Title
US10095925B1 (en) Recognizing text in image data
JP5775225B2 (en) Text detection using multi-layer connected components with histograms
JP6050223B2 (en) Image recognition apparatus, image recognition method, and integrated circuit
US9141874B2 (en) Feature extraction and use with a probability density function (PDF) divergence metric
US9076056B2 (en) Text detection in natural images
US20120219210A1 (en) Multi-Scale, Perspective Context, and Cascade Features for Object Detection
US20190188729A1 (en) System and method for detecting counterfeit product based on deep learning
US20200090007A1 (en) System and method for recognizing logos
US10339657B2 (en) Character detection apparatus and method
WO2013112753A1 (en) Rules for merging blocks of connected components in natural images
JP2012234494A (en) Image processing apparatus, image processing method, and program
US10354134B1 (en) Feature classification with spatial analysis
CN110046085B (en) Method and device for identifying application program control displayed on terminal equipment
KR102655789B1 (en) Face detecting method and apparatus
KR101552525B1 (en) A system for recognizing a font and providing its information and the method thereof
KR102224936B1 (en) Learning apparatus and method for detecting features in an extended region for object recognition and computer readable medium having computer program recorded therefor
KR102434574B1 (en) Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
US9418281B2 (en) Segmentation of overwritten online handwriting input
KR102256057B1 (en) Apparatus for providing a search result based on posture of object, method thereof and computer readable medium having computer program recorded therefor
US20160283520A1 (en) Search device, search method, and computer program product
KR102238672B1 (en) Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor
KR102221684B1 (en) Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor
KR102102394B1 (en) Method and apparatus for preprocessing image for recognition of character
KR20140112869A (en) Apparatus and method for recognizing character

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant