KR101624273B1 - Method for recommending image query to search contents and contents play device using this method - Google Patents

Method for recommending image query to search contents and contents play device using this method Download PDF

Info

Publication number
KR101624273B1
KR101624273B1 KR1020090028558A KR20090028558A KR101624273B1 KR 101624273 B1 KR101624273 B1 KR 101624273B1 KR 1020090028558 A KR1020090028558 A KR 1020090028558A KR 20090028558 A KR20090028558 A KR 20090028558A KR 101624273 B1 KR101624273 B1 KR 101624273B1
Authority
KR
South Korea
Prior art keywords
key image
image
user
unit
query
Prior art date
Application number
KR1020090028558A
Other languages
Korean (ko)
Other versions
KR20100110137A (en
Inventor
정태웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090028558A priority Critical patent/KR101624273B1/en
Publication of KR20100110137A publication Critical patent/KR20100110137A/en
Application granted granted Critical
Publication of KR101624273B1 publication Critical patent/KR101624273B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말이 개시된다. 본 발명의 일 양상에 따르면, 제한된 인터페이스를 갖는 컨텐츠 플레이 단말에서 수 많은 컨텐츠를 검색하기 위해, 영상 화면 플레이 중 사용자가 정확한 쿼리를 입력할 수 있도록 이미지 형태의 쿼리를 자동으로 추천해주는 것이 가능하다. 따라서 사용자는 추천된 이미지 형태의 쿼리를 선택하여 관련 컨텐츠를 직관적으로 검색할 수 있다.An automatic image query recommendation method for content search and a content play terminal using the same are disclosed. According to an aspect of the present invention, it is possible to automatically recommend an image-type query so that a user can input an accurate query during a video screen play in order to search a large number of contents in a content-playing terminal having a limited interface. Therefore, the user can intuitively search related contents by selecting a query of a recommended image type.

컨텐츠 검색, 키 이미지, 오브젝트, 사용자 인터페이스, 쿼리 Content retrieval, key image, object, user interface, query

Description

컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말{Method for recommending image query to search contents and contents play device using this method}TECHNICAL FIELD [0001] The present invention relates to an automatic image query recommendation method for content search, and a content play terminal using the method.

컨텐츠 검색 기술과 관련된다.Content retrieval technology.

최근 정보통신기술의 비약적인 발전에 따라 디지털 저장장치들의 저장 용량이 급격하게 증가하게 되었다. 이에 따라 디지털 저장장치 내에 저장되는 컨텐츠들의 검색 요구도 증가하게 되었다.Recently, the storage capacity of digital storage devices has been rapidly increased due to the rapid development of information communication technology. Accordingly, there has been an increase in the demand for retrieving the contents stored in the digital storage device.

이러한 환경에서 많은 연구 기관들이 컨텐츠 검색의 효율을 높이기 위해 질의의 방법과 검색 결과의 질을 높이기 위한 연구를 진행하고 있으며, 이러한 연구 결과로 다양한 검색 방법들이 제시되고 있다.In this environment, many research institutes are carrying out researches to improve the quality of query methods and search results in order to improve the efficiency of contents retrieval.

그러나, 멀티미디어 컨텐츠 중, 영상 컨텐츠의 경우, 컨텐츠 자체가 담고 있는 정보의 양이 많기 때문에, 영상 시청 중 특정 영상 정보를 이용해 검색을 하고자 하는 요구 사항이 주로 발생하고 있지만, PC와는 달리 영상을 제공하는 대부분의 기기들의 인터페이스의 한계로 인해, 검색을 위한 화면 인터페이스에 제약이 많고, 리모콘 등과 같이 입력장치도 제한되어 있기 때문에 효과적인 검색을 수행하기 엔 많은 어려움이 있다.However, in the case of video content, since the amount of information contained in the content itself is large in multimedia contents, there are requirements to search using specific video information during video viewing. However, unlike a PC, Due to the limitations of the interface of most devices, there are many restrictions on the screen interface for the search, and the input device such as the remote controller is also limited, which makes it difficult to perform an effective search.

특히 기기에서 동영상이 플레이 되고 있는 중, 사용자가 자신이 원하는 화면을 선택해 검색 쿼리로 입력하는 경우, 영상이 출력되는 동안 원하는 장면이 나왔을 때 사용자는 캡쳐 버튼 등을 이용해 현 화면을 얻을 수 있으나, 원하는 장면을 정확히 캡쳐하는 데에는 어려움이 따른다.Particularly, if a user selects a desired screen and inputs a search query while a moving image is being played on the device, the user can obtain the current screen by using a capture button or the like when the desired scene is displayed while the video is being output, It is difficult to accurately capture scenes.

예컨대, 캡쳐 버튼을 약간 늦게 동작시켜 다음 프레임과 화면이 겹치는 경우가 발생해 사용자가 어떤 화면을 선택했는지 모호해질 경우가 있고, 캡쳐 버튼을 너무 늦게 동작시키거나 지연이 발생해 다음 프레임이 선택되는 문제점이 있다.For example, there is a case where the capture button is operated a little late and the next frame overlaps with the screen, so that it may become ambiguous how the user has selected the screen. Also, there is a problem that the capture button is operated too late, .

본 명세서에서는, 제한된 입력장치를 갖는 디바이스에서 수 많은 멀티미디어 컨텐츠를 검색하기 위해, 컨텐츠 플레이 중 사용자가 정확한 질의를 할 수 있는 이미지를 추천해 제공하고, 제한된 인터페이스에서 사용자가 직관적으로 컨텐츠를 검색할 수 있는 기술이 개시된다.In the present specification, in order to retrieve a large amount of multimedia contents from a device having a limited input device, it is desirable to provide an image in which a user can make an accurate query during content playback and provide a user with an ability to search contents intuitively Is disclosed.

보다 구체적으로, 본 발명의 일 양상에 따른 장치 및 방법은 영상의 키 이미지 또는 오브젝트를 추출하고, 추출된 키 이미지 또는 오브젝트를 저장 및 관리하는 것이 가능하다. 그리고 사용자 요청에 따라 저장된 키 이미지 또는 오브젝트를 로딩하면, 사용자는 로딩된 키 이미지 또는 오브젝트를 선택하는 것이 가능하다. 선택된 키 이미지 또는 오브젝트는 관련 정보를 검색하기 위한 검색 쿼리로 사용될 수 있다.More specifically, an apparatus and method according to one aspect of the present invention is capable of extracting a key image or object of an image, and storing and managing the extracted key image or object. And loading a stored key image or object according to a user request, the user is able to select the loaded key image or object. The selected key image or object may be used as a search query to retrieve relevant information.

또한, 본 발명의 일 양상에 따른 장치 및 방법은 영상의 주요한 장면 전환 부분에 대응되는 아이프레임(I-Frame)을 키 이미지로 추출하고, 키 이미지 내에 존재하는 물체 또는 사람에 대한 패치 이미지를 오브젝트로 추출하는 것이 가능하다.According to an aspect of the present invention, there is provided an apparatus and method for extracting an I-frame corresponding to a main scene change portion of an image into a key image, . ≪ / RTI >

또한, 본 발명의 일 양상에 따른 장치 및 방법은 추출된 키 이미지 또는 오브젝트를 저장하기 전에 동일한 키 이미지 또는 오브젝트가 있는지 중복 검사를 수행하는 것이 가능하다.It is also possible for an apparatus and a method according to an aspect of the present invention to perform redundancy checking whether there is an identical key image or object before storing an extracted key image or object.

또한, 본 발명의 일 양상에 따라, 로딩되는 키 이미지 또는 오브젝트는 사용 자 요청이 발생된 시점을 포함하여 그 이전의 키 이미지 또는 오브젝트들이 될 수 있다.Also, according to an aspect of the present invention, the key image or object to be loaded may be the previous key image or objects including the point in time when the user request is generated.

개시된 내용에 의하면, 키 이미지 또는 오브젝트와 같은 특정한 이미지가 검색 쿼리로 사용되기 때문에 대용량의 컨텐츠를 직관적으로 검색할 수가 있다. 또한, 검색 쿼리로 사용될 키 이미지 또는 오브젝트를 자동으로 추출하고 사용자 요청에 따라 추천해주기 때문에 제한된 인터페이스 공간에서 효율적으로 검색 쿼리를 입력하는 것이 가능하다.According to the disclosed contents, since a specific image such as a key image or an object is used as a search query, a large amount of content can be intuitively searched. In addition, since a key image or an object to be used as a search query is automatically extracted and recommended according to a user's request, it is possible to efficiently input a search query in a limited interface space.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다. 후술되는 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니한다.Hereinafter, specific examples for carrying out the present invention will be described in detail with reference to the accompanying drawings. The following embodiments are intended to illustrate the present invention and the scope of the present invention is not limited to the specific embodiments.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 플레이 단말의 구성을 도시한다.FIG. 1 shows a configuration of a content play terminal according to an embodiment of the present invention.

컨텐츠 플레이 단말(100)은 휴대폰, PMP, MP3P, IPTV 등과 같이 대용량의 멀티미디어 컨텐츠를 저장하거나 이를 재생시키는 각종 기기가 될 수 있다. 또한, 컨텐츠 플레이 단말(100)은 사용자가 원하는 장면과 오브젝트를 이용한 쿼리의 수행 및 컨텐츠 검색 기능을 제공할 수 있다. The content play terminal 100 may be various devices for storing or reproducing large-capacity multimedia contents such as mobile phones, PMPs, MP3Ps, and IPTVs. In addition, the content play terminal 100 can perform a query and perform a content search using a scene and an object desired by the user.

예컨대, 컨텐츠 플레이 단말(100)는 영상 플레이 중 사용자 요청에 따라 이미지로 표현되는 쿼리를 사용자에게 추천해주고, 사용자가 추천된 이미지를 선택하면, 선택된 이미지와 관련된 정보를 검색하여 사용자에게 제공하는 것이 가능하다.For example, the content play terminal 100 recommends a query to the user, which is expressed as an image in response to a user request, and when the user selects a recommended image, information related to the selected image is retrieved and provided to the user Do.

이러한 컨텐츠 플레이 단말(100)은, 도 1과 같이, 추출부(101), 관리부(102), 데이터 저장부(103), 추천부(104), 사용자 인터페이스부(105), 표시부(106), 검색부(107)를 포함할 수 있다.1, the content play terminal 100 includes an extraction unit 101, a management unit 102, a data storage unit 103, a recommendation unit 104, a user interface unit 105, a display unit 106, And a search unit 107.

추출부(101)는 영상의 키 이미지(Key Image) 또는 오브젝트(Object)를 추출한다.The extracting unit 101 extracts a key image or an object of the image.

영상은 데이터 저장부(103)에 저장된 영상 데이터 또는 외부로부터 수신된 방송 신호를 기초로 플레이되는 영상이 될 수 있다. 키 이미지란 영상의 특정한 프레임이 될 수 있다. 오브젝트란 키 이미지 내에 존재하는 특정한 물체 또는 사람이 될 수 있다.The video may be video data stored in the data storage unit 103 or an image played on the basis of a broadcast signal received from the outside. A key image can be a specific frame of an image. An object can be a specific object or a person existing in a key image.

예컨대, 추출부(101)는 데이터 저장부(103)로부터 영상 스트림을 수신하고 수신된 영상 스트림을 분석하는 것이 가능하다. 그리고 영상 플레이 중 중요한 장면(scene)이 시작되는 부분을 검출하여 해당 프레임을 키 이미지로 추출하는 것이 가능하다. 또한, 추출된 키 이미지에서 물체 또는 사람을 검출하고 검출된 물체 또는 사람을 오브젝트로 추출하되, 별도의 이미지 패치 형태로 추출하는 것이 가능하다.For example, the extracting unit 101 can receive the video stream from the data storage unit 103 and analyze the received video stream. Then, it is possible to detect a part where an important scene starts during the video play and extract the frame as a key image. In addition, it is possible to detect an object or a person in the extracted key image, extract the detected object or person as an object, and extract it in the form of a separate image patch.

관리부(102)는 추출부(101)로부터 키 이미지 또는 오브젝트를 전달 받는다. 그리고 관리부(102)는 전달 받은 키 이미지 또는 오브젝트를 관리한다. 여기서 관리란 전달 받은 키 이미지 또는 오브젝트를 데이터 저장부(103)에 저장시키는 것 또는 저장 전에 기 저장된 키 이미지 또는 오브젝트와 전달 받은 키 이미지 또는 오브젝트를 비교하여 중복 검사를 수행하는 것을 의미할 수 있다.The management unit 102 receives a key image or an object from the extraction unit 101. The management unit 102 manages the received key image or object. Here, the management may mean storing the received key image or object in the data storage unit 103 or comparing the pre-stored key image or object with the received key image or object to perform duplicate checking.

중복 검사는 관리부(102)가 키 이미지 또는 오브젝트의 컬러 히스토그램(Color Histogram), 에지 디스크립터(Edge Descriptor) 등의 특징 정보를 비교하는 방식이 사용될 수 있다.The redundancy check may be performed by a method in which the management unit 102 compares feature information such as a color histogram or an edge descriptor of a key image or an object.

만약, 관리부(102)가 새롭게 전달 받은 키 이미지 또는 오브젝트와 기존에 저장되어 있는 키 이미지 또는 오브젝트들을 비교해서 유사도가 높으면 전달 받은 키 이미지 또는 오브젝트를 저장하지 아니하고 이미 저장되어 있는 키 이미지 또는 오브젝트의 링크만 저장하는 것이 가능하다.If the management unit 102 compares the newly received key image or object with the previously stored key image or objects, the management unit 102 stores the already stored key image or object link It is possible to store only.

이러한 키 이미지 또는 오브젝트는 데이터 저장부(103)에 저장될 수 있다.Such a key image or object may be stored in the data storage unit 103. [

추천부(104)는 사용자 요청에 따라 데이터 저장부(103)에 저장된 키 이미지 또는 오브젝트를 로딩한다.The recommendation unit 104 loads a key image or an object stored in the data storage unit 103 according to a user request.

추천부(104)가 수신하는 사용자 요청은 컨텐츠 검색에 대한 요청이 될 수 있다. 예컨대, 사용자가 현재 표시부(106)에 표시되는 화면을 보고 이와 관련된 다른 컨텐츠를 검색하고자 하는 경우, 이러한 사용자 요청이 발생될 수 있다. 또한, 사용자 요청은 사용자의 특정한 조작을 사용자 인터페이스부(105) 또는 표시부(106)가 감지하는 것이 가능하다.The user request received by the recommendation unit 104 may be a request for content retrieval. For example, when a user views a screen currently displayed on the display unit 106 and desires to search for other related contents, such a user request may be generated. In addition, the user request is capable of the user interface unit 105 or the display unit 106 to detect a specific operation of the user.

또한, 추천부(104)에 의해 로딩되는 키 이미지 또는 오브젝트는 사용자 요청이 발생된 시점을 포함하여 그 이전의 키 이미지 또는 오브젝트들이 될 수 있다. 예컨대, 추천부(104)가 사용자 요청을 수신하면 가장 최근에 저장된 순서로 키 이미지 또는 오브젝트를 로딩하는 것이 가능하다. In addition, the key image or object loaded by the recommendation unit 104 may be the previous key image or objects including the point in time when the user request is generated. For example, when the recommendation unit 104 receives a user request, it is possible to load a key image or an object in the most recently stored order.

이를 위해, 추천부(104)는 사용자 요청이 발생되었을 때의 표시부(106)의 영 상을 캡쳐링하고, 캡쳐링된 영상을 추출부(101)에 전달하는 것이 가능하다. 추출부(101)는 전달 받은 영상을 키 이미지로 추출하고, 추출된 키 이미지에서 오브젝트를 추출한다. 그리고 추출부(101)는 추출된 키 이미지 및 오브젝트를 관리부(102)로 전달한다. 관리부(102)는 전달 받은 키 이미지 및 오브젝트를 데이터 저장부(103)에 저장한다. 따라서, 사용자 요청이 발생되었을 당시의 키 이미지 또는 오브젝트가 누락되지 않고 로딩되는 것이 가능하다.For this, the recommendation unit 104 can capture the image of the display unit 106 when a user request is generated, and deliver the captured image to the extraction unit 101. The extracting unit 101 extracts the received image as a key image, and extracts the object from the extracted key image. Then, the extraction unit 101 delivers the extracted key image and the object to the management unit 102. The management unit 102 stores the received key image and object in the data storage unit 103. Thus, it is possible that the key image or object at the time the user request is generated is loaded without missing.

사용자 인터페이스부(105)는 로딩된 키 이미지 또는 오브젝트를 사용자에게 제공한다. 예컨대, 사용자 인터페이스부(105)는 로딩된 키 이미지 또는 오브젝트가 표시부(106)에 표시되도록 하고, 사용자는 표시부(106)의 화면 상에서 키 이미지 또는 오브젝트를 선택하는 것이 가능하다. The user interface unit 105 provides the user with a loaded key image or object. For example, the user interface unit 105 allows the loaded key image or object to be displayed on the display unit 106, and the user can select a key image or object on the screen of the display unit 106. [

일 예로써, 사용자 인터페이스부(105)는 원래의 영상이 표시되는 화면 일 측에 키 이미지와 오브젝트가 표시되도록 화면을 구성하는 것이 가능하다. 이렇게 별도로 표시된 화면은 검색 쿼리로 사용될 수 있으며, 사용자에 의해 선택될 수 있다.For example, the user interface unit 105 can configure a screen so that a key image and an object are displayed on one side of a screen where an original image is displayed. This separately displayed screen can be used as a search query and can be selected by the user.

사용자에 의해 어떤 키 이미지 또는 오브젝트가 선택되면, 검색부(107)는 선택된 키 이미지 또는 오브젝트와 관련된 컨텐츠를 검색한다. 예를 들어, 사용자가 오브젝트로 특정한 인물을 선택하였다면, 검색부(107)는 데이터 저장부(103)에서 선택된 인물이 등장하는 장면들을 검색하는 것이 가능하다.When a certain key image or object is selected by the user, the retrieving unit 107 retrieves the content related to the selected key image or object. For example, if the user has selected a particular person as an object, the search unit 107 can search for scenes in which the selected person appears in the data storage unit 103.

또한, 검색부(107)는 검색된 정보를 사용자 인터페이스부(105)로 전달한다. 사용자 인터페이스부(105)는 전달 받은 정보가 표시부(106)에 표시되도록 한다.In addition, the search unit 107 transmits the searched information to the user interface unit 105. The user interface unit 105 causes the display unit 106 to display the received information.

따라서, 본 발명의 일 실시예에 따른 컨텐츠 플레이 단말(100)에 의하면 키 이미지 또는 오브젝트와 같은 특정한 이미지가 검색 쿼리로 사용되기 때문에 대용량의 컨텐츠를 직관적으로 검색할 수가 있다. Therefore, according to the content play terminal 100 according to the embodiment of the present invention, since a specific image such as a key image or an object is used as a search query, it is possible to intuitively search a large amount of content.

또한, 검색 쿼리로 사용될 키 이미지 또는 오브젝트를 자동으로 추출하고 사용자 요청에 따라 추천해주기 때문에 제한된 인터페이스 공간에서 효율적으로 검색 쿼리를 입력하는 것이 가능하다.In addition, since a key image or an object to be used as a search query is automatically extracted and recommended according to a user's request, it is possible to efficiently input a search query in a limited interface space.

도 2는 본 발명의 일 실시예에 따라 추출부(101)가 키 이미지를 검출하는 방법을 도시한다. 2 illustrates a method by which the extraction unit 101 detects a key image according to an embodiment of the present invention.

도 2에서, 201 내지 204는 영상의 아이프레임들을 나타내고, d1 내지 d3은 아이프레임들 간의 거리를 나타낸다. 본 발명의 일 실시예에 따라, 키 이미지는 특정한 아이프레임이 될 수 있으며, 아이프레임은 shot이 바뀌는 부분 또는 중요한 장면 전환 부분에 대응되는 영상 프레임이 될 수 있다.In Fig. 2, reference numerals 201 to 204 denote eye frames of an image, and d1 to d3 denote distances between eye frames. According to an embodiment of the present invention, the key image may be a specific eye frame, and the eye frame may be an image frame corresponding to a shot change portion or an important scene change portion.

도 2를 참조하면, 추출부(101)는 영상 스트림(200)에서 아이프레임들(201, 202, 203, 204)을 검출하고, 검출된 아이프레임들(201, 202, 203, 204) 간의 거리(d1, d2, d3)를 이용하여 키 이미지를 추출한다.2, the extraction unit 101 detects the eye frames 201, 202, 203, and 204 in the video stream 200 and detects a distance between the detected eye frames 201, 202, 203, (d1, d2, d3).

예를 들어, 추출부(101)는 최초의 아이프레임(201)을 제 1 키 이미지로 추출한다. 이어서, 두 번째 아이프레임(202)이 검출되면 제 1 키 이미지(201)와의 거리(d1)를 계산한다. 그리고 계산된 거리(d1)가 임계 값 이상인지 여부를 판단한다. 만약, 임계 값 이상인 경우, 검출되었던 두 번째 아이프레임(202)을 제 2 키 이미지로 추출한다. 도 2에서는, d1이 임계 값 이상이기 때문에 202 프레임이 제 2 키 이미지로 추출되었다.For example, the extracting unit 101 extracts the first eye frame 201 as the first key image. Then, when the second eye frame 202 is detected, the distance d1 to the first key image 201 is calculated. Then, it is determined whether the calculated distance d1 is equal to or greater than a threshold value. If it is greater than or equal to the threshold value, the second eye frame 202 that has been detected is extracted as the second key image. In Fig. 2, since d1 is equal to or greater than the threshold value, 202 frames are extracted as the second key image.

그리고 세 번째 아이프레임(203)이 검출되면, 제 2 키 이미지(202)와의 거리(d2)를 계산하고, 계산된 거리(d2)를 임계 값과 비교한다. 만약, 임계 값 이상이 아닌 경우, 검출되었던 세 번째 아이프레임(203)은 키 이미지로 추출되지 아니한다.When the third eye frame 203 is detected, the distance d2 to the second key image 202 is calculated, and the calculated distance d2 is compared with the threshold value. If not, the detected third eye frame 203 is not extracted as a key image.

마찬가지로, 네 번째 아이프레임(204)이 검출되면, 제 2 키 이미지(202)와의 거리(d3)를 계산하고, 계산된 거리(d3)를 임계 값과 비교한다. 도 2에서는, d3가 임계 값 이상이기 때문에 204 프레임이 제 3 키 이미지로 추출되었다.Similarly, when the fourth eye frame 204 is detected, the distance d3 to the second key image 202 is calculated, and the calculated distance d3 is compared with the threshold value. In Fig. 2, since d3 is equal to or greater than the threshold value, 204 frames are extracted as the third key image.

아이프레임 간의 거리는 아이프레임 내의 특징 정보들(예컨대, 휘도 레벨분포)을 수치화하고, 수치화된 특징 정보들을 기초로 계산될 수 있다.The distance between the eye frames can be calculated based on numerical feature information by digitizing the feature information (e.g., brightness level distribution) in the eye frame.

도 3은 본 발명의 일 실시예에 따라 추출부(101)가 오브젝트를 추출하는 방법을 도시한다.FIG. 3 shows a method of extracting an object by the extracting unit 101 according to an embodiment of the present invention.

도 3을 참조하면, 추출부(101)는 추출된 키 이미지(204)를 일정한 크기를 갖는 격자로 나누고, 각각의 격자에 특징적인 물체 또는 사람이 있는지 여부를 판단한다. Referring to FIG. 3, the extracting unit 101 divides the extracted key image 204 into grids having a predetermined size, and determines whether there is a characteristic object or person in each grid.

예컨대, A 격자(301) 및 B 격자(302)에 사람의 얼굴이 나타난 경우, 추출부(101)는 A 격자(301) 및 B 격자(302)를 별도의 이미지 패치로 추출하여 오브젝트로 등록하는 것이 가능하다.For example, when a face of a person appears in the A grid 301 and the B grid 302, the extraction unit 101 extracts the A grid 301 and the B grid 302 as separate images and registers them as objects It is possible.

도 4는 본 발명의 일 실시예에 따라 사용자 인터페이스부(105)가 구성한 화면을 도시한다.FIG. 4 illustrates a screen constructed by the user interface unit 105 according to an embodiment of the present invention.

도 4에서, 401은 컨텐츠 플레이 단말(100)의 화면, 즉 도 1의 표시부(106)가 될 수 있다. 그리고 화면(401)은 기본 화면(402)과 쿼리 화면(403)으로 구분될 수 있다. 기본 화면(402)은 영상이 플레이되는 부분이고, 쿼리 화면(403)은 추천부(104)에서 로딩된 키 이미지와 오브젝트가 표시되는 부분이다.In FIG. 4, reference numeral 401 denotes a screen of the content play terminal 100, that is, the display unit 106 of FIG. The screen 401 can be divided into a basic screen 402 and a query screen 403. [ The basic screen 402 is a part where an image is played and the query screen 403 is a part where a key image and an object loaded by the recommendation part 104 are displayed.

사용자 인터페이스부(105)는 로딩된 키 이미지 또는 오브젝트를 사용자가 선택할 수 있도록 쿼리 화면(403)을 구성하는 것이 가능하다.The user interface unit 105 can configure a query screen 403 so that the user can select a loaded key image or an object.

또한, 쿼리 화면(403)의 키 이미지 또는 오브젝트들은 사용자가 선택할 수 있다. 예컨대, 화면(401)이 터치스크린으로 형성된 경우, 사용자는 직접 키 이미지 또는 오브젝트를 터치하여 선택할 수 있다. 그 밖에도 리모컨 등에 구비된 방향키를 조작하여 쿼리 화면(403)에 표시된 키 이미지 또는 오브젝트를 선택하는 것이 가능하다.In addition, a key image or objects of the query screen 403 can be selected by the user. For example, when the screen 401 is formed with a touch screen, the user can directly touch a key image or an object to select it. In addition, it is possible to select a key image or an object displayed on the query screen 403 by operating a direction key provided on a remote controller or the like.

다음으로, 도 5를 참조하여 본 발명의 일 실시예에 따른 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법을 설명한다.Next, an automatic image query recommendation method for content search according to an embodiment of the present invention will be described with reference to FIG.

도 5를 참조하면, 먼저, 영상의 키 이미지 또는 오브젝트를 추출한다(501). 예컨대, 추출부(101)가 수신된 영상 스트림을 분석하여 키 이미지 또는 오브젝트를 추출하는 것이 가능하다. 키 이미지는 도 2와 같이 임계 값 이상의 거리를 갖는 아이프레임들이 될 수 있으며, 오브젝트는 도 3과 같이 키 이미지 내에 존재하는 물체 또는 사람에 대한 패치 이미지가 될 수 있다.Referring to FIG. 5, first, a key image or object of an image is extracted (501). For example, the extracting unit 101 may analyze the received video stream to extract a key image or an object. The key image may be an eye frame having a distance equal to or greater than a threshold value as shown in FIG. 2, and the object may be a patch image for an object or a person existing in a key image as shown in FIG.

이어서, 추출된 키 이미지 또는 오브젝트를 관리한다(502). 예컨대, 관리부(102)가 추출된 키 이미지 또는 오브젝트를 데이터 저장부(103)에 저장시키는 것 이 가능하다. 이때 관리부(102)는 전달 받은 키 이미지 또는 오브젝트와 기 저장된 키 이미지 또는 오브젝트를 비교하여 중복 검사를 수행할 수도 있다.Then, the extracted key image or object is managed (502). For example, the management unit 102 can store the extracted key image or object in the data storage unit 103. [ At this time, the management unit 102 may compare the received key image or object with the previously stored key image or object to perform duplicate checking.

이어서, 사용자 요청이 있는지 여부를 판단한다(503). 예컨대, 추천부(104)가 사용자로부터 컨텐츠 검색에 대한 요청을 수신하였는지 여부에 따라 사용자 요청을 판단하는 것이 가능하다.Then, it is determined whether there is a user request (503). For example, it is possible to determine a user request depending on whether or not the recommendation unit 104 has received a request for content search from the user.

사용자 요청이 있는 경우, 그 때까지 저장된 키 이미지 또는 오브젝트를 로딩한다(504). 예컨대, 추천부(104)가 데이터 저장부(103)에 저장되어 있는 키 이미지 또는 오브젝트 목록을 독출하는 것이 가능하다.If there is a user request, the stored key image or object is loaded 504. For example, it is possible for the recommendation unit 104 to read out a key image or a list of objects stored in the data storage unit 103. [

이때, 로딩되는 키 이미지 또는 오브젝트는 사용자 요청이 발생한 시점의 영상에 대한 키 이미지 또는 오브젝트를 포함한다. 예컨대, 추천부(104)는 저장된 키 이미지 또는 오브젝트를 로딩하기 전에, 사용자 요청이 발생한 시점의 영상을 캡쳐링하고, 캡쳐링된 영상을 추출부(101)로 전달하는 것이 가능하다. 그러면, 추출부(101)는 전달 받은 영상에서 키 이미지 또는 오브젝트를 추출하고 이것을 관리부(102)로 전달한다. 관리부(102)는 전달 받은 키 이미지 또는 오브젝트를 데이터 저장부(103)에 저장한다. 사용자 요청이 발생한 시점의 영상에 대한 키 이미지 또는 오브젝트가 저장된 이후에, 추천부(104)가 키 이미지 또는 오브젝트를 로딩한다. 따라서 사용자 요청이 발생되었을 때 그 당시의 키 이미지 또는 오브젝트가 누락되는 것을 방지할 수 있다.At this time, the loaded key image or object includes a key image or object for the image at the time when the user request is generated. For example, the recommendation unit 104 can capture an image at the time when a user request is generated, and deliver the captured image to the extraction unit 101 before loading the stored key image or object. Then, the extraction unit 101 extracts a key image or an object from the received image, and transmits the extracted key image or object to the management unit 102. The management unit 102 stores the received key image or object in the data storage unit 103. The recommendation unit 104 loads the key image or the object after the key image or object corresponding to the image at the time when the user request is generated. Therefore, when a user request is generated, it is possible to prevent the key image or object at that time from being missed.

이어서, 로딩된 키 이미지 또는 오브젝트를 사용자가 선택할 수 있도록 제공한다(505). 예컨대, 사용자 인터페이스부(105)가 도 4의 쿼리 화면(403)을 구성하 고 여기에 키 이미지 또는 오브젝트가 표시되도록 하는 것이 가능하다.Then, the user can select a loaded key image or object (505). For example, it is possible for the user interface unit 105 to constitute the query screen 403 of FIG. 4 so that a key image or object is displayed thereon.

이어서, 사용자의 선택이 있는지 여부를 판단한다(506). 예컨대, 사용자 인터페이스부(105)가 사용자의 터치조작 또는 리모콘 조작 등을 통해 키 이미지 또는 오브젝트가 선택되었는지 여부를 판단하는 것이 가능하다.Then, it is determined whether there is a user's selection (506). For example, it is possible for the user interface unit 105 to determine whether a key image or an object is selected through a touch operation of the user or a remote controller operation or the like.

사용자의 선택이 있는 경우, 선택된 키 이미지 또는 오브젝트를 기초로 관련 컨텐츠를 검색한다(507). 예컨대, 검색부(107)가 사용자 인터페이스부(105)로부터 키 이미지 또는 오브젝트를 검색 쿼리로 입력 받고 데이터 저장부(103)에 저장된 컨텐츠를 검색하는 것이 가능하다.If there is a user's selection, the related content is retrieved based on the selected key image or object (507). For example, the retrieving unit 107 may receive a key image or object from the user interface unit 105 as a retrieval query, and retrieve the contents stored in the data storage unit 103.

예를 들어, 사용자가 특정 인물에 해당하는 오브젝트를 선택한 경우, 검색부(107)는 데이터 저장부(103)에 저장된 영상 데이터에서 해당 인물이 등장하는 부분을 검색하는 것이 가능하다.For example, when the user selects an object corresponding to a specific person, the searching unit 107 can search for the portion where the person appears in the image data stored in the data storage unit 103. [

이어서, 검색된 컨텐츠를 사용자에게 제공한다(508). 예컨대, 검색부(107)가 검색 결과를 사용자 인터페이스부(105)로 넘겨주면 사용자 인터페이스부(105)는 검색 결과가 표시부(106)에 표시되도록 하는 것이 가능하다.The retrieved content is then provided to the user (508). For example, if the search unit 107 passes the search result to the user interface unit 105, the user interface unit 105 can display the search result on the display unit 106. [

이상에서 설명한 것과 같이, 개시된 실시예에 의하면, 키 이미지 또는 오브젝트와 같은 특정한 이미지가 검색 쿼리로 사용되기 때문에 대용량의 컨텐츠를 직관적으로 검색할 수가 있고, 검색 쿼리로 사용될 키 이미지 또는 오브젝트를 자동으로 추출하고 사용자 요청에 따라 추천해주기 때문에 제한된 인터페이스 공간에서 효율적으로 검색 쿼리를 입력할 수가 있다.As described above, according to the disclosed embodiment, since a specific image such as a key image or an object is used as a search query, it is possible to intuitively search a large amount of contents and automatically extract a key image or an object to be used as a search query And recommends it according to the user's request. Therefore, it is possible to efficiently input a search query in a limited interface space.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 플레이 단말의 구성을 도시한다.FIG. 1 shows a configuration of a content play terminal according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 키 이미지를 도시한다.2 shows a key image according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 오브젝트를 도시한다.3 illustrates an object according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 표시화면을 도시한다.4 shows a display screen according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법을 도시한다.FIG. 5 illustrates an automatic image query recommendation method for content search according to an exemplary embodiment of the present invention.

Claims (10)

영상의 키 이미지 또는 오브젝트를 추출하는 추출부;An extracting unit for extracting a key image or an object of the image; 상기 추출된 키 이미지 또는 오브젝트를 관리하는 관리부;A management unit for managing the extracted key image or object; 상기 키 이미지 또는 상기 오브젝트에 대한 사용자의 요청을 수신하면, 상기 사용자의 요청의 수신 전에 추출된 키 이미지 또는 오브젝트를 로딩하는 추천부; 및A recommendation unit for loading the extracted key image or object before receiving the request of the user upon receiving the user's request for the key image or the object; And 상기 로딩된 키 이미지 또는 오브젝트를 상기 사용자가 선택할 수 있도록 제공하는 사용자 인터페이스부; 를 포함하는 컨텐츠 플레이 단말.A user interface unit for providing the loaded key image or object so that the user can select the loaded key image or object; And a content playback terminal. 제 1 항에 있어서,The method according to claim 1, 상기 키 이미지는 상기 영상의 아이프레임(I-Frame)을 포함하고,The key image includes an I-frame of the image, 상기 오브젝트는 상기 키 이미지 내의 물체 또는 사람을 포함하는 컨텐츠 플레이 단말.Wherein the object includes an object or a person in the key image. 제 1 항에 있어서,The method according to claim 1, 상기 추출된 키 이미지 또는 오브젝트가 저장되는 저장부; 를 더 포함하며,A storage unit for storing the extracted key image or object; Further comprising: 상기 관리부는 상기 추출된 키 이미지 또는 오브젝트와 상기 저장부에 기 저장된 키 이미지 또는 오브젝트를 비교하여 중복 검사를 수행하는 컨텐츠 플레이 단말.Wherein the management unit compares the extracted key image or object with a key image or object previously stored in the storage unit to perform duplicate checking. 삭제delete 제 1항에 있어서,The method according to claim 1, 상기 추출부는 상기 요청이 발생된 시점에 해당하는 영상의 키 이미지 또는 오브젝트를 추출하고, 추출된 키 이미지 또는 오브젝트를 상기 관리부로 전달하는 컨텐츠 플레이 단말.Wherein the extracting unit extracts a key image or object of an image corresponding to a time point at which the request is generated, and delivers the extracted key image or object to the management unit. 제 1 항에 있어서,The method according to claim 1, 상기 사용자 인터페이스부는 상기 로딩된 키 이미지 또는 오브젝트를 상기 영상과 함께 제공하는 컨텐츠 플레이 단말.Wherein the user interface unit provides the loaded key image or object together with the image. 영상의 키 이미지 또는 오브젝트를 추출하는 단계;Extracting a key image or object of the image; 상기 추출된 키 이미지 또는 오브젝트를 관리하는 단계;Managing the extracted key image or object; 상기 키 이미지 또는 상기 오브젝트에 대한 사용자의 요청을 수신하면, 상기 사용자의 요청의 수신 전에 추출된 키 이미지 또는 오브젝트를 로딩하는 단계; 및Loading the extracted key image or object before receiving the request of the user upon receiving the user's request for the key image or the object; And 상기 로딩된 키 이미지 또는 오브젝트를 상기 사용자가 선택할 수 있도록 제공하는 단계; 를 포함하는 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법.Providing the loaded key image or object for the user to select; And an automatic image query recommendation method for searching for a content. 제 7 항에 있어서,8. The method of claim 7, 상기 추출 단계는 The extracting step 영상의 아이프레임(I-Frame)들을 검출하고, 상기 아이프레임들 간의 거리를 계산하는 단계;Detecting I frames of an image and calculating a distance between the eye frames; 상기 거리가 임계값 이상인 아이프레임들을 상기 키 이미지로 검출하는 단계; 및Detecting, as the key image, eye frames whose distance is equal to or greater than a threshold value; And 상기 검출된 키 이미지 내의 물체 또는 사람을 상기 오브젝트로 검출하는 단계; 를 포함하는 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법.Detecting an object or person in the detected key image as the object; And an automatic image query recommendation method for searching for a content. 제 7 항에 있어서,8. The method of claim 7, 상기 관리 단계는 The management step 기 저장된 키 이미지 또는 오브젝트와 새로운 키 이미지 또는 오브젝트를 비교하여 중복 검사를 수행하는 과정을 포함하는 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법.And comparing the previously stored key image or object with a new key image or object to perform redundancy checking. 삭제delete
KR1020090028558A 2009-04-02 2009-04-02 Method for recommending image query to search contents and contents play device using this method KR101624273B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090028558A KR101624273B1 (en) 2009-04-02 2009-04-02 Method for recommending image query to search contents and contents play device using this method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090028558A KR101624273B1 (en) 2009-04-02 2009-04-02 Method for recommending image query to search contents and contents play device using this method

Publications (2)

Publication Number Publication Date
KR20100110137A KR20100110137A (en) 2010-10-12
KR101624273B1 true KR101624273B1 (en) 2016-05-26

Family

ID=43130876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090028558A KR101624273B1 (en) 2009-04-02 2009-04-02 Method for recommending image query to search contents and contents play device using this method

Country Status (1)

Country Link
KR (1) KR101624273B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072113B1 (en) 2012-10-17 2020-02-03 삼성전자주식회사 User terminal device and control method thereof
WO2016022008A1 (en) 2014-08-08 2016-02-11 Samsung Electronics Co., Ltd. Method and apparatus for environmental profile generation

Also Published As

Publication number Publication date
KR20100110137A (en) 2010-10-12

Similar Documents

Publication Publication Date Title
US6389168B2 (en) Object-based parsing and indexing of compressed video streams
KR100672296B1 (en) Method for calculating program rating using both direction TV
US20130124551A1 (en) Obtaining keywords for searching
KR101846756B1 (en) Tv program identification method, apparatus, terminal, server and system
US9313444B2 (en) Relational display of images
US20120185905A1 (en) Content Overlay System
US20140181667A1 (en) Metadata Assisted Trick Mode Intervention Method And System
CN111095939B (en) Identifying previously streamed portions of media items to avoid repeated playback
WO2015029393A1 (en) Information processing device and information processing method
WO2018171047A1 (en) Photographing guide method, device and system
KR20120078730A (en) Linking disparate content sources
KR102505973B1 (en) Image processing apparatus, control method thereof and computer readable medium having computer program recorded therefor
KR102592904B1 (en) Apparatus and method for summarizing image
JP2007020195A (en) Method and device for retrieving video
KR101624273B1 (en) Method for recommending image query to search contents and contents play device using this method
CN100508594C (en) Commercial information searching method and apparatus, and provid method and apparatus accompanying information
JP2009022018A (en) Method and device for retrieving video
CN111274449A (en) Video playing method and device, electronic equipment and storage medium
KR100763197B1 (en) Method and apparatus for content browsing
US10165223B2 (en) Pre-selectable video file playback system and method, and computer program product
KR101498608B1 (en) Apparatus for searching image data
JP3931890B2 (en) Video search method and apparatus
US20140189769A1 (en) Information management device, server, and control method
KR100964799B1 (en) Method for file naming of image data
GB2570498A (en) A method and user device for displaying video data, a method and apparatus for streaming video data and a video surveillance system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant