KR102373884B1 - Image data processing method for searching images by text - Google Patents
Image data processing method for searching images by text Download PDFInfo
- Publication number
- KR102373884B1 KR102373884B1 KR1020190178711A KR20190178711A KR102373884B1 KR 102373884 B1 KR102373884 B1 KR 102373884B1 KR 1020190178711 A KR1020190178711 A KR 1020190178711A KR 20190178711 A KR20190178711 A KR 20190178711A KR 102373884 B1 KR102373884 B1 KR 102373884B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- text
- information
- area
- image object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법에 관한 것으로서, 더욱 상세하게는 모바일 기기 등과 같이 다양한 이미지가 저장되는 디바이스에서, 저장된 각각의 개별 이미지에 포함된 텍스트에 대한 정보 및 이미지 객체에 대한 정보를 해당 이미지에 키워드 형태의 텍스트 데이터로 태깅(tagging)하여 데이터베이스에 저장함으로써, 디바이스에 저장된 다양한 이미지들을 이미지 태그에 포함된 키워드를 기준으로 용이하게 분류할 수 있는 동시에, 검색어의 텍스트 입력을 통해 관련 이미지를 쉽게 찾아낼 수 있도록 지원하는 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법에 관한 것이다.The present invention relates to an image data processing method for text-based image search, and more particularly, in a device in which various images are stored, such as a mobile device, information about text and image objects included in each stored individual image. By tagging the image as text data in the form of keywords and storing the information in the database, various images stored in the device can be easily classified based on the keywords included in the image tag, and at the same time, through the text input of the search word It relates to an image data processing method for text-based image search that supports to easily find related images.
Description
본 발명은 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법에 관한 것으로서, 더욱 상세하게는 모바일 기기 등과 같이 다양한 이미지가 저장되는 디바이스에서, 저장된 각각의 개별 이미지에 포함된 텍스트에 대한 정보 및 이미지 객체에 대한 정보를 해당 이미지에 키워드 형태의 텍스트 데이터로 태깅(tagging)하여 데이터베이스에 저장함으로써, 디바이스에 저장된 다양한 이미지들을 이미지 태그에 포함된 키워드를 기준으로 용이하게 분류할 수 있는 동시에, 검색어의 텍스트 입력을 통해 관련 이미지를 쉽게 찾아낼 수 있도록 지원하는 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법에 관한 것이다.The present invention relates to an image data processing method for text-based image search, and more particularly, in a device in which various images are stored, such as a mobile device, information about text and image objects included in each stored individual image. By tagging the image as text data in the form of keywords and storing the information in the database, various images stored in the device can be easily classified based on the keywords included in the image tag, and at the same time, through the text input of the search word It relates to an image data processing method for text-based image search that supports easy finding of related images.
최근에는 모바일 기기와 같은 개인용 디바이스의 사용이 급증함에 따라, 넘쳐나는 정보 사이에서 문서보다는 사진 촬영 혹은 스크린샷 생성 등 자신에게 필요한 정보를 이미지 형태로 수집/보관하는 경우가 많다.In recent years, as the use of personal devices such as mobile devices has rapidly increased, it is often the case that information necessary for oneself, such as taking a picture or creating a screenshot, is collected/stored in the form of images rather than documents among the overflowing information.
또한, 개인용 디바이스에 탑재된 카메라의 기능이 고도화되면서 개인용 디바이스의 사용자들이 이미지 형태로 관리하는 정보들의 양 역시 점차 방대해지고 있으며, 이에 따라, 디바이스에 저장된 이미지를 효과적으로 분류하고, 검색하는 기술이 절실한 실정이다.In addition, as the function of the camera mounted on the personal device is advanced, the amount of information managed by users of the personal device in the form of an image is also gradually increasing. am.
이러한 문제점을 해결하기 위하여, 최근에는 한국등록특허 제 10-2013329호에서와 같이, 광학식 문자 판독기를 이용한 데이터 처리 방법 등이 제안되고 있다.In order to solve this problem, recently, as in Korean Patent Registration No. 10-2013329, a data processing method using an optical character reader has been proposed.
상기 선행기술은 OCR(광학식 문자 판독기, Optical Character Reader) 기능을 가진 사용자 디바이스로부터 이미지 파일에 포함된 텍스트 정보를 인식하고, 이를 추출하여 매핑 테이블을 구성함으로써, 디바이스에 저장되어 있는 이미지를 검색하고자 하는 사용자가 텍스트를 기반으로 이미지를 찾아낼 수 있도록 한다.The prior art recognizes text information included in an image file from a user device having an OCR (Optical Character Reader) function, extracts it, and configures a mapping table to search for an image stored in the device. Allows users to find images based on text.
그러나, 상기 선행기술을 통해 제공되는 데이터 처리 방법은 단순히 OCR 기능을 이용하여 이미지에 포함된 텍스트를 추출하여, 추출된 텍스트를 이미지 파일과 매칭하여 매핑 테이블에 저장함으로써, 사용자가 텍스트 내용의 입력을 통해 관련 이미지 파일을 검색할 수 있도록 제공하고 있을 뿐, 이미지 객체 자체에 대한 검색이 지원되지 않아, 별도의 텍스트가 포함되지 않은 이미지를 검색할 수 있는 방법이 전혀 없어, 사용자가 디바이스 안에 저장된 방대한 양의 이미지들 가운데에서 필요한 이미지를 검색하고자 할 시에, 여전히 불편함이 남아있다.However, the data processing method provided through the prior art simply extracts the text included in the image using the OCR function, matches the extracted text with the image file and stores it in the mapping table, so that the user can input the text content. There is no way to search for images that do not contain separate text because the search for image objects itself is not supported. Inconvenience still remains when trying to search for a necessary image among the images of
본 발명은 상술된 종래기술의 한계를 극복하기 위한 것으로서, 모바일 기기 등과 같이 다양한 이미지가 저장되는 디바이스에서, 저장된 각각의 개별 이미지에 포함된 텍스트에 대한 정보 및 이미지 객체에 대한 정보를 해당 이미지에 태깅(tagging)하여 키워드 형태의 텍스트 데이터를 데이터베이스에 저장함으로써, 디바이스에 저장된 다양한 이미지들을 이미지 태그에 포함된 키워드를 기준으로 용이하게 분류할 수 있는 동시에, 검색어의 텍스트 입력을 통해 관련 이미지를 쉽게 찾아낼 수 있도록 지원하는 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법을 제공하는데 그 목적이 있다.The present invention is to overcome the limitations of the prior art described above, and in a device in which various images are stored, such as a mobile device, information on text and image object included in each stored individual image is tagged to the image. By storing the text data in the form of keywords by tagging the database, various images stored in the device can be easily classified based on the keywords included in the image tag, and at the same time, it is possible to easily find related images through text input of search terms. It aims to provide an image data processing method for text-based image search that supports
본 발명은 상술한 종래 기술의 문제점을 효과적으로 개선하기 위한 것으로서, 메모리 또는 데이터베이스에 저장되는 이미지 데이터를 처리하는 방법에 있어서, 저장될 이미지 파일을 입력받는 단계; 입력받은 이미지 파일에서 텍스트 영역을 분리하는 단계; 분리된 텍스트 영역에서 텍스트 정보를 추출하는 단계; 입력받은 이미지 파일에서 이미지 객체 영역을 분리하는 단계; 분리된 이미지 객체 영역으로부터 이미지 객체 정보를 추출하는 단계; 상기 텍스트 정보를 추출하는 단계에서 추출된 텍스트 정보와 이미지 객체 정보를 추출하는 단계에서 추출된 이미지 객체 정보로부터 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그를 생성하는 단계; 및 상기 생성된 이미지 태그를 상기 이미지 파일과 매칭하여 저장하는 단계; 를 포함하여 구성되어, 텍스트 데이터로 이루어지는 상기 이미지 태그를 이용하여 저장되는 이미지 파일의 분류 및 텍스트 입력을 통한 이미지 검색을 지원하는 것을 특징으로 하는 이미지 데이터 처리 방법을 제공한다.The present invention provides a method for processing image data stored in a memory or database, the method comprising: receiving an image file to be stored; separating the text area from the input image file; extracting text information from the separated text area; separating an image object region from the input image file; extracting image object information from the separated image object area; generating an image tag comprising text data in the form of keywords from the text information extracted in the step of extracting the text information and the image object information extracted in the step of extracting the image object information; and matching the generated image tag with the image file and storing; It provides an image data processing method characterized in that it supports classification of image files stored using the image tag composed of text data and image search through text input.
본 발명에 따른 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법은 사용자의 디바이스에 저장된 이미지로부터 OCR 기술을 통해 이미지에 포함된 텍스트를 추출하여, 사용자가 이를 활용할 수 있도록 제공한다.The image data processing method for text-based image search according to the present invention extracts text included in an image from an image stored in a user's device through OCR technology, and provides it so that the user can utilize it.
또한, 본 발명은 딥러닝 기술을 통해 이미지로부터 추출되는 정보를 획득하여 사용자에게 제공하며, 획득한 정보를 이미지에 캡셔닝하여 사용자가 해당 이미지에 대한 정보를 직관적으로 인식할 수 있도록 한다.In addition, the present invention obtains information extracted from an image through deep learning technology and provides it to the user, and captions the obtained information to the image so that the user can intuitively recognize information about the image.
나아가, 이렇게 획득한 정보들을 바탕으로 이미지 태그를 생성하고, 이미지와 매칭하여, 사용자가 디바이스에 저장된 이미지를 키워드로 검색할 수 있도록 함으로써, 이미지에 대한 접근성을 제고할 수 있다.Furthermore, by creating an image tag based on the obtained information and matching the image, the user can search for the image stored in the device with a keyword, thereby improving accessibility to the image.
도 1은 본 발명의 일 실시예에 따른 이미지 데이터를 처리하기 위한 방법을 보여주는 순서도.
도 2는 본 발명의 일 실시예에 따른 전체 이미지에 포함된 텍스트 영역과 이미지 객체 영역을 예시적으로 보여주는 도면.
도 3은 본 발명의 다른 실시예에 따른 전체 이미지에 포함된 이미지 객체 영역을 예시적으로 보여주는 도면.1 is a flow chart showing a method for processing image data according to an embodiment of the present invention;
2 is a view exemplarily showing a text area and an image object area included in an entire image according to an embodiment of the present invention;
3 is a view exemplarily showing an image object area included in an entire image according to another embodiment of the present invention;
이하, 본 발명의 실시예에 대하여 상세히 설명하지만, 본 발명은 그 요지를 이탈하지 않는 한 이하의 실시예에 한정되지 않는다.Hereinafter, although an embodiment of the present invention will be described in detail, the present invention is not limited to the following embodiment unless departing from the gist of the present invention.
도 1은 본 발명의 일 실시예에 따른 이미지 데이터를 처리하기 위한 방법을 보여주는 순서도이다.1 is a flowchart illustrating a method for processing image data according to an embodiment of the present invention.
도 1에 도시된 데이터 처리 흐름을 순차적으로 살펴보면, 먼저 스마트폰 등의 디바이스를 기반으로 하는 전용 애플리케이션을 통해 디바이스에 저장된 이미지를 입력하여, 애플리케이션이 이미지를 인식한다(S100).Looking at the data processing flow shown in FIG. 1 sequentially, first, an image stored in the device is input through a dedicated application based on a device such as a smartphone, and the application recognizes the image (S100).
애플리케이션은, 이미지가 입력되면 이미지의 인식률을 높이기 위해 이미지 전처리 과정을 수행한다(S110).When an image is input, the application performs an image pre-processing process in order to increase the recognition rate of the image (S110).
이때, 이미지 전처리에는 도트 노이즈(dot noise), 이미지의 기울어짐 및 스큐(skew) 등에 대한 보정이 포함될 수 있다.In this case, the image pre-processing may include correction for dot noise, tilt and skew of the image, and the like.
또한, 이미지 전처리 단계(S110)에서, 애플리케이션은 OCR을 통해 이미지를 읽어들여, 이미지에 텍스트가 포함되어 있는 경우, 텍스트가 포함된 영역을 텍스트 영역으로 구분하여 인식하되, 텍스트가 포함되지 않은 영역은 이미지 객체 영역으로 구분하여 인식한다.In addition, in the image pre-processing step (S110), the application reads the image through OCR, and when the image contains text, recognizes the area containing the text by dividing it into a text area, but the area that does not contain the text is It is recognized by dividing it into image object areas.
이어서 애플리케이션은 이미지에 텍스트 영역이 존재하는 경우, 이미지로부터 텍스트 영역을 분리하고(S120), OCR을 적용하여 분리된 텍스트 영역으로부터 영문, 한글, 숫자, 기호 등을 포함하는 텍스트 정보를 추출하며(S130), 추출된 텍스트 정보를 바탕으로 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그를 생성한다(S140).Then, if there is a text area in the image, the application separates the text area from the image (S120), applies OCR to extract text information including English, Korean, numbers, and symbols from the separated text area (S130) ), an image tag made of text data in the form of keywords is generated based on the extracted text information (S140).
한편, 애플리케이션은 이미지 전처리 단계(S110)가 이루어지면, 이미지로부터 이미지 객체 영역을 분리하며(S160), 해당 영역으로부터 이미지 객체 영역을 대표하는 이미지 객체 정보를 추출한다(S170).On the other hand, when the image pre-processing step (S110) is performed, the application separates the image object region from the image (S160), and extracts image object information representing the image object region from the corresponding region (S170).
이어서, 애플리케이션은 추출된 이미지 객체 정보를 바탕으로, 역시 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그를 생성한다(S140).Next, the application creates an image tag made of text data in the form of keywords based on the extracted image object information (S140).
즉, 입력된 각각의 개별 이미지들에 대해 해당 이미지에 포함된 텍스트 영역으로부터 추출된 텍스트 정보와, 이미지 객체 영역으로부터 추출된 이미지 객체 정보를 통해 각각 얻어진 키워드 형태의 텍스트 데이터들을 종합하여, 해당 이미지에 대한 이미지 태그를 생성하게 된다.That is, for each inputted individual image, the text data in the form of keywords obtained through text information extracted from the text area included in the image and the image object information extracted from the image object area are synthesized and added to the image. An image tag is created for
이미지 태그가 생성되면, 애플리케이션은 이미지 파일과 이미지 태그를 매칭하고, 매칭된 정보를 담고있는 매칭 데이터를 생성하여 디바이스를 구성하는 데이터베이스에 저장한다(S150).When the image tag is generated, the application matches the image file and the image tag, generates matching data containing the matched information, and stores it in the database constituting the device (S150).
위와 같은 방법을 통해, 사용자는 문자열을 바탕으로 하는 키워드를 활용하여, 매칭 데이터로부터 해당 키워드와 매칭되는 이미지 파일 정보를 추출함으로써, 디바이스에 저장된 이미지를 용이하게 검색하거나, 분류할 수 있다Through the above method, the user can easily search or classify images stored in the device by extracting image file information that matches the keyword from the matching data by utilizing a keyword based on a character string.
한편, 상기 이미지 객체 정보는 전체 이미지로부터 이미지 객체가 있는 부분을 분리하고, 그로부터 이미지 객체가 담고있는 정보를 추출함으로써 생성된다.Meanwhile, the image object information is generated by separating a portion having an image object from the entire image and extracting information contained in the image object therefrom.
이와 같은 이미지 객체 정보의 추출은, 딥러닝을 기반으로 하는 다양한 생활 이미지들에 대한 학습데이터에 기반한 반복학습을 통해 이미지에 대한 정보를 키워드 형태의 텍스트로 제공하는 인공지능을 통해 이루어진다.The extraction of such image object information is done through artificial intelligence that provides information about images as text in the form of keywords through repeated learning based on learning data for various living images based on deep learning.
이때, 이와 같은 이미지 객체 정보의 추출은 사용자의 디바이스에 탑재된 내장 CPU 또는 사용자의 디바이스와 유·무선통신망으로 연결된 서비스 지원 서버에 탑재된 인공지능을 통해 이루어질 수 있다.In this case, such image object information extraction may be performed through a built-in CPU mounted on the user's device or an artificial intelligence mounted on a service support server connected to the user's device through a wired/wireless communication network.
또한, 해당 이미지에 포함된 텍스트 영역에서 텍스트 정보를 추출함에 있어서도, OCR을 통해 추출된 텍스트 정보를 바탕으로 키워드 형태의 텍스트 데이터를 추출할 수 있음은 물론이다.Also, in extracting text information from the text area included in the image, of course, text data in the form of keywords can be extracted based on the text information extracted through OCR.
이에 따라, 본 발명에서는 이미지에 포함된 텍스트 정보 뿐만 아니라, 이미지에 포함된 각각의 개별 이미지 객체들에 대한 정보를 기반으로 키워드 형태로 저장된 텍스트 데이터로 이루어지는 이미지 태그를 활용하여, 사용자가 디바이스에 저장된 방대한 양의 이미지로부터 필요한 이미지를 쉽게 찾아내고, 키워드 순으로 정렬하거나 분류하는 등의 데이터 처리를 할 수 있도록 지원한다.Accordingly, in the present invention, by utilizing an image tag consisting of text data stored in the form of a keyword based on information on each individual image object included in the image as well as text information included in the image, the user It supports data processing such as easily finding necessary images from a vast amount of images and sorting or categorizing them in order of keywords.
도 2는 본 발명의 일 실시예에 따른 전체 이미지에 포함된 텍스트 영역과 이미지 객체 영역을 예시적으로 보여주는 도면이다.2 is a diagram exemplarily showing a text area and an image object area included in an entire image according to an embodiment of the present invention.
애플리케이션에 이미지가 입력되면, 애플리케이션은 도 2에 도시된 바와 같이, 전체 이미지 영역(100)을 인식하고, 텍스트 영역(110)과 이미지 객체 영역(120a)을 구분한다.When an image is input to the application, the application recognizes the
이미지에 포함된 텍스트 영역(110)으로부터 텍스트 정보를 추출하기 위해 OCR이 이용될 수 있으며, 각각의 텍스트 영역(110a, 110b)으로부터 "주말에는 더 행복하기로 했다", "내 시간을 온전히 누리는 법" 및 "The weekend effect" 의 텍스트 정보가 추출되고, 이렇게 추출된 텍스트 정보로부터 "주말", "행복", "시간", "Weekend", "Effect" 등과 같은 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그가 얻어질 수 있다.OCR may be used to extract text information from the text area 110 included in the image, and from each of the
또한, 애플리케이션은 이미지 객체 영역으로 인식된 이미지 객체 영역(120a)으로부터, 다양한 생활 이미지들에 대한 학습데이터에 기반한 딥러닝 방식의 인공지능 분석을 통해 역시 "여자", "소녀", "수박" 등과 같은 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그를 생성한다.In addition, the application is also "woman", "girl", "watermelon", etc. from the
도 3은 본 발명의 다른 실시예에 따른 전체 이미지에 포함된 이미지 객체 영역을 예시적으로 보여주는 도면이다.3 is a diagram exemplarily showing an image object region included in an entire image according to another embodiment of the present invention.
도 3은 테이블 위에 놓여진 노트북, 마우스, 휴대폰, 이어폰, 키보드 등을 촬영한 사진을 나타낸 것으로서, 여기에서도 마찬가지로 입력된 이미지는 전체 이미지 영역(100), 복수의 이미지 객체 영역(120b, 120c, 120d, 120e, 120f)으로 구분되며, 인공지능을 통해 각각의 이미지 객체 영역(120)으로부터 "노트북", "마우스", "휴대폰", "이어폰", "키보드" 등의 이미지 객체 정보가 추출되고, 이를 통해 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그가 얻어질 수 있다.3 shows a picture taken of a laptop, mouse, mobile phone, earphone, keyboard, etc. placed on the table, and the input image here as well is the
상술한 방법에 따라, 저장된 이미지로부터 텍스트 정보와 이미지 객체 정보가 모두 추출되고, 이에 근거하여 각각의 개별 이미지들에 대한 이미지 태그가 생성되면, 애플리케이션은 이미지 파일과 이미지 태그를 매칭하고, 매칭된 정보를 담고있는 매칭 데이터를 생성하여 데이터베이스에 저장함으로써, 사용자의 디바이스에 저장된 이미지 파일이 이미지 태그에 포함된 다수의 키워드들을 통해 식별될 수 있도록 한다.According to the above-described method, when both text information and image object information are extracted from the stored image, and an image tag for each individual image is generated based on this, the application matches the image file and the image tag, and the matched information By creating and storing matching data containing
위와 같은 방법을 통해, 사용자가 디바이스에 저장된 이미지를 검색하고자 하는 경우, 텍스트 형태의 관련 키워드를 입력하면, 매칭 데이터로부터 해당 키워드가 포함된 이미지 태그를 검색하고, 해당 이미지 태그와 매칭된 이미지 파일을 사용자에게 제공한다.Through the above method, when a user wants to search for an image stored in the device, if a user inputs a related keyword in text form, an image tag containing the keyword is searched from the matching data, and an image file matched with the image tag is retrieved from the matching data. provided to the user.
이때, 제공되는 이미지 파일에는 이미지와 매칭되어 있는 이미지 태그가 이미지 캡셔닝되어 이미지 파일과 함께 사용자의 디바이스에 표시될 수 있다.In this case, an image tag matching the image may be captioned in the provided image file and displayed on the user's device together with the image file.
이에 따라, 사용자가 키워드를 입력하여 사용자의 디바이스 화면에 해당 키워드를 포함하는 이미지가 표시되는 경우, 매칭된 이미지 태그가 이미지 캡셔닝을 통해 이미지와 함께 표시되도록 함으로써, 사용자에게 이미지에 대한 다양한 정보를 제공할 수 있다.Accordingly, when the user inputs a keyword and an image including the keyword is displayed on the user's device screen, the matched image tag is displayed together with the image through image captioning, thereby providing various information about the image to the user. can provide
이를 통해, 사용자가 필요한 이미지를 찾기 위해 모바일 기기에 저장된 이미지를 일일이 확인하여야 하는 불편함을 덜 수 있으며, 찾고자 하는 이미지와 연관성이 있는 키워드를 입력함으로써, 검색 편의성 및 정보 활용도를 제고할 수 있다.Through this, it is possible to reduce the inconvenience of the user having to check the images stored in the mobile device one by one in order to find the necessary images, and by inputting keywords related to the image to be found, the search convenience and information utilization can be improved.
또한, 검색된 이미지와 함께 이미지 캡셔닝된 문자열, 키워드를 표시함으로써, 사용자가 연관된 이미지를 쉽게 인식하고, 검색이 정확하게 이루어졌는지 신속하게 확인할 수 있도록 한다. In addition, by displaying the image captioned character string and keyword together with the searched image, the user can easily recognize the related image and quickly check whether the search has been performed correctly.
또한, 사용자는 태그된 키워드를 기준으로 이미지를 정렬하거나 분류할 수 있으며, 이때, 이미지의 정렬에는 가나다 순, 알파벳 순 혹은 번호 순 등으로 이미지를 정렬하거나, 그 역순으로 정렬하도록 할 수 있다.In addition, the user may sort or classify the images based on the tagged keyword. In this case, the images may be sorted in alphabetical order, alphabetical order, number order, or the like, or in the reverse order.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.The present invention described above is not limited by the above-described embodiments and the accompanying drawings, and it is in the technical field to which the present invention pertains that various substitutions, modifications and changes are possible without departing from the technical spirit of the present invention. It will be obvious to those with ordinary knowledge.
100 : 전체 이미지 영역 110a,b : 텍스트 영역
120a,b,c,d,e,f :이미지 객체 영역100:
120a,b,c,d,e,f : Image object area
Claims (5)
저장될 이미지 파일을 입력받는 단계;
입력받은 이미지 파일에서 텍스트 영역을 분리하는 단계;
분리된 텍스트 영역에서 텍스트 정보를 추출하는 단계;
입력받은 이미지 파일에서 이미지 객체 영역을 분리하는 단계;
분리된 이미지 객체 영역으로부터 각각의 개별 이미지 객체들에 대한 이미지 객체 정보를 추출하는 단계;
상기 텍스트 정보를 추출하는 단계에서 추출된 텍스트 정보와 이미지 객체 정보를 추출하는 단계에서 추출된 이미지 객체 정보로부터 키워드 형태의 텍스트 데이터로 이루어지는 이미지 태그를 생성하는 단계; 및
상기 생성된 이미지 태그를 상기 이미지 파일과 매칭하여 저장하는 단계;
를 포함하여 구성되되,
상기 이미지 객체 정보를 추출하는 단계에서는,
생활 이미지들에 대한 학습데이터에 기반한 딥러닝 방식의 인공지능 분석을 통해, 분리된 이미지 객체 영역에 존재하는 각각의 개별 이미지 객체들에 대한 이미지 객체 정보를 키워드 형태의 텍스트로 추출하도록 구성되어,
이미지 파일의 텍스트 영역과 이미지 객체 영역에서 각각 추출된 텍스트 정보와 이미지 객체 정보를 바탕으로, 이미지 파일과 매칭되어 생성되는 키워드 형태의 이미지 태그를 이용하여, 저장되는 이미지 파일의 분류 및 텍스트 입력을 통한 이미지 검색을 지원하는 것을 특징으로 하는 이미지 데이터 처리 방법.
In the method of processing image data stored in memory or database,
receiving an image file to be stored;
separating the text area from the input image file;
extracting text information from the separated text area;
separating the image object area from the input image file;
extracting image object information for each individual image object from the separated image object area;
generating an image tag comprising text data in the form of keywords from the text information extracted in the step of extracting the text information and the image object information extracted in the step of extracting the image object information; and
storing the generated image tag by matching it with the image file;
Consists of including,
In the step of extracting the image object information,
It is configured to extract image object information for each individual image object existing in the separated image object area as keyword-type text through deep learning-based artificial intelligence analysis based on learning data for living images.
Based on the text information and image object information extracted from the text area and the image object area of the image file, respectively, by using the image tag in the form of a keyword that is created by matching the image file, through classification and text input of the stored image file An image data processing method, characterized in that it supports image retrieval.
상기 분리된 텍스트 영역에서 텍스트 정보를 추출하는 단계에서는,
광학 문자 판독(OCR) 기능을 통해 텍스트 정보를 추출하는 것을 특징으로 하는 이미지 데이터 처리 방법.
The method of claim 1,
In the step of extracting text information from the separated text area,
An image data processing method comprising extracting text information through an optical character reading (OCR) function.
상기 저장될 이미지 파일을 입력받은 이후에,
입력받은 이미지 파일에 대한 전처리 과정을 수행하는 것을 특징으로 하는 이미지 데이터 처리 방법.
The method of claim 1,
After receiving the image file to be saved,
An image data processing method comprising performing a pre-processing process on an input image file.
상기 전처리 과정에서는,
도트 노이즈(dot noise), 이미지의 기울어짐 및 스큐(skew)에 대한 보정이 이루어지는 것을 특징으로 하는 이미지 데이터 처리 방법.5. The method of claim 4,
In the pre-processing process,
An image data processing method, characterized in that correction is made for dot noise, image skew, and skew.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190178711A KR102373884B1 (en) | 2019-12-30 | 2019-12-30 | Image data processing method for searching images by text |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190178711A KR102373884B1 (en) | 2019-12-30 | 2019-12-30 | Image data processing method for searching images by text |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20210086836A KR20210086836A (en) | 2021-07-09 |
| KR102373884B1 true KR102373884B1 (en) | 2022-03-15 |
| KR102373884B9 KR102373884B9 (en) | 2022-07-06 |
Family
ID=76865010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190178711A KR102373884B1 (en) | 2019-12-30 | 2019-12-30 | Image data processing method for searching images by text |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102373884B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102604122B1 (en) * | 2021-08-02 | 2023-11-20 | 가톨릭대학교 산학협력단 | Apparatus and method for classifying images |
| KR102442339B1 (en) * | 2022-03-29 | 2022-09-13 | 주식회사 애자일소다 | Apparatus and method for ocr conversion of learning material |
| KR102572933B1 (en) * | 2022-11-14 | 2023-08-31 | 주식회사 반려생활 | Method And Apparatus for Providing Integrated Pet Service Based on Machine Learning |
| KR102524124B1 (en) | 2022-11-18 | 2023-04-20 | 주식회사 무하유 | Metadata generation apparatus and method for verifying transformation and pragiarism of the image object in documents |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101255729B1 (en) * | 2011-08-03 | 2013-04-18 | 부산대학교 산학협력단 | Method on Sub Image Retrieval Using Local Alignment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102013329B1 (en) | 2012-08-23 | 2019-08-22 | 삼성전자 주식회사 | Method and apparatus for processing data using optical character reader |
| KR102368847B1 (en) * | 2017-04-28 | 2022-03-02 | 삼성전자주식회사 | Method for outputting content corresponding to object and electronic device thereof |
| KR20180126352A (en) * | 2017-07-07 | 2018-11-27 | 주식회사 마인드그룹 | Recognition device based deep learning for extracting text from images |
| KR102070197B1 (en) * | 2018-04-11 | 2020-01-28 | 김진회 | Topic modeling multimedia search system based on multimedia analysis and method thereof |
-
2019
- 2019-12-30 KR KR1020190178711A patent/KR102373884B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101255729B1 (en) * | 2011-08-03 | 2013-04-18 | 부산대학교 산학협력단 | Method on Sub Image Retrieval Using Local Alignment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210086836A (en) | 2021-07-09 |
| KR102373884B9 (en) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102373884B1 (en) | Image data processing method for searching images by text | |
| Kestemont et al. | Cross-genre authorship verification using unmasking | |
| US8290269B2 (en) | Image document processing device, image document processing method, program, and storage medium | |
| US10482146B2 (en) | Systems and methods for automatic customization of content filtering | |
| US10515267B2 (en) | Author identification based on functional summarization | |
| CN101493896B (en) | Document image processing apparatus and method | |
| KR101552525B1 (en) | A system for recognizing a font and providing its information and the method thereof | |
| US20090300003A1 (en) | Apparatus and method for supporting keyword input | |
| US10152540B2 (en) | Linking thumbnail of image to web page | |
| US20090030882A1 (en) | Document image processing apparatus and document image processing method | |
| US20140348400A1 (en) | Computer-readable recording medium storing program for character input | |
| Ugale et al. | Document management system: A notion towards paperless office | |
| JP2008310772A (en) | Information processing device, control program thereof, computer readable recording medium in which control program is recorded, and control method | |
| JP5433396B2 (en) | Manga image analysis device, program, search device and method for extracting text from manga image | |
| CN111274428B (en) | Keyword extraction method and device, electronic equipment and storage medium | |
| US11755659B2 (en) | Document search device, document search program, and document search method | |
| KR101440887B1 (en) | Method and apparatus of recognizing business card using image and voice information | |
| US20160283520A1 (en) | Search device, search method, and computer program product | |
| JP2006251975A (en) | Text sorting method and program by the method, and text sorter | |
| KR101800975B1 (en) | Sharing method and apparatus of the handwriting recognition is generated electronic documents | |
| CN112560849B (en) | Neural network algorithm-based grammar segmentation method and system | |
| US20210182477A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
| KR20150101846A (en) | Image classification service system based on a sketch user equipment, service equipment, service method based on sketch and computer readable medium having computer program recorded therefor | |
| CN114168715A (en) | Method, device and equipment for generating target data set and storage medium | |
| KR20220079431A (en) | Method for extracting tag information from screenshot image and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |