KR20210019362A - AR, VR design simulation contents - Google Patents

AR, VR design simulation contents Download PDF

Info

Publication number
KR20210019362A
KR20210019362A KR1020190098483A KR20190098483A KR20210019362A KR 20210019362 A KR20210019362 A KR 20210019362A KR 1020190098483 A KR1020190098483 A KR 1020190098483A KR 20190098483 A KR20190098483 A KR 20190098483A KR 20210019362 A KR20210019362 A KR 20210019362A
Authority
KR
South Korea
Prior art keywords
image
color pattern
pattern image
wallpaper
wallpaper color
Prior art date
Application number
KR1020190098483A
Other languages
Korean (ko)
Inventor
이경환
Original Assignee
주식회사 신단수디자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 신단수디자인 filed Critical 주식회사 신단수디자인
Priority to KR1020190098483A priority Critical patent/KR20210019362A/en
Publication of KR20210019362A publication Critical patent/KR20210019362A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An emotion-based search system consists of an emotion-based search unit having a wallpaper color pattern image database constructed by matching wallpaper color pattern image data and an image property extracted from the image data and an emotion knowledge database constructed by matching an emotion evaluation value representing an emotion of the wallpaper color pattern image and an image property corresponding to the emotion evaluation value, searching for an image property matching an inputted emotion evaluation value in the emotion knowledge database if the emotion evaluation value is inputted, and searching for wallpaper color pattern image data matching an image property similar to the searched image property in the wallpaper color pattern image database to suggest the wallpaper color pattern image data. The emotion-based search system is used to apply a wallpaper color pattern image searched based on an emotion to augmented reality (AR) and virtual reality (VR) design three-dimensional virtual models to allow design simulations. The present invention provides an emotion-based image search system and augmented reality (AR) and virtual reality (VR) design simulation content using the same, which allow a user to perform sufficient verification through product data replacement or the like in a virtual space and can save the time and effort of product selection.

Description

AR, VR 디자인 시뮬레이션 콘텐츠{AR, VR design simulation contents}AR, VR design simulation contents}

본 발명은 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠에 관한 것으로, 특히 감성 형용사에 해당하는 컬러 패턴 영상을 검색하여 벽지 디자인을 제시하고 감성 기반으로 제공되는 영상을 3차원 모델에 적용하여 디자인 시뮬레이션을 제공하는 감성 기반 영상 검색 시스템 및 이를 이용한 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠에 관한 것이다.The present invention relates to AR (Augmented Reality), VR (Virtual Reality) design simulation content, in particular, by searching a color pattern image corresponding to an emotional adjective, presenting a wallpaper design, and applying an image provided based on emotion to a 3D model. The present invention relates to an emotion-based image search system that provides design simulation, and AR (augmented reality) and VR (virtual reality) design simulation contents using the same.

색채 심리학에서는 실험을 통하여 평균적인 의미의 단일 색채에 대한 인간의 공통적인 감정을 평가하고 있다. 일본의 고바야시가 1990년 출판한 "Color Image Scale"에서 따뜻한-차가운, 단단한-부드러운 등과 같이 서로 반대 개념을 갖는 형용사 쌍으로 구성된 이미지 스케일을 정의하였다. 뿐만 아니라 이 이미지 스케일에 단일 색채들과 감성 형용사 들을 배열하고 단일 색채와 감성 형용사를 관련지었다. 더하여 몇몇 색들로 이루어진 배색에 대해서도 배색이 주는 감성과 관련지었으며 이러한 이미지 스케일은 색채 디자인 분야에서 많이 응용되고 있다.In color psychology, human emotions about a single color in an average sense are evaluated through experiments. In "Color Image Scale" published in 1990 by Kobayashi of Japan, an image scale consisting of pairs of adjectives having opposite concepts, such as warm-cold, hard-soft, etc., was defined. In addition, single colors and emotional adjectives are arranged on this image scale, and a single color and emotional adjective are associated. In addition, the color scheme composed of several colors is also related to the emotion given by the color scheme, and this image scale is widely applied in the field of color design.

그러나 Color Image Scale에는 단색이나 배색에 관련된 감성에 관한 것만을 제시하고 옷감 등 직물이나 벽지, 바닥재, 카펫과 같은 인테리어 제품과 외장재, 섬유, 화장품 등 많은 색이 랜덤하게 섞인 제품에 직접 적용하기에는 미흡하였다.However, in the Color Image Scale, only sensibility related to single color or color is presented, and it is not enough to directly apply it to products in which many colors are randomly mixed, such as textiles, wallpaper, flooring, and carpets, and interior products such as exterior materials, textiles, and cosmetics. .

일반적으로 영상의 내용기반 검색은 영상의 대표적인 몇 가지 대표 색을 이용하여 검색하거나 영상이 담고 있는 물체의 형태나 질감 등을 이용하여 검색하는 방법 등이 많이 이용되고 있다. 그러나 이러한 검색은 단지 영상의 물리적 특성만을 고려하여 접근하는 방법으로 사용자의 감성은 고려되지 못하고 있는 실정이다.In general, the content-based search of an image is a method of searching using several representative colors of an image, or a method of searching using the shape or texture of an object contained in the image. However, this search is a method that only considers the physical characteristics of the image, and the user's emotion is not considered.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, MPEG-7 시각표현자(visual descriptor) 및 벽지의 컬러 및 질감의 영상 속성과 벽지컬러패턴의 영상을 매칭하여 데이터베이스화하고, 영상의 감성 평가에 의한 감성 형용사와 영상속성을 매칭하여 데이터베이스화하여, 감성 형용사에 해당하는 영상속성을 지닌 영상을 검색 제시하는 감성 기반의 영상 검색 시스템을 제공하고, 감성 기반으로 검색된 영상을 AR(증강현실), VR(가상현실) 디자인 시뮬레이션에 이용함으로써 사용자가 감성 형용사에 해당하는 벽지 디자인을 직접 시뮬레이션화 할 수 있는 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠에 그 목적이 있다.The present invention is to solve the above problems, by matching the image properties of the color and texture of the MPEG-7 visual descriptor and the wallpaper and the image of the wallpaper color pattern into a database, and by evaluating the emotion of the image. Provides an emotion-based image search system that searches and presents images with image attributes corresponding to emotional adjectives by matching emotional adjectives and image attributes into a database, and converts images searched based on emotion into AR (augmented reality) and VR ( The purpose is for AR (Augmented Reality) and VR (Virtual Reality) design simulation contents that allow users to directly simulate wallpaper designs corresponding to emotional adjectives by using them for design simulation.

상기와 같은 목적을 달성하기 위한 본 발명은, 벽지 컬러패턴 영상 데이터와 상기 벽지 컬러패턴 영상 데이터에서 추출한 등록 영상속성이 매칭되어 구축된 벽지 컬러패턴 영상 데이터베이스, 상기 벽지 컬러패턴 영상 데이터베이스에서 샘플링된 벽지컬러패턴 영상 데이터에 대하여 배색사전이 적용된 감성 평가치와 상기 벽지 컬러패턴 영상에서 추출한 영상속성이 매칭되어 구축된 AR(증강현실), VR(가상현실) 감성지식 데이터베이스, 사용자가 입력한 감성 형용사에 매칭되는 영상속성을 상기 AR(증강현실), VR(가상현실) 감성지식 데이터베이스에서 검색하고, 검색된 상기 영상속성을 키로 사용하여 상기 영상속성과 유사한 등록영상속성을 상기 벽지 컬러패턴 영상 AR(증강현실), VR(가상현실) 데이터베이스에서 검색하고, 상기 벽지컬러패턴 영상 데이터베이스에 저장된 벽지컬러패턴 영상 데이터 중에서 상기 검색된 등록영상속성에 매칭되는 벽지패턴영상 데이터를 검색하여 제시하는 감성기반 검색부를 포함하는 것을 특징으로 하는 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠을 제공한다.The present invention for achieving the above object is a wallpaper color pattern image database constructed by matching wallpaper color pattern image data and registered image attributes extracted from the wallpaper color pattern image data, and wallpaper sampled from the wallpaper color pattern image database In the AR (augmented reality), VR (virtual reality) emotional knowledge database, and the emotional adjective entered by the user, constructed by matching the emotional evaluation value applied with the color pattern dictionary and the image attributes extracted from the wallpaper color pattern image. Matched image attributes are searched in the AR (Augmented Reality), VR (Virtual Reality) emotional knowledge database, and registered image attributes similar to the image attributes are used as a key for the wallpaper color pattern image AR (Augmented Reality). ), searching in a VR (virtual reality) database, and including an emotion-based search unit for searching and presenting wallpaper pattern image data matching the searched registered image attribute from among wallpaper color pattern image data stored in the wallpaper color pattern image database. It provides features of AR (Augmented Reality) and VR (Virtual Reality) design simulation contents.

이상에서 상세히 설명한 바와 같이, 본 발명은 감성 형용사에 해당하는 데이터베이스의 벽지디자인의 컬러패턴을 검색하고, 사용자 검증을 위해 검색된 제품들을 디스플레이하며, 검색된 벽지의 컬러패턴들 중 자신의 기호에 맞는 제품을 선택하여 AR(증강현실), VR(가상현실) 데이터 베이스를 이용하여 3D 가상 공간 모델에 적용해 보고 네비게이션하는 기능을 사용자에게 제공함으로써 사용자는 가상공간에서의 제품 데이터 교체 등을 통한 충분한 검증을 할 수 있고, 제품 선택의 사간과 노력을 절약할 수 있도록 한다.As described in detail above, the present invention searches for a color pattern of a wallpaper design in a database corresponding to an emotional adjective, displays the products searched for user verification, and selects a product suitable for one's preference among the searched wallpaper color patterns. Select and apply it to a 3D virtual space model using an AR (Augmented Reality) and VR (Virtual Reality) database, and provide the user with a navigation function, so that the user can perform sufficient verification through product data replacement in the virtual space. And save time and effort in product selection.

또한, 직접 매장에 가지 않고도 시스템을 이용해 고객이 원하는 감성의 벽지를 web상에서 쉽게 검색 가능하고 또 다양한 벽지 디자인 제품들 중에서 고객이 원하는 감성대로 선택할 수 있으므로 선택의 폭이 대폭 넓어지게 되고, 디자인 벽지 제품 선택에 대한 확신 부여로 합리적인 구매 촉진하게 된다.In addition, it is possible to easily search the wallpaper that the customer wants on the web by using the system without going to the store directly, and it is possible to select from a variety of wallpaper design products according to the emotion that the customer wants, so the range of choice is greatly expanded. Promoting rational purchasing by giving confidence in the choice.

그리고 본 발명에 의한 감성기반 검색 시스템 및 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠는 다양한 벽지 디자인 상품에 모두 적용 가능하며, 오프라인과 병행할 경우, 시장이 더욱 활성화될 수 있다.In addition, the emotion-based search system, AR (augmented reality) and VR (virtual reality) design simulation content according to the present invention can be applied to various wallpaper design products, and when combined with offline, the market can be further activated.

도 1은 본 발명에 의한 감성 기반 영상 검색 시스템의 구성을 개략적으로 나타낸 블럭도.
도 2는 도 1의 벽지 컬러패턴 영상 데이터베이스의 구축 방법의 일 실시예를 나타낸 흐름도.
도 3은 도 1의 감성지식 데이터베이스의 구축 방법의 일 실시예를 나타낸 흐름도.
도 4는 도 1에 도시된 감성 기반 벽지 컬러패턴 검색 시스템을 이용한 감성기반 이미지 검색 방법의 일 실시예를 나타낸 흐름도.
도 5는 본 발명에 의한 감성지식 데이터베이스의 일 실시예를 나타낸 도면.
도 6은 본 발명에 의한 디자인 시뮬레이션 시스템의 일 실시예를 나타낸 블럭도.
도 7은 도 6의 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠를 이용한 디자인 시뮬레이션 방법의 일 실시예를 나타낸 흐름도.
도 8 및 도 9는 도 6의 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠가 적용된 디자인 시뮬레이션 뷰어의 일 실시예를 나타낸 도면.
1 is a block diagram schematically showing the configuration of an emotion-based image retrieval system according to the present invention.
FIG. 2 is a flowchart showing an embodiment of a method of constructing a wallpaper color pattern image database of FIG. 1;
3 is a flow chart showing an embodiment of a method for constructing the emotional knowledge database of FIG. 1;
FIG. 4 is a flowchart showing an embodiment of a method for searching an image based on emotion using the system for searching for a color pattern based on a wallpaper shown in FIG. 1;
5 is a diagram showing an embodiment of an emotional knowledge database according to the present invention.
6 is a block diagram showing an embodiment of a design simulation system according to the present invention.
7 is a flowchart showing an embodiment of a design simulation method using AR (augmented reality) and VR (virtual reality) design simulation contents of FIG. 6.
8 and 9 are views showing an embodiment of a design simulation viewer to which AR (augmented reality) and VR (virtual reality) design simulation contents of FIG. 6 are applied.

증강현실은 제공되는 이미지 콘텐츠에 실제로 존재하는 것 같이 표시되면서 360도 모든 방향으로 회전시켜 관찰하면서 경험하거나 360도 방향 중 어느 한 방향으로 계속 이동하면서 관찰하는 것처럼 경험하거나 또는 차량으로 이동하면서 관찰하는 것처럼 경험할 수 있는 가상현실의 한 분야이다.Augmented reality is displayed as if it actually exists in the provided image content and is rotated in all directions 360 degrees to experience while observing, or as if observing while moving continuously in any one of the 360 degree directions, or as if observing while moving in a vehicle. It is a field of virtual reality that you can experience.

가상현실(VR)은 현실세계와의 상호작용을 배제하고 사전에 미리 구축해 놓은 가상공간에서 대상체 또는 객체(object)들이 서로 상호작용하는 상태로 노출되도록 처리하는 컴퓨터 그래픽이다.Virtual reality (VR) is a computer graphic that excludes interaction with the real world and processes objects or objects to be exposed in a state in which they interact with each other in a pre-built virtual space.

한편, 증강현실(AR)은 실제 환경과 가상의 사물을 실시간으로 합성된 상태로 노출시켜 보여주는 것으로 현실세계 정보(증강정보)를 가상세계 정보로 보완해주는 개념의 컴퓨터 그래픽이며 가상환경을 사용하지만 주역은 현실세계의 환경이다.On the other hand, augmented reality (AR) is a computer graphic of a concept that complements real world information (augmented information) with virtual world information by exposing the real environment and virtual objects in a synthesized state in real time. Is the real world environment.

즉, 증강현실(AR)은 실제로 관찰되는 현실세계의 영상 또는 실사영상에 컴퓨터 그래픽이라는 특수 인터페이스를 이용하고 3 차원 가상영상을 정합(register)시켜 표현하므로 현실세계의 현실적 환경과 가상세계의 가상적 환경에 대한 구분이 모호해지면서 실제환경이 보다 증강되어 개선된 이미지로 보이도록 하는 것으로, 특정 지역 또는 실제 상품 등의 정보에 대하여 관찰자가 신속하고 빠르며 편리하게 상황 판단하도록 응용할 수 있다. 즉, 증강현실은 널리 알려져 있고 쉽게 알 수 있는 기술에 해당하므로 더 이상의 상세한 설명을 하지 않기로 한다.In other words, augmented reality (AR) uses a special interface called a computer graphic to a real-world image or real-life image that is actually observed, and registers a 3D virtual image to express the real environment and the virtual environment of the virtual world. As the distinction for is ambiguous, the actual environment is augmented so that it can be seen as an improved image, and it can be applied so that the observer can quickly, quickly and conveniently judge the situation for information on a specific area or actual product. That is, augmented reality is widely known and corresponds to a technology that can be easily recognized, so no further detailed description will be made.

또한 본 발명에 의하면, 벽지컬러패턴 영상 데이터와 상기 벽지컬러패턴 영상 데이터에서 추출한 등록영상속성이 매칭되어 구축된 벽지컬러패턴 영상 데이터베이스 상기 벽지컬러패턴 영상 데이터베이스에서 샘플링된 벽지컬러패턴 영상 데이터에 대하여 배색사전이 적용된 감성 평가치와 상기 벽지컬러패턴 영상에서 추출한 영상속성이 매칭되어 구축된 감성지식 데이터베이스 사용자가 감성 형용사를 입력하면 상기 입력된 감성 형용사에 매칭되는 영상속성을 상기 감성지식 데이터베이스에서 검색하고, 검색된 상기 영상속성을 키로 사용하여 상기 영상속성에 유사한 등록영상속성을 상기 벽지컬러패턴 영상 데이터베이스에서 검색하고, 상기 벽지컬러패턴 영상 데이터베이스에 저장된 벽지컬러패턴 영상 데이터 중에서 상기 등록영상속성에 매칭되는 벽지컬러패턴 영상 데이터를 검색하여 제시하는 감성기반 검색부 디자인 시뮬레이션의 객체가 되는 3차원 모델 이미지가 저장된 3차원 모델 데이터베이스 상기 3차원 모델 이미지와 상기 벽지컬러패턴 영상을 디스플레이시키는 뷰어 상기 3차원 모델 데이터베이스에서 선택된 3차원 모델 이미지에 상기 감성기반 검색부가 제시한 상기 벽지컬러패턴 영상 데이터를 적용하여 상기 뷰어를 통해 디스플레이하는 제어부를 포함하는 것을 특징으로 하는 디자인 시뮬레이션 시스템이 제공된다.In addition, according to the present invention, a wallpaper color pattern image database constructed by matching wallpaper color pattern image data and registered image attributes extracted from the wallpaper color pattern image data color matching with respect to wallpaper color pattern image data sampled from the wallpaper color pattern image database An emotional knowledge database constructed by matching the emotional evaluation value applied with a dictionary and the image attributes extracted from the wallpaper color pattern image, and when a user inputs an emotional adjective, the image attribute matching the input emotional adjective is searched in the emotional knowledge database, The wallpaper color matching the registered image attribute among wallpaper color pattern image data stored in the wallpaper color pattern image database by searching the wallpaper color pattern image database for a registered image attribute similar to the image attribute using the searched image attribute as a key Emotion-based search unit that searches and presents pattern image data A three-dimensional model database in which a three-dimensional model image that is an object of a design simulation is stored A viewer that displays the three-dimensional model image and the wallpaper color pattern image selected from the three-dimensional model database A design simulation system is provided, comprising a control unit that applies the wallpaper color pattern image data presented by the emotion-based search unit to a 3D model image and displays it through the viewer.

상기 영상속성과 상기 등록영상속성은 MPEG-7의 시각 표현자(Visual Descriptor), 벽지 컬러, 질감 중에서 어느 하나로 구성되는 것을 특징으로 한다.The image attribute and the registered image attribute are characterized by being composed of any one of a visual descriptor, wallpaper color, and texture of MPEG-7.

상기 뷰어는 상기 3차원 모델 이미지에 상기 벽지컬러패턴 영상을 적용하고, 사용자의 선택에 따라 적용된 이미지를 네비게이션, 확대, 축소, 또는 수정하여 디스플레이하는 것을 특징으로 한다.The viewer applies the wallpaper color pattern image to the 3D model image, and displays the applied image by navigating, expanding, reducing, or revising the image according to a user's selection.

본 발명의 실시 예로는 다수개가 존재할 수 있으며, 이하에서는 첨부한 도면을 참조하여 바람직한 실시 예에 대하여 상세히 설명하기로 한다. There may be a plurality of embodiments of the present invention, and hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings.

이 실시예를 통해 본 발명의 목적, 특징 및 이점 들을 보다 잘 이해할 수 있게 된다.Through this embodiment, it is possible to better understand the objects, features, and advantages of the present invention.

도 1은 본 발명에 의한 벽지컬러패턴 영상 데이터베이스의 구축 방법의 일 실시예를 나타낸 흐름도이고, 도 2는 도 1의 벽지컬러패턴 영상 데이터베이스의 구축 방법의 일 실시예를 나타낸 흐름도, 도 3은 도 1의 감성지식 데이터베이스의 구축 방법의 일 실시예를 나타낸 흐름도, 도 4는 도 1에 도시된 감성 기반 벽지 컬러패턴 검색 시스템을 이용한 감성기반 이미지 검색 방법의 일 실시예를 나타낸 흐름도이다.1 is a flow chart showing an embodiment of a method of building a wallpaper color pattern image database according to the present invention, Figure 2 is a flow chart showing an embodiment of the method of building the wallpaper color pattern image database of Figure 1, Figure 3 A flow chart showing an embodiment of a method for constructing an emotional knowledge database of 1, and FIG. 4 is a flow chart showing an embodiment of a method for searching an emotion-based image using the emotion-based wallpaper color pattern search system shown in FIG. 1.

감성기반 검색 시스템은 벽지컬러패턴 영상 데이터베이스(10), 감성지식 데이터베이스(20), 제어부(100), 뷰어(110), 검색엔진(121), 사용자 인터페이스(40), 관리자 인터페이스 모듈(50)을 포함한다. 벽지 컬러패턴 영상 데이터베이스(10), 감성지식 데이터베이스(20), 제어부(100), 검색엔진(121), 사용자 인터페이스(40)와 관리자 인터페이스 모듈(50)은 웹서버에 포함시키고 사용자 단말기와 관리자 단말기는 네트워크를 통해 사용자 인터페이스(40)와 관리자 인터페이스 모듈(50)에 접속하여 온라인으로 감성기반 영상 검색 서비스를 제공할 수 있도록 한다.Emotion-based search system includes wallpaper color pattern image database 10, emotional knowledge database 20, control unit 100, viewer 110, search engine 121, user interface 40, and manager interface module 50. Include. The wallpaper color pattern image database 10, the emotional knowledge database 20, the control unit 100, the search engine 121, the user interface 40 and the manager interface module 50 are included in the web server, and the user terminal and the manager terminal Connects to the user interface 40 and the manager interface module 50 through a network to provide an online emotion-based image search service.

벽지컬러패턴 영상 데이터베이스(10)는, 벽지컬러패턴의 영상이 벽지컬러패턴의 등록영상속성과 매칭되어 저장되는 데이터베이스이다. 벽지컬러패턴은 디자인 대상을 컬러링하는데 사용되는 것으로 실외장재 제품 및 회화 등의 평면화된 컬러 영상을 포함한다. 등록영상속성은 MPEG-7의 컬러, 질감들의 시각 표현자(Visual Descriptor) 또는 기타 다른 영상속성 추출기에 의해 추출되는 영상 속성이다.The wallpaper color pattern image database 10 is a database in which an image of a wallpaper color pattern is matched with a registered image attribute of a wallpaper color pattern and stored. Wallpaper color patterns are used to color design objects and include flattened color images such as outdoor decoration products and paintings. The registered image attribute is an image attribute extracted by a visual descriptor of MPEG-7 colors and textures or other image attribute extractors.

도 2에 도시된 바와 같이 벽지컬러패턴 영상 데이터베이스는 다음과 같은 방법에 의해 구축된다. 즉, 벽지컬러패턴 영상에서 MPEG-7의 컬러, 질감들의 시각 표현자(Visual Descriptor) 또는 기타 다른 영상속성 추출기에 의해 추출되는 등록영상속성을 추출하는 단계(S11), 벽지컬러패턴과 추출한 등록영상속성을 매칭하는 단계(S12), 매칭된 벽지컬러패턴과 등록영상속성을 저장하는 단계(S13)를 수행함으로써 벽지컬러패턴 영상 데이터베이스를 구축한다.As shown in Fig. 2, the wallpaper color pattern image database is constructed by the following method. That is, the step of extracting the registered image attributes extracted by the MPEG-7 color and texture visual descriptor or other image attribute extractor from the wallpaper color pattern image (S11), the wallpaper color pattern and the extracted registered image A wallpaper color pattern image database is constructed by performing the step of matching attributes (S12) and storing the matched wallpaper color patterns and registered image attributes (S13).

감성지식 데이터베이스(20)는, 감성 형용사와 영상속성이 매칭되어 저장된 데이터베이스이다. 도 3은 감성지식 데이터베이스(20)의 구축방법을 보여준다. 도시하는 바와 같이, 벽지컬러패턴 영상 데이터 샘플링단계(S21), 벽지컬러패턴 감성 평가단계(S22), 감성 평가치와 영상속성 매칭단계(S23), 저장단계(S24)로 구성된다.The emotional knowledge database 20 is a database in which emotional adjectives and image attributes are matched and stored. 3 shows a method of constructing the emotional knowledge database 20. As shown, it comprises a wallpaper color pattern image data sampling step (S21), a wallpaper color pattern emotion evaluation step (S22), an emotion evaluation value and image attribute matching step (S23), and a storage step (S24).

벽지컬러패턴 영상 데이터 샘플링단계(S21)는 컬러패턴 영상 데이터베이스(10)의 벽지컬러패턴 영상 데이터 중에서 영상 속성 공간에서 균등하게 감성 평가할 벽지컬러패턴 영상 데이터를 샘플링하는 것이다. 벽지컬러패턴 감성 평가 단계(S22)는 샘플링된 영상 데이터를 디자이너와 같은 전문가에 의한 감성평가를 수행하여 영상 데이터에 해당하는 감성 평가치를 구하는 것이다.The wallpaper color pattern image data sampling step (S21) is to sample wallpaper color pattern image data to be equally evaluated in an image property space among wallpaper color pattern image data of the color pattern image database 10. In the wallpaper color pattern emotion evaluation step (S22), the sampled image data is evaluated by an expert such as a designer to obtain an emotion evaluation value corresponding to the image data.

감성 평가치는 "따뜻한", "역동적인", "무거운" 과 같은 감성 형용사 이미지 스케일이다. 벽지컬러패턴 영상의 감성 평가 단계(S22)는 온라인으로 연결된 디자인 전문가 집단에게 샘플링된 상기 벽지컬러패턴 영상들을 제공하는 과정, 상기 전문가 집단에 의해 입력된 감성 평가치를 통계처리 하여 저장하는 과정을 수행하는 온라인 평가방법을 사용할 수 있다.The emotional evaluation value is an image scale of emotional adjectives such as "warm", "dynamic", and "heavy". The emotional evaluation step (S22) of the wallpaper color pattern image is a process of providing the sampled wallpaper color pattern images to a group of design experts connected online, and a process of statistically processing and storing the emotional evaluation value input by the expert group. Online evaluation methods can be used.

한편, 많은 양의 벽지컬러패턴 영상 데이터를 디자인 전문가 또는 일반 소비자들이 자신의 취향에 따라 감성 평가를 수행하면 이를 흉내 내는 감성 분류기가 자동으로 생성되기 때문에, 대용량의 영상 데이터를 자동으로 분류해 낼 수 있게 된다. 예를들어, 우아하다고 판정된 벽지컬러패턴 영상으로부터 추출된 특징 벡터와 유사한 이미지는 차후 자동으로 우아한 이미지로 자동 분류되도록 할 수 있다.On the other hand, when design experts or general consumers perform emotion evaluation according to their preferences for a large amount of wallpaper color pattern image data, an emotion classifier that imitates it is automatically generated, so it can automatically classify a large amount of image data. There will be. For example, an image similar to a feature vector extracted from a wallpaper color pattern image determined to be elegant may be automatically classified as an elegant image later.

감성 평가치와 영상 속성 매칭단계(S23)는 감성 평가가 이루어진 벽지컬러패턴과 매칭된 영상 속성들과 감성 평가치를 매칭하는 것이다. 저장단계(S24)는 매칭된 영상 속성과 감성평가치를 저장하여 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 데이터베이스를 구축하는 것이다.The emotional evaluation value and the image attribute matching step (S23) is to match the image attributes matched with the wallpaper color pattern on which the emotional evaluation has been performed, and the emotional evaluation value. The storage step (S24) is to build a database of AR (augmented reality) and VR (virtual reality) design simulation contents by storing the matched image properties and emotional evaluation values.

벽지컬러패턴 영상 데이터베이스(10)에는 벽지컬러패턴의 영상 데이터와 등록영상속성의 관계가 구축되고, 감성지식 데이터베이스(20)에는 감성 평가치와 영상속성 간의 관계가 구축된다. 여기서, 감성 평가치는 감성을 표현하는 형용사들로 이루어지며, 영상속성은 MPEG-7의 컬러, 또는 질감 등의 시각 표현자 등으로 이루어진다.The relationship between the image data of the wallpaper color pattern and the registered image attribute is established in the wallpaper color pattern image database 10, and the relationship between the emotion evaluation value and the image attribute is established in the emotional knowledge database 20. Here, the emotional evaluation value is composed of adjectives expressing emotion, and the image attribute is composed of a visual expression such as MPEG-7 color or texture.

제어부(100)는 감성기반 영상의 검색을 수행하기 위한 벽지컬러패턴을 디스플레이하는 뷰어(110)와 검색에 사용되는 검색엔진을 포함하여 검색을 수행한다. 사용자 인터페이스(I/F)(40)는 사용자와의 인터페이싱을 제공한다. 예를 들어 사용자로부터 감성 형용사 등을 입력받아 제어부(100)에 전달한다. 사용자 인터페이스(40)는 사용자가 검색을 위한 감성 형용사를 입력하는 입력부와 검색 결과를 출력하는 디스플레이부를 포함하는 사용자 단말(도면 중 미도시)과 네트워크를 통해 연결된The controller 100 performs a search including a viewer 110 that displays a wallpaper color pattern for performing a search for an emotion-based image and a search engine used for the search. A user interface (I/F) 40 provides interfacing with a user. For example, an emotional adjective or the like is input from the user and transmitted to the control unit 100. The user interface 40 is connected to a user terminal (not shown in the drawings) including an input unit for inputting an emotional adjective for a search and a display unit for outputting a search result.

다.All.

이와 같이 구성된 감성기반 검색 시스템을 이용한 검색 방법은 도 4에 도시된 바와 같다. 감성기반 영상 검색은 사용자가 감성 형용사를 입력하면 입력한 형용사에 해당하는 감성의 영상을 검색하여 제시하는 것이다.A search method using the emotion-based search system configured as described above is shown in FIG. 4. In the emotion-based image search, when a user inputs an emotional adjective, the image of emotion corresponding to the input adjective is searched and presented.

먼저, 사용자로부터 감성 형용사를 입력받으면 사용자 인터페이스(40)에 입력되고, 사용자 인터페이스(40)는 입력된 감성형용사를 제어부(100)에 전달한다(S31) 검색엔진(121)은 입력된 형용사를 감성 지식 데이터베이스(20)에 포함되는 형용사로 확장하고(S32), 감성지식 데이터베이스(20)를 이용하여 형용사에 매칭되어 저장된 영상 속성을 검색한다(S33) S33단계에서 검색된 영상속성과 유사도가 설정치 이상인 등록영상속성에 매칭된 벽지컬러패턴 영상 데이터를 벽지컬러패턴 영상 데이터베이스(10)에서 검색한다(S34) 검색 결과에 해당하는 벽지컬러패턴의 영상을 뷰어(110)를 통해 디스플레이한다.First, when a sentiment adjective is input from a user, it is input to the user interface 40, and the user interface 40 transmits the inputted sentiment adjective to the control unit 100 (S31), and the search engine 121 senses the input adjective. It expands to adjectives included in the knowledge database 20 (S32), and searches the stored image attributes matched with the adjectives using the emotional knowledge database 20 (S33). The wallpaper color pattern image data matched with the image attributes is searched in the wallpaper color pattern image database 10 (S34), and an image of the wallpaper color pattern corresponding to the search result is displayed through the viewer 110.

S32 단계의 형용사 질의 확장이란 사용자가 입력한 형용사를 감성지식 데이터베이스를 구축하는 데 사용된 형용사의 형태로 변환하는 과정이다, 형용사들 사이의 계층(hierarchy) 관계 또는 결합(association)관계 등을 이용하여 시소러스 형태로 구성될 수 있다. 시소러스는 컴퓨터의 주요 업무인 정보의 기계 검색을 수행하기 위한 색인(소프트웨어)의 일종으로 시소러스의 역할은 어떠한 단어에 대한 문헌정보를 검색하는 경우 먼저 비슷한 말을 하나로 묶어두고 각 용어가 갖는 의미를 한정시켜 규격화함으로써 검색에 있어서의 개념 통일을 도모하고 누구라도 같은 순서와 내용의 검색을 가능하도록 하는 것이다. 만약 감성지식 데이터베이스를 구축하는 데 사용된 형용사와 동일한 형용사가 사용자에 의해 입력된 경우에는 질의 확장 단계는 생략되고, 또한, 사용자에게 형용사를 한정하여 제시하고 제시된 형용사 중에서 선택하도록 할 경우에도 형용사 질의 확장 단계(S32)는 생략할 수 있다.Adjective query expansion in step S32 is the process of converting the adjectives input by the user into the form of the adjectives used to build the emotional knowledge database, using hierarchical relationships or associations between adjectives. It can be configured in the form of a thesaurus. Thesaurus is a kind of index (software) for performing machine search of information, which is the main business of computers. The role of thesaurus is to first group similar words into one and limit the meaning of each term when searching for literature information about a certain word. It aims to unify the concept in search by standardizing it and makes it possible for anyone to search in the same order and contents. If the same adjective as the adjective used to build the emotional knowledge database is entered by the user, the query expansion step is omitted, and the adjective query is expanded even when the user is presented with a limited number of adjectives and selected from the adjectives presented. Step S32 can be omitted.

감성지식 데이터베이스(20)에는 질의 입력을 구성하는 형용사에 해당하는 감성공간과 영상속성과의 관계가 구축되어 있기 때문에 이를 활용하여 해당하는 영상속성을 찾아낸다. 탐색된 영상속성은 다시 벽지컬러패턴 영상 데이터베이스의 해당 영상을 찾는 검색 키로 작용하여 벽지컬러패턴을 검색하는데 이용되며, 이러한 과정을 통해 질의 입력된 감성 형용사에 해당하는 벽지컬러패턴을 검색하여 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠를 사용자에게 제시한다.In the emotional knowledge database 20, since the relationship between the emotional space corresponding to the adjective constituting the query input and the image attribute is established, the corresponding image attribute is found using this. The searched image properties are again used to search for wallpaper color patterns by acting as a search key to find the corresponding image in the wallpaper color pattern image database. Through this process, the wallpaper color pattern corresponding to the sentiment adjective is searched for AR (reinforcement). Reality), VR (virtual reality) design simulation contents are presented to users.

검색엔진(121)에 CS-tree 등 다차원 색인을 포함하면 벽지컬러패턴 영상 데이터베이스(10)의 벽지컬러패턴 영상 데이터가 수만 건일 경우 검색엔진(121)은 검색속도를 위해 검색엔진(121)에 CS-tree 등 다차원 색인을 찾아 이미지를 찾아내는데 사용될 수 있으며, 다차원 색인 구조가 포함되지 않은 경우 벽지컬러패턴 영상 데이터베이스(10)의 등록영상속성과 유사성 비교를 통해 가장 큰 유사성을 갖는 이미지부터 설정 개수의 이미지를 검색하여 사용자에게 제시한다. CS-tree는 대용량 데이터베이스 검색기술로 이미지 고차원 색인 저장구조로서 기존 데이터베이스와 연동하여 수십만 건의 이미지들을 대상으로 원하는 결과를 1~2초 내에 검색해 낸다.If the search engine 121 includes a multi-dimensional index such as a CS-tree, when there are tens of thousands of wallpaper color pattern image data in the wallpaper color pattern image database 10, the search engine 121 sends CS to the search engine 121 for search speed. It can be used to find an image by searching a multi-dimensional index such as a tree, and if the multi-dimensional index structure is not included, the image having the greatest similarity is compared with the registered image properties of the wallpaper color pattern image database 10. Search the image and present it to the user. CS-tree is a large-capacity database search technology, which is a high-dimensional image storage structure. It interlocks with the existing database to search for desired results within one to two seconds for hundreds of thousands of images.

상기와 같은 감성기반 검색 시스템을 이용한 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 방법이 도 6과 도 7에 도시된다.A method of simulation contents for AR (augmented reality) and VR (virtual reality) design using the emotion-based search system as described above is shown in FIGS. 6 and 7.

본 발명에 의한 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠는 웹 환경하에서 디자인의 대상이 되는 3차원 모델의 이미지가 저장된 3D 모델 데이터베이스(30)를 이용하여 컬러 디자인할 대상을 선택하여 감성 기반 검색에 의해 제시된 벽지컬러패턴으로 디자인 시뮬레이션하고, 컬러링된 이미지를 확대, 축소 및 네비게이션(navigation), 수정 기능 등을 통해 대상의 디자인 결과를 검증하는 색채 계획을 가능하게 한다.AR (Augmented Reality) and VR (Virtual Reality) design simulation content according to the present invention selects an object for color design using a 3D model database 30 in which an image of a 3D model to be designed is stored under a web environment. It enables a color plan that simulates the design with the wallpaper color pattern suggested by the emotion-based search, and verifies the design result of the subject through enlargement, reduction, navigation, and correction functions of the colored image.

도시되는 바와 같이 디자인 시뮬레이션 시스템은 감성 기반 검색 시스템을 이용하며, 컬러링 할 3D 이미지가 저장된 3D모델 데이터베이스(30)를 포함하고, 제어부(100)가 검색 기능과 제어 기능을 수행한다. 제어부(100)와 데이터베이스(10,20,30), 사용자 인터페이스(40), 관리자 인터페이스 모듈(50)는 웹서버로 구성되고, 사용자 단말기와 관리자 단말기는 네트워크를 통해 사용자 인터페이스(40)와, 관리자 인터페이스 모듈(50)에 연결되어 온라인 환경에서 이용 가능하게 된다.As shown, the design simulation system uses an emotion-based search system, includes a 3D model database 30 in which 3D images to be colored are stored, and the controller 100 performs a search function and a control function. The control unit 100, the database 10, 20, 30, the user interface 40, and the manager interface module 50 are composed of a web server, and the user terminal and the manager terminal are configured with the user interface 40 and the manager through a network. It is connected to the interface module 50 and made available in an online environment.

3D 모델 데이터베이스(30)는 3차원 모델링된 컬러링 대상의 이미지가 저장된 것으로 Virtual Reality Markup Language을 이용하여 모델링되어 저장된 3차원 가상 객체들이다. 이러한 3차원 객체들로는 아파트의 모델하우스, 사무실 등의 실내공간 또는 대규모 아파트 단지 및 공연장 등의 실외공간 등이 포함될 수 있다.The 3D model database 30 is a 3D modeled image of an object to be colored, which is modeled using Virtual Reality Markup Language and stored 3D virtual objects. Such 3D objects may include an indoor space such as a model house of an apartment or an office, or an outdoor space such as a large-scale apartment complex and a performance hall.

사용자 단말기는 네트워크를 통해 사용자 인터페이스(40)에 접속되어 감성 기반 검색 서비스와 디자인 시뮬레이션 서비스를 온라인으로 제공받고, 관리자 단말기 또한, 네트워크를 통해 관리자 인터페이스 모듈(50)에 접속하여 데이터베이스 구축과 관리를 온라인으로 수행할 수 있다. 관리자 인터페이스 모듈(50)은 감성지식 데이터베이스(20)를 구축하기 위한 전문가가 아닌 사용자의 제한이나 감성지식 데이터베이스구축의 샘플링, MPEG-7 시각표현자 및 기타 영상속성 추출기의 관리, 벽지컬러패턴 영상 데이터베이스 구축 등의 관리 역할을 담당한다.The user terminal is connected to the user interface 40 through a network to receive emotion-based search service and design simulation service online, and the administrator terminal also connects to the manager interface module 50 through the network to perform database construction and management online. Can be done with The administrator interface module 50 is limited to users who are not experts to build the emotional knowledge database 20, or sampling of the emotional knowledge database construction, management of MPEG-7 visual expressors and other image attribute extractors, and the wallpaper color pattern image database construction. It is responsible for the management role of the back.

뷰어(110)는 모델링된 3차원 가상 객체와 검색된 벽지컬러패턴들의 디스플레이를 위한 것이다. 뷰어(110)를 이용하여 3D 가상 객체에 검색된 벽지컬러패턴 적용하기, 수정, 확대, 축소, 내비게이션 기능을 구현할 수 있다.The viewer 110 is for displaying the modeled 3D virtual object and the searched wallpaper color patterns. Using the viewer 110, a searched wallpaper color pattern may be applied to the 3D virtual object, corrected, enlarged, reduced, and a navigation function may be implemented.

AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 작동 상태와 구현되는 화면을 도 6 내지 도 9를 이용하여 설명한다. 도 8은 사용자가 '우아한'이라는 감성 형용사를 입력한 경우 검색된 벽지컬러패턴과 이를 적용한 모델이미지가 디스플레이된 도면이고, 도 9는 '온화한'이라는 감성 형용사를 입력하여 디자인 시뮬레이션이 이루어진 모델이미지가 디스플레이 된 도면이다.The operating state of the AR (Augmented Reality) and VR (Virtual Reality) design simulation content and the implemented screen will be described with reference to FIGS. 6 to 9. FIG. 8 is a diagram showing the searched wallpaper color pattern and a model image to which it is applied when a user inputs an emotional adjective of'elegant', and FIG. 9 is a model image with a design simulation performed by inputting the emotional adjective of'gentle' It is a drawing.

먼저, 사용자는 사용자 인터페이스(40)를 통해 3D 모델 데이터베이스(30)에서 도 8 및 도 9에 도시된 거실과 같은 컬러 디자인할 객체 이미지를 선택 신호를 입력하면(S41), 뷰어(110)를 통해 모니터에 대상 이미지가 디스플레이된다(S42) 사용자는 이미지에서 컬러링할 벽지를 선택할 수 있으며, 뷰어(110) 일 측에는 감성 형용사 입력창을 구비하여 감성 기반의 벽지컬러패턴 검색을 위해 사용자는 감성 형용사를 입력한다(S43) 감성기반 검색시스템은 위에서 기술한 절차에 의해 입력된 감성 형용사에 해당하는 감성의 벽지컬러패턴을 검색한다(S44) 검색된 벽지컬러패턴은 뷰어를 통해 디스플레이된다(S45) 사용자가 사용자 인터페이스(40)를 통해 벽지컬러패턴 선택 신호를 입력하면(S46) 뷰어(110)에 디스플레이된 모델 이미지에 선택된 벽지컬러패턴이 적용된다(S47) 이러한 과정은 뷰어(110)에 의해First, when the user inputs a selection signal to select an object image for color design such as the living room shown in FIGS. 8 and 9 in the 3D model database 30 through the user interface 40 (S41), the viewer 110 The target image is displayed on the monitor (S42) The user can select the wallpaper to be colored from the image, and the viewer 110 has an emotional adjective input window on one side, so that the user inputs an emotional adjective to search for a wallpaper color pattern based on emotion. (S43) The sentiment-based search system searches for the sentiment wallpaper color pattern corresponding to the sentiment adjective input by the above-described procedure (S44) The searched wallpaper color pattern is displayed through the viewer (S45). When the wallpaper color pattern selection signal is input through (40) (S46), the selected wallpaper color pattern is applied to the model image displayed on the viewer 110 (S47). This process is performed by the viewer 110.

사용자 단말기의 모니터 등에 디스플레이되며 상호 교호적(interactive)으로 일어나며 컬러 디자인 시뮬레이션이 이루어진다.It is displayed on the monitor of the user terminal, etc., and occurs interactively, and color design simulation is performed.

따라서, 본 발명에 의하면 본 발명은 제품 영상의 감성 속성을 이용하여 감성을 기반으로 벽지컬러패턴 영상을 검색하여 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠를 제시함으로써, 사용자가 원하는 감성의 벽지컬러패턴을 용이하게 찾을 수 있고, 이를 원하는 모델 이미지에 직접 적용함으로써 디자인 의사 결정에 도움이 된다.Therefore, according to the present invention, according to the present invention, by using the sensibility attribute of the product image to search for wallpaper color pattern images based on sensibility and present AR (augmented reality), VR (virtual reality) design simulation contents, the user's desired emotion The wallpaper color pattern of can be easily found, and it is helpful in design decision making by directly applying it to the desired model image.

또한, 본 발명의 활용을 통해 회화나 사진 등의 컬러 영상의 자동 평가가 가능하며, 디자인 시뮬레이션 시스템은 실내 외의 3차원 가상공간 등에서 사용자의 목표감성에 맞게 제품을 추천해 주어 디자인을 완성해 가는 의사결정 도우미(decision support) 시스템으로, 전자상거래 등을 통해 제품의 안전한 구매를 유도할 수 있으며, 생산자 측면에서는 판매제품의 감성 추이 분석을 통해 제품의 생산계획을 수립할 수 있는 장점이 있다.In addition, through the use of the present invention, it is possible to automatically evaluate color images such as paintings and photographs, and the design simulation system recommends products according to the user's target sensibility in three-dimensional virtual spaces indoors and outdoors. As a decision support system, it is possible to induce safe purchase of products through e-commerce, and from the perspective of producers, it has the advantage of establishing a product production plan through analysis of the sentiment trend of the products sold.

본 발명에 의한 디자인 시뮬레이션 시스템의 일 실시예를 설명하면 다음과 같다. 감성지식 데이터베이스(20)는 IRI 색채연구소에서 발간한 Color Combination의 배색사전을 이용하고, MPEG-7 시각표현자로는 dominant color descriptor를 이용하며, 제품 이미지는 벽지를 대상으로 한 실시예를 도 8을 참조하여 설명한다. 시스템은 JSP 웹 서버환경에서 구축되었으며, 데이터베이스는 MS-SQL을 사용한 것이다.An embodiment of a design simulation system according to the present invention will be described as follows. The emotional knowledge database 20 uses the color combination dictionary published by the IRI Color Research Institute, uses the dominant color descriptor as the MPEG-7 visual expresser, and the product image shows an embodiment targeting wallpaper. It will be described with reference. The system was built in the JSP web server environment, and the database was MS-SQL.

IRI 색채연구소의 배색사전은 한국의 IRI 색채 연구소에서 발명된 "Color Combination"이란 제목의 책으로 14개의 형용사 이미지 별 배색 사전이다. 이 책에서는 색상-톤(Hue-Tone) 시스템에서 10개의 톤과 11개의 색상을 갖는 110개의 유채색과 10개의 무채색을 형용사 이미지에 따라 배색을 나열하였으며, 각 배색에 있어 면적의 비율도 함께 제공된다. 배색사전에서 "동적인-정적인", "부드러운-딱딱한" 등으로 표현되는 감성 이미지 공간에 나열된 감성 형용사는, "귀여운", "경쾌한The IRI Color Research Institute's color dictionary is a book titled "Color Combination" invented by the IRI Color Research Institute in Korea, and is a color dictionary for each of 14 adjective images. In this book, color schemes of 110 chromatic colors and 10 achromatic colors with 10 tones and 11 colors in Hue-Tone system are arranged according to the adjective image, and the ratio of area in each color scheme is also provided. . Emotional adjectives listed in the emotional image space expressed as "dynamic-static", "soft-hard", etc. in the color dictionary are "cute", "upbeat"

", "캐쥬얼한", "다이나믹한", "모던한", "맑은", "온화한", "내추럴", "그윽한", "우아한", "화려한", "고풍스러운", "고상한", "중후한" 등이 있으며, 각각의 형용사의 분위기를 대표하는 배색을 전술한 120개의 컬러의 조합들로 구성하였다.", "casual", "dynamic", "modern", "clear", "gentle", "natural", "subtle", "elegant", "gorgeous", "classic", "classy", There are "profound" and the like, and the color scheme representing the atmosphere of each adjective was composed of combinations of the above 120 colors.

실시예에 의한 시스템에서는 MS-SQL을 이용하여 14개의 형용사와 이를 표현하는 배색들을 저장하여 감성지식 데이터베이스를 구성하였다. 즉 14개의 형용사로의 감성평가와 120개의 컬러의 (R, G, B) 값이 이미 책에서 제시된 것을 사용한다In the system according to the embodiment, 14 adjectives and colors expressing them were stored using MS-SQL to construct an emotional knowledge database. In other words, the emotion evaluation with 14 adjectives and the values of (R, G, B) of 120 colors are already suggested in the book.

면 벽지컬러패턴 영상 데이터베이스에서 샘플링된 제품 영상의 감성 평가가 불필요하여, 감성지식 데이터베이스의 구축 단계는 생략된다.Since it is not necessary to evaluate the emotion of product images sampled from the surface wallpaper color pattern image database, the step of constructing the emotional knowledge database is omitted.

도 5는 웹 서버의 JSP와 MS-SQL로 구성된 관리자 인터페이스 모듈에서 구축된 감성지식 데이터베이스의 내용을 보여주고 있다. 도 8 내지 도 9는 벽지를 대상으로 한 벽지컬러패턴 영상 데이터베이스를 이용한 실시예이다. 예시된 벽지 영상 데이터베이스에는 500장의 벽지 이미지가 저장되었으며, 그 수량이 많지 않으므로 감성기반 검색 시 영상 속성을 이용한 다차원 색인 구조는 이용하지 않는다. 수만 장의 벽지 등의 제품 이미지 데이터베이스를 이용할 경우 검색속도를 빠르게 하기위해 CS-tree등의 영상속성을 이용한 다차원 색인구조가 필요하다. 벽지에 대한 벽지컬러패턴 영상 데이터베이스(10)의 각각의 영상은 MPEG-7의 dominant color descriptor 값을 필드 요소로서 갖는다. 또한, IRI 색채 연구소의 Color Combination 배색사전에 나온 14개의 형용사를 그대로 이용하면, 형용사 질의 확장 단계는 항등 함수(identity)로 볼 수 있으므로 생략하고, 검색엔진은 감성 지식데이터베이스의 결과인 해당 형용사에 관련된 dominant color descriptor인 배색 조합과 최대로 일치하는 벽지컬러패턴 영상 데이터베이스(10) 내의 벽지 영상들을 찾아내는 역할을 담당한다. 여기서 유사성 척도는 유클리디안 거리를 사용하였다.Fig. 5 shows the contents of the emotional knowledge database built in the administrator interface module composed of JSP and MS-SQL of the web server. 8 to 9 are examples using a wallpaper color pattern image database targeting wallpaper. In the illustrated wallpaper image database, 500 wallpaper images are stored, and since the number of wallpaper images is not large, a multi-dimensional index structure using image properties is not used for emotion-based search. When using product image database such as tens of thousands of wallpaper, a multi-dimensional index structure using image properties such as CS-tree is required to speed up the search. Each image of the wallpaper color pattern image database 10 for wallpaper has a dominant color descriptor value of MPEG-7 as a field element. Also, if the 14 adjectives from the Color Combination Dictionary of the IRI Color Research Institute are used as they are, the step of expanding the adjective query can be viewed as an identity function, so it is omitted, and the search engine is related to the adjective, which is the result of the emotional knowledge database. It is responsible for finding wallpaper images in the wallpaper color pattern image database 10 that maximally matches the color combination, which is a dominant color descriptor. Here, the Euclidean distance was used as a measure of similarity.

3D 모델 데이터베이스(30)는 VRML을 이용하여 구성하였으며, 뷰어(110)는 CORTONA를 이용한다. IRI 색채연구소의 배색사전을 감성지식 데이터베이스로 사용하므로 사용자는 14개의 형용사 중 하나를 선택하여 질의하며, 선택된 형용사는 감성기반 검색부(120)에서 감성지식 데이터베이스(20)로부터 해당 감성을 가지기 위한 배색조합의 (R, G, B) 값들을 추출해낸다. 이들은 사용자 단말기의 화면에 해당 색으로 면적 비와 함께 디스플레이되며, 나아가 벽지컬러패턴 영상 데이터베이스(10)에서 MPEG-7 dominant color descriptor 측면에서 설정 범위 이상의 유사성을 갖는 벽지 영상들이 제시된다. 사용자가 제시된 벽지 영상들 중에서 하나를 선택하면 3D 모델 데이터베이스에서 선택된 3D 모델에 벽지가 적용되어 디스플레이된다.The 3D model database 30 is configured using VRML, and the viewer 110 uses CORTONA. Since the IRI Color Research Institute's color dictionary is used as the emotional knowledge database, the user selects and queries one of 14 adjectives, and the selected adjective is a color scheme to have the corresponding emotion from the emotional knowledge database 20 in the emotion-based search unit 120. Extract the (R, G, B) values of the combination. These are displayed on the screen of the user terminal with an area ratio in a corresponding color, and further, wallpaper images having similarities beyond a set range in terms of MPEG-7 dominant color descriptors in the wallpaper color pattern image database 10 are presented. When the user selects one of the presented wallpaper images, the wallpaper is applied to the 3D model selected from the 3D model database and displayed.

도 8에 도시된 바와 같이, 사용자가 "우아한"을 선택했을 경우 감성지식 데이터베이스에서 검색한 이상적인 배색 조합들이 화면 왼쪽 상단에 디스플레이되며, 선택된 배색은 가장 상위에 있는 것으로, 벽지 바꾸기, 바닥 바꾸기, 카펫 바꾸기에 디As shown in Fig. 8, when the user selects "elegant", ideal color combinations searched for in the emotional knowledge database are displayed on the upper left of the screen, and the selected color is the highest, changing wallpaper, changing floor, carpet. D to replace

스플레이된 영상들은 선택된 배색과 가장 유사한 dominant color descriptor를 갖는 영상을 벽지 영상 데이터베이스에서 추출하여 제시한 것이다. 벽지, 바닥, 카펫의 종 방향의 샘플들은 선택 배색과 유사성 측면에서의 우선순위를 표현하며, 이The splayed images are presented by extracting the image with the dominant color descriptor most similar to the selected color scheme from the wallpaper image database. The samples in the longitudinal direction of the wallpaper, floor, and carpet express the priority in terms of color selection and similarity.

들 중에 가장 왼쪽 샘플들을 취하여 입혀보기를 한 실내가 VRML 가상공간에 적용된 상황을 디스플레이하고 있다.Among them, the room in which the leftmost samples were taken and tried on displays the situation applied to the VRML virtual space.

도 9는 "온화한" 분위기를 선택한 경우의 완성된 실내공간을 보여주고 있다. 이들 실내공간의 디자인 시뮬레이션은 발명된 예시시스템을 이용하여 구성한 것이다.9 shows a completed indoor space when a "gentle" atmosphere is selected. The design simulation of these indoor spaces was constructed using the invented example system.

본 발명의 시스템은 만약 제품 이미지의 속성을 MPEG-7 시각 표현자를 이용하였을 경우 내용기반 영상 검색 시스템과 혼합하여 사용할 수 있다. 즉 "감성기반 검색에서 선택된 제품 이미지와 유사한 이미지 검색 등의 질의를 효율적으로 처리할 수 있다. 벽지컬러패턴 영상 데이터베이스는 제품 이미지와 이에 따른 MPEG-7 시각표현자로 구성되기 때문에 내용기반 검색의 이미지 데이터베이스와 동일한 형태를 갖는다. 따라서, 도 1의 검색엔진(121)에서 감성기반 검색과 내용기반 검색을 동시에 처리하는 기능을 수행하도록 하고, 이들 모두를 수용할 수 있는 검색 인터페이스를 마련한다면 동시에 감성기반 검색과 내용기반 검색을 수행할 수 있는 특징이 있다.The system of the present invention can be used in combination with a content-based video retrieval system if the property of a product image is used with an MPEG-7 visual presenter. In other words, it is possible to efficiently process queries such as "image search similar to the product image selected in the emotion-based search. Since the wallpaper color pattern image database is composed of the product image and the corresponding MPEG-7 visual expression, it is a content-based search image database. Therefore, if the search engine 121 of Fig. 1 performs the function of simultaneously processing the emotion-based search and the content-based search, and a search interface capable of accommodating both of them is provided, the emotion-based search And content-based search.

본 발명은 MPEG-7 시각표현자(Visual Descriptor) 및 기타 컬러 및 질감을 표현하는 제품 영상속성을 기반으로 감성평가를 수행하고, AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠를 이용하여 전자상거래 등에서 감성을 기반으로 제품을 선택할 수 있게 된다.The present invention performs emotion evaluation based on product image attributes expressing MPEG-7 visual descriptors and other colors and textures, and electronically using AR (augmented reality) and VR (virtual reality) design simulation contents. In commerce, you can select products based on your emotions.

색채 디자인 전문가가 아니더라도 디자인 시뮬레이션 시스템의 도움을 얻어 충분히 원하는 감성으로 공간의 대상 제품들을 이용하여 디자인을 완성해 나갈 수 있도록 한다.Even if you are not a color design expert, you can use the target products in the space with the help of the design simulation system to complete the design with enough desired sensibility.

이러한 시스템은 웹 환경 등에서 사용자가 직접 적용해보고 상품을 선택할 수 있기 때문에 안전한 구매를 유도할 수 있어 이들 제품들의 전자상거래 활성화에 이바지할 수 있으며, 생산자 측면에서는 판매제품의 감성추이 분석을 통해 제품의 생산계획을 수립할 수 있는 장점이 있다.These systems can induce safe purchases because users can directly apply them and select products in a web environment, thereby contributing to the activation of e-commerce transactions for these products, and in terms of producers, product production through analysis of the sentiment trend of sold products. It has the advantage of being able to plan.

또한 본 발명은 회화나 사진 등의 컬러영상의 자동평가에도 활용할 수 있으며, MPEG-7 시각표현자를 활용하고 있기 때문에 MPEG-7이 지향하고 있는 내용기반 영상검색 시스템과도 효율적으로 융합하여 감성기반 검색을 수행할 수 있다.In addition, the present invention can be used for automatic evaluation of color images such as paintings and photographs, and since it utilizes MPEG-7 visual representation, it efficiently integrates with the content-based image search system aimed by MPEG-7 to search based on emotion. Can be done.

본 발명에 의한 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠는 모델하우스 디스플레이 및 소비자 기호에 맞는 커스터마이즈드(customized) 리모델링이 가능하게 되고, 맞춤형 고객 서비스용 온라인 시뮬레이션을 제공할 수 있으며, 온라인/오프라인 고객 상담 및 제안에 이용할 수 있다. 또한 온라인 구매를 위한 제품 사양 명세 도구로 사용할 수 있다.AR (augmented reality) and VR (virtual reality) design simulation content according to the present invention enables a model house display and customized remodeling to suit consumer preferences, and provides online simulation for customized customer service, It can be used for online/offline customer consultation and suggestions. It can also be used as a product specification specification tool for online purchases.

10 벽지컬러패턴 영상 데이터베이스 20 감성지식 데이터베이스
30 3D 모델 이미지 데이터베이스 40 사용자 인터페이스
50 관리자 인터페이스 100 제어부
110 뷰어 120 감성기반 검색부
10 Wallpaper color pattern image database 20 Emotional knowledge database
30 3D Model Image Database 40 User Interface
50 Administrator Interface 100 Control Panel
110 Viewer 120 Emotion-based search unit

Claims (5)

벽지컬러패턴 영상 데이터와 상기 벽지컬러패턴 영상 데이터에서 추출한 등록영상속성이 매칭되어 구축된 벽지컬러패턴 영상 데이터베이스, 상기 벽지컬러패턴 영상 데이터베이스에서 샘플링된 벽지컬러패턴 영상 데이터에 대하여 배색사전이 적용된 감성 평가치와 상기 벽지컬러패턴 영상에서 추출한 영상속성이 매칭되어 구축된 감성지식 데이터베이,스 사용자가 입력한 감성 형용사에 매칭되는 영상속성을 상기 감성지식 데이터베이스에서 검색하고, 검색된 상기 영상속성을 키로 사용하여 상기 영상속성과 유사한 등록영상속성을 상기 벽지컬러패턴 영상 데이터베이스에서 검색하고, 상기 벽지컬러패턴 영상 데이터베이스에 저장된 벽지컬러패턴 영상 데이터 중에서 상기 검색된 등록영상속성에 매칭되는 벽지컬러패턴 영상 데이터를 검색하여 제시하는 감성기반 검색부를 포함하는 것을 특징으로 하는 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠.
A wallpaper color pattern image database constructed by matching the wallpaper color pattern image data and the registered image attributes extracted from the wallpaper color pattern image data, and a color matching dictionary applied to the wallpaper color pattern image data sampled from the wallpaper color pattern image database An emotional knowledge database constructed by matching the image attributes extracted from the wallpaper color pattern image with Chi, search the emotional knowledge database for the image attributes matching the emotional adjective entered by the user, and use the retrieved image attributes as a key. A registered image attribute similar to the image attribute is searched in the wallpaper color pattern image database, and wallpaper color pattern image data matching the searched registered image attribute is searched and presented from among wallpaper color pattern image data stored in the wallpaper color pattern image database. AR (augmented reality), VR (virtual reality) design simulation content, characterized in that it includes an emotion-based search unit.
제 1항에 있어서, 상기 영상속성과 상기 등록영상속성은 MPEG-7의 시각 표현자(Visual Descriptor), 벽지의 컬러, 질감 중에서 어느 하나로 구성되는 것을 특징으로 하는 감성기반 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 검색 시스템.The emotion-based AR (Augmented Reality), VR of claim 1, wherein the image attribute and the registered image attribute are composed of any one of MPEG-7 visual descriptor, wallpaper color, and texture. (Virtual Reality) A search system for design simulation content. 벽지컬러패턴 영상 데이터와 상기 벽지컬러패턴 영상 데이터에서 추출한 등록영상속성이 매칭되어 구축된 벽지컬러패턴 영상 데이터베이스, 상기 벽지컬러패턴 영상 데이터베이스에서 샘플링된 벽지컬러패턴 영상 데이터에 대하여 배색사전이 적용된 감성 평가치와 상기 벽지컬러패턴 영상에서 추출한 영상속성이 매칭되어 구축된 감성지식 데이터베이스, 사용자가 감성 형용사를 입력하면 상기 입력된 감성 형용사에 매칭되는 영상속성을 상기 감성지식 데이터베이스에서 검색하고, 검색된 상기 영상속성을 키로 사용하여 상기 영상속성에 유사한 등록영상속성을 상기 컬러패턴 영상 데이터베이스에서 검색하고, 상기 벽지컬러패턴 영상 데이터베이스에 저장된 벽지컬러패턴 영상 데이터 중에서 상기 등록영상속성에 매칭되는 벽지컬러패턴 영상 데이터를 검색하여 제시하는 감성기반 검색부, AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 객체가 되는 3차원 모델 이미지가 저장된 3차원 모델 데이터베이스, 상기 3차원 모델 이미지와 상기 벽지컬러패턴 영상을 디스플레이시키는 뷰어, 상기 3차원 모델 데이터페이스에서 선택된 3차원 모델 이미지에 상기 감성기반 검색부가 제시한 상기 벽지컬러패턴 영상 데이터를 적용하여 상기 뷰어를 통해 디스플레이하는 제어부를 포함하는 것을 특징으로 하는 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠.A wallpaper color pattern image database constructed by matching the wallpaper color pattern image data and the registered image attributes extracted from the wallpaper color pattern image data, and a color matching dictionary applied to the wallpaper color pattern image data sampled from the wallpaper color pattern image database Emotional knowledge database constructed by matching the image attributes extracted from the wallpaper color pattern image with Chi, and when a user inputs an emotional adjective, the image attribute matching the inputted emotional adjective is searched in the emotional knowledge database, and the retrieved image attribute Using as a key, a registered image property similar to the image property is searched in the color pattern image database, and wallpaper color pattern image data matching the registered image property is searched among wallpaper color pattern image data stored in the wallpaper color pattern image database. A three-dimensional model database in which a three-dimensional model image used as an object of AR (augmented reality), VR (virtual reality) design simulation content is stored, and the three-dimensional model image and the wallpaper color pattern image are displayed. AR (Augmented Reality), characterized in that it comprises a viewer that applies the wallpaper color pattern image data presented by the emotion-based search unit to a 3D model image selected from the 3D model data face and displays it through the viewer. ), VR (virtual reality) design simulation content. 제 4항에 있어서,상기 뷰어는 상기 3차원 모델 이미지에 상기 벽지컬러패턴 영상을 적용하고, 사용자의 선택에 따라 적용된 이미지를 네비게이션, 확대, 축소, 또는, 수정하여 디스플레이하는 것을 특징으로 하는 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠.The AR according to claim 4, wherein the viewer applies the wallpaper color pattern image to the 3D model image, and displays the applied image by navigation, enlargement, reduction, or modification according to a user's selection. Augmented Reality), VR (Virtual Reality) design simulation content. 제 1항의 감성기반 영상 검색 시스템을 이용한 감성기반 영상 검색 방법에 있어서,
사용자가 감성 형용사를 입력하는 단계, 입력된 형용사를 상기 감성 지식 데이터베이스에 포함되는 형용사로 확장하는 단계, 상기 감성지식 데이터베이스를 이용하여 상기 입력된 형용사에 매칭되어 저장된 영상속성을 검색하는 단계, 상기 검색된 영상속성을 키로 사용하여 벽지컬러패턴 영상 데이터베이스에서 유사한 등록영상속성을 검색하는 단계, 검색된 상기 등록영상속성에 매칭되어 저장된 벽지컬러패턴 영상 데이터를 상기 벽지컬러패턴 영상 데이터베이스에서 검색하는 단계 및 검색 결과에 해당하는 벽지컬러패턴의 영상을 디스플레이하는 단계로 구성된 것을 특징으로 하는 감성기반 AR(증강현실), VR(가상현실) 디자인 시뮬레이션 콘텐츠의 검색 방법.
In the emotion-based image search method using the emotion-based image search system of claim 1,
Step of a user inputting a sentiment adjective, expanding the input adjective to an adjective included in the sentiment knowledge database, searching for an image attribute matched to the input adjective using the sentiment knowledge database and stored, the searched Searching for similar registered image attributes in the wallpaper color pattern image database using the image attribute as a key, searching for wallpaper color pattern image data matched with the searched registered image attributes and stored in the wallpaper color pattern image database, and the search result Emotion-based AR (Augmented Reality), VR (Virtual Reality) design simulation content search method comprising the step of displaying an image of a corresponding wallpaper color pattern.
KR1020190098483A 2019-08-12 2019-08-12 AR, VR design simulation contents KR20210019362A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190098483A KR20210019362A (en) 2019-08-12 2019-08-12 AR, VR design simulation contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190098483A KR20210019362A (en) 2019-08-12 2019-08-12 AR, VR design simulation contents

Publications (1)

Publication Number Publication Date
KR20210019362A true KR20210019362A (en) 2021-02-22

Family

ID=74687712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098483A KR20210019362A (en) 2019-08-12 2019-08-12 AR, VR design simulation contents

Country Status (1)

Country Link
KR (1) KR20210019362A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411021B1 (en) * 2021-09-01 2022-06-22 주식회사 그렇게하자 Method and apparatus for providing video content production service using augmented reality
KR20230087075A (en) 2021-12-09 2023-06-16 주식회사 씨지픽셀스튜디오 Digital twin space and real space location mapping linkage and error correction method, and system thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411021B1 (en) * 2021-09-01 2022-06-22 주식회사 그렇게하자 Method and apparatus for providing video content production service using augmented reality
KR20230087075A (en) 2021-12-09 2023-06-16 주식회사 씨지픽셀스튜디오 Digital twin space and real space location mapping linkage and error correction method, and system thereof

Similar Documents

Publication Publication Date Title
KR100697339B1 (en) Sensory based searching system for color image and System of design simulation using thereof
US11188831B2 (en) Artificial intelligence system for real-time visual feedback-based refinement of query results
US20180181569A1 (en) Visual category representation with diverse ranking
Bruckner et al. Result-driven exploration of simulation parameter spaces for visual effects design
US9607010B1 (en) Techniques for shape-based search of content
CN109034973B (en) Commodity recommendation method, commodity recommendation device, commodity recommendation system and computer-readable storage medium
US11670061B2 (en) Generating augmented reality prerenderings using template images
KR20090028713A (en) Simulation-assisted search
JP6527275B1 (en) Harmonious search method based on harmony of multiple objects in image, computer apparatus and computer program
CN110321473B (en) Multi-modal attention-based diversity preference information pushing method, system, medium and device
CN113255052A (en) Home decoration scheme recommendation method and system based on virtual reality and storage medium
Mao Video analysis of intelligent teaching based on machine learning and virtual reality technology
CN116894711A (en) Commodity recommendation reason generation method and device and electronic equipment
Kauer et al. Mapping and visualizing deep-learning urban beautification
KR20210019362A (en) AR, VR design simulation contents
CN111159601B (en) Social contact method for visually displaying community based on feature data
KR102330823B1 (en) A System Providing Furniture Recommendation Service based on Augmented Reality
CN113632147A (en) Product design, configuration and decision system using machine learning
CN109471930A (en) A kind of mood board interface design method of user oriented emotion
KR20110020104A (en) System for searching coordination and method for providing services thereof
KR20190109652A (en) Method and system for recommending product based style space created using artificial intelligence
Li et al. Augmented reality shopping system through image search and virtual shop generation
Shamoi et al. Apparel online shop reflecting customer perception
JP2003524845A (en) E-commerce using object characterization datasets
Bonelli et al. Virtual Reality in Financial Trading and Investing: A Review of Literature and Applications