KR100665352B1 - Method of decoding encoded information of taste information or feeling of taste transferred from video image - Google Patents

Method of decoding encoded information of taste information or feeling of taste transferred from video image Download PDF

Info

Publication number
KR100665352B1
KR100665352B1 KR1020040094275A KR20040094275A KR100665352B1 KR 100665352 B1 KR100665352 B1 KR 100665352B1 KR 1020040094275 A KR1020040094275 A KR 1020040094275A KR 20040094275 A KR20040094275 A KR 20040094275A KR 100665352 B1 KR100665352 B1 KR 100665352B1
Authority
KR
South Korea
Prior art keywords
taste
information
representative
expression
data
Prior art date
Application number
KR1020040094275A
Other languages
Korean (ko)
Other versions
KR20060054985A (en
Inventor
김정도
함유경
홍광석
Original Assignee
김정도
홍광석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김정도, 홍광석 filed Critical 김정도
Priority to KR1020040094275A priority Critical patent/KR100665352B1/en
Priority to PCT/KR2004/003481 priority patent/WO2006064993A1/en
Publication of KR20060054985A publication Critical patent/KR20060054985A/en
Application granted granted Critical
Publication of KR100665352B1 publication Critical patent/KR100665352B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • G06F16/287Visualization; Browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후 먼저 PCA에 의해 차원을 축소하고 FCMA에 의한 대표맛에 의거하여 입력부호화정보를 복원하는 방법을 제공한다. 즉, 본 발명은 미각정보나 영상 이미지가 가지는 맛의 느낌을 디지털 복호화하는 방법에 있어서, 대표 맛의 인자표현에 따라 부호화를 수행하고 클러스터링에 의하여 대표 맛의 센터값을 구하여 저장하는 단계; 부호화되어 전송 입력되는 미각정보를 받아, 주성분분석법에 의하여 인간이 가시적으로 확인이 가능한 차원축소된 데이터로 데이터의 패턴을 차원 축소 매핑하는 단계; 및 차원이 축소된 부호화 미각정보를 클러스터링하여 대표 맛의 센터값을 구하고, 저장된 대표 맛의 센터값과 비교하여 입력된 미각정보의 대표 맛의 센터값에 대한 소속도를 구하여 입력되는 미각정보의 맛을 판단한다.The present invention provides a method of first reducing the dimension by PCA and encoding the input encoding information based on the representative taste by FCMA after encoding the expression factor for the taste of taste information or video image. That is, the present invention provides a method of digitally decoding a taste of a taste information or a video image, the method comprising: performing encoding according to a representative expression of a representative taste and obtaining and storing a center value of the representative taste by clustering; Receiving the taste information that is encoded and transmitted and mapping the pattern of data to dimensionally reduced data that can be visually confirmed by a human by principal component analysis; And obtaining the center value of the representative taste by clustering the coded taste information having reduced dimensions, and comparing the stored center value with the center value of the stored representative taste to obtain the degree of belonging to the center value of the representative taste of the input taste information. To judge.

Description

미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 부호화정보를 복원하는 방법{Method of decoding encoded information of taste information or feeling of taste transferred from video image}Method of decoding encoded information of taste information or feeling of taste transferred from video image}

도 1은 헤닝의 미각 4면체설을 설명하기 위한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS It is a figure for demonstrating the taste tetrahedron structure of hening.

도 2는 형용사 표현인자를 이용한 미각정보의 표현 및 부호화를 설명하기 위한 도면이다.FIG. 2 is a diagram for describing representation and encoding of taste information using adjective expression factors.

도 3은 본 발명에 의한 미각정보의 부호화 방법을 설명하기 위한 다이어그램이다.3 is a diagram for explaining a method of encoding taste information according to the present invention.

도 4는 본 발명에 의한 미각정보의 부호화 방법에서의 전송시 MPEG에서의 메타데이터로 적용됨을 설명하기 위한 다이어그램이다.4 is a diagram for explaining the application of metadata in MPEG during transmission in the method of encoding taste information according to the present invention.

도 5는 기본적인 대표 맛의 클러스터링을 설명하기 위한 그래프도이다.5 is a graph for explaining clustering of basic representative tastes.

도 6은 본 발명에 적용되는 PCA를 통하여 차원을 축소하고 각종 대표 맛의 클러스터링에 의한 대표 맛의 센터값을 구하는 과정을 설명하기 위한 도면이다.6 is a view for explaining a process of obtaining a center value of a representative taste by reducing the dimension and clustering of various representative flavors through the PCA applied to the present invention.

도 7은 본 발명에 의한 부호화된 데이터의 전송과 디코딩 과정을 설명하기 위한 구성도이다.7 is a block diagram illustrating a transmission and decoding process of encoded data according to the present invention.

<도면의 주요부분에 대한 설명><Description of main parts of drawing>

60...대표 맛 62, 72...인자표현60 ... Representation taste 62, 72 ... Factor expression

64, 74...부호화 65, 75...PCA64, 74 ... Code 65, 75 ... PCA

66, 76...클러스터링 68...대표 맛의 센터값66, 76 ... clustering 68 ... Representative center of taste

70...미각정보 78...저장된 대표 맛의 센터값70 ... Taste Information 78 ... Center Values for Stored Representative Flavors

80...소속도 결정80 ... small speed determination

본 발명은 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후 먼저 PCA에 의해 차원을 축소하고 FCMA에 의한 대표맛에 의거하여 입력부호화정보를 복원하는 방법에 관한 것으로, 특히 맛이나 영상이 가지는 맛의 감정을 미리 정해진 표현인자로 매핑하여 이를 부호화하고, 인간이 사용하는 수십개의 대표 맛을 퍼지 클러스터링(Clustering : 군집) 방법을 이용하여 대표 맛의 중심 값만을 기억함으로써, 어떤 부호화된 맛 데이터가 들어온다 하더라도 미리 기억된 중심값에 의해 현재 표현하고자 하는 맛의 소속도를 구함으로써 복원할 수 있는, 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후 먼저 PCA에 의해 차원을 축소하고 FCMA에 의한 대표맛에 의거하여 입력부호화정보를 복원하는 방법에 관한 것이다.The present invention relates to a method of first reducing the dimension by PCA and then restoring the input encoding information based on the representative taste by FCMA, after encoding the expression factor for the taste of taste information or video image. By encoding the taste emotions of images or images with a predetermined expression factor, and encoding dozens of representative tastes used by humans by storing only the central value of the representative tastes using fuzzy clustering method. Even if the taste data comes in, after encoding the expression factors for the taste feeling of taste information or image image, which can be restored by obtaining the degree of belonging of the taste to be expressed by the central value stored in advance, To reduce the dimensions and restore the input encoding information based on the representative taste by FCMA. .

일본우정성은 종래의 영상이나 음성에 더해서 냄새나 맛, 감촉 등을 고속으로 전달하는 통신기술의 연구개발에 본격적으로 착수하기로 방침을 정했다. 전화와 텔레비전 등 시각과 청각에 호소하는 통신수단은 일반화되어 있지만 미각과 후 각, 촉각이라는 인간의 오감(五感)에 의한 정보전달 기술의 개발은 세계적으로도 아직 미개척 분야이다. 오감 정보 통신이 실현되면 원격의료 등 복지와 교육 분야에의 응용이 기대 된다. 또한 보다 자연스럽고 현실감이 있는 커뮤니케이션도 가능하게 된다. In addition to the conventional video and audio, Japan Post has decided to embark on the research and development of communication technology that delivers smell, taste, and texture at high speed. Although communication means that appeal to sight and hearing, such as telephone and television, are common, the development of information transmission technology by human five senses of taste, smell, and touch is still unexplored. When the five senses information communication is realized, it is expected to be applied to welfare and education fields such as telemedicine. It also enables more natural and realistic communication.

오감 정보 통신에는 냄새와 맛, 그리고 감촉을 정보로서 해석하는 기술의 개발이 필요하게 된다.  Five senses Information communication requires the development of technology that interprets smell, taste, and texture as information.

미각이란 혀와, 구강점막, 후두의 화학 수용체의 작용에 의해 맛을 느끼는 것이다. 이러한 화학 수용체에는 맛을 느끼는 감각기관인 미뢰가 있다. 미뢰는 혀의 유두에 가장 많이 분포하고 있으며 성인의 경우 평균 2~5천개의 미뢰가 있으며 하나의 미뢰는 약 50~1백30개의 세포로 구성되고, 이 세포들 중 대 다수가 맛을 느끼는 미각 수용체의 역할을 한다. 미뢰의 표면은 아주 미세한 융모들이 돋아 있으며, 여기에는 미공이라는 작은 구멍이 있어 이를 통해 맛을 느끼게 하는 이온이나 분자들이 세포막에 있는 이온채널을 통과한다. 큰 분자의 경우 세포 표면의 특수한 수용체에 결합한 세포 안에서 신호로 전달하게 되는 것이다.  Taste is the taste of the action of the chemical receptors on the tongue, oral mucosa and larynx. These chemical receptors contain taste buds, taste organs that taste. The taste buds are most common in the papilla of the tongue, with an average of 2 to 5,000 taste buds in adults, with one taste bud consisting of about 50 to 130 cells, many of which taste. It acts as a receptor. The surface of the taste buds has very fine villi, and there are tiny pores called micropores that pass through the ion channels in the cell membrane to make them taste. Large molecules are signaled in cells that bind to specific receptors on the cell surface.

빛에 빨강, 초록, 파랑의 3원색이 있듯이 맛에도 기본이 되는 원미(元味)라는 것이 존재한다. 어떤 맛이 원미가 되기 위해서는 딴 원미의 것과는 다른 맛 수용체 부위가 존재해야 하고, 그 맛의 질이 딴 원미와 확실히 달라야하며, 또 여러 원미물질을 혼합하더라도 그 맛을 낼 수 없다는 3가지 조건을 만족시켜야 한다. As there are three primary colors of red, green, and blue in light, there is a raw rice that is basic to taste. In order for a taste to be raw, there must be a taste receptor site different from that of other raw materials, the quality of the taste must be different from the other raw materials, and it can satisfy the three conditions that it cannot produce the taste even if several raw materials are mixed. You have to.

동양에서는 음양오행설에 상응하는 다섯 가지 맛(五味)으로써 단맛, 쓴맛, 짠맛, 신맛, 매운맛을 일컬었고, 서양에서는 4 원미설에 대응하는 4가지의 단맛, 쓴맛, 짠맛, 신맛을 기본미로 생각했다. 최근에는 단맛, 쓴맛, 짠맛, 신맛, 감칠맛(고기국물맛 같은 것으로, MSG를 먹었을 때 느끼는 맛이다)을 원미 조건에 맞는 5원미로 인정한다. 그러나 위에서 언급한 원미 외에도 사람들은 매운맛, 떫은맛 등의 여러 가지의 '맛'을 느끼는데 이런 맛들은 원미처럼 맛 수용체에서 인식되는 것이 아니라 구강 내의 자유신경이나 혀의 점막 등에서 복합적으로 느끼는 감각이다. 예를 들어 매운맛은 구강내의 자유신경에서 느끼는 일종의 아픈 감각(痛覺)이다. 매운맛을 내는 음식들은 각기 다른 종류의 매운맛 성분들을 함유하고 있는 것으로 알려졌다. 예를 들어 고추는 캡사이신, 후추는 피페린, 겨자는 이소티오시아네이트, 생강은 진저론, 마늘은 알리신이라는 성분이 주로 매운맛을 낸다. 떫은맛은 폴리페놀이 많이 함유된 식품을 먹었을 때 그 성분이 혀의 점막 단백질과 강한 수소결합을 함으로써 점막이 수축되는 감각을 말한다. 홍차, 맥주, 포도주 등에 들어있는 탄닌이 대표적인 떫은맛 성분이다. 박하 등을 먹었을 때는 찬맛을 느끼는데, 이것은 박하성분이 침에 녹을 때 용해열을 흡수하기 때문에 나타나는 냉각효과에 의해 혀의 점막이 일시적으로 마비되는 결과다. 따라서 인간은 5가지의 미각 수용체만 가지고 맛을 결정하는 것이 아니라 음식물의 온도, 음식물의 강도, 음식물을 먹는 사람의 기호 등에 의해서 좌우된다. 또한 음식물에 포함되어 있는 향이 후각 영역을 흥분시키고, 눈으로 느끼는 감정, 촉감으로 느끼는 모든 인자들을 포함해서 맛을 결정한다. 즉 맛이란 미각뿐만 아니라 촉각, 시각, 후각 등 인간이 느끼는 감각기관 모두를 포함해서 느끼는 감정의 종합체라 할 수 있다.  In the Orient, five flavors (5) corresponding to Yin-Yang Five Elements were referred to as sweet, bitter, salty, sour, and spicy. In the West, four kinds of sweet, bitter, salty, and sour, corresponding to the four-way theorem, were considered as basic tastes. . In recent years, sweet, bitter, salty, sour, and umami (such as meat broth, tastes like MSG) are recognized as 5 raw rice that meets the original conditions. However, in addition to the raw rice mentioned above, people feel various 'flavors' such as spicy and astringent tastes. These tastes are not perceived by taste receptors like raw rice, but are complex senses in free nerves in the mouth or mucous membrane of the tongue. For example, spicy taste is a kind of painful sensation in the free nerves in the oral cavity. Spicy foods are known to contain different kinds of spicy ingredients. For example, pepper is capsaicin, pepper is piperine, mustard isothiocyanate, ginger is ginger, and garlic is allicin. Astringent taste is a sense of contraction of mucous membranes when a component containing polyphenols has a strong hydrogen bond with mucous membrane protein of tongue. Tannins in black tea, beer, and wine are typical astringents. When you eat peppermint, you feel cold. This is the result of the paralysis of the tongue's mucous membranes due to the cooling effect that occurs when the peppermint component absorbs the heat of dissolution when dissolved in saliva. Therefore, humans do not determine taste with only five taste receptors, but depend on the temperature of food, the strength of food, and the taste of food eaters. In addition, the aromas in the food excite the sense of smell, and determine the taste, including all the feelings that the eyes feel and the touch. In other words, taste is not only a sense of taste, but also a synthesis of emotions including all senses such as touch, sight, and smell.

이것을 통신으로 전달하기 위해서는 미각 정보를 전송하기 위한 부호화기 술과 압축기술의 개발, 또한 수신측에서 정확하게 이 정보를 분석하고, 사람이 맛과 향을 느끼게 재생하는 기술도 불가결하다. 즉 맛을 통신상에서 전송하기 위해서 표현하는 방법이 필요하다. In order to transmit this information through communication, development of an encoding technique and a compression technique for transmitting taste information and a technique of accurately analyzing the information on the receiving side and reproducing the human taste and aroma are indispensable. In other words, there is a need for a method of expressing taste in order to transmit it over a communication.

역시, 일본우정성 통신정책국에 의하면 오감정보통신의 실현은 「5∼10년 후」로 예상된다. 향후의 과제는 인터넷상에서의 통신 품질의 확보와 광파이버 등 광 대역 네트워크에서의 전송기술이 될 것으로 예상된다. 인간이 느끼는 후각, 미각, 촉각 등의 감각도 디지털 이미지로 표현되어 시각과 청각의 비디오와 오디오의 경우처럼 전송할 수 있어야 하며, 또한 이것의 표현을 위해 복원 가능해야 한다.  Again, according to the Japan Postal Communications Bureau, the realization of the five senses ICT is expected to be "five to ten years later." Future challenges are expected to secure communication quality over the Internet and transport technologies in wideband networks such as optical fibers. Human senses such as smell, taste, and touch should also be expressed as digital images and transmitted as in the case of visual and audio video and audio.

통상 미각정보를 다양한 언어로 정의할 경우, 그 종류가 너무 많기 때문에 인간이 느끼는 개별 맛의 느낌을 일일이 다 데이터베이스화하는 것은 거의 불가능하게 된다. 이로써, 본 출원인은 일단 맛이나 영상이 가지는 맛의 감정을 미리 정해진 표현인자로 매핑하여 이를 부호화하고 FCMA를 이용하여 대표맛으로 입력부호화정보를 복원처리하는 방법을 제안하여 동일자로 출원하고 있다. 그러나 당면문제는 맛에 대한 표현인자가 약 40~50정도이면 이를 조합하여 수많은 맛에 대한 표현이 가능하지만, 인간의 감정 표현 방식에 의해 결정된 표현인자도 최소 40개는 되기 때문에, 실제 소속도의 결정과정에 최소 40차원에서의 계산이 필요하며, 대표 맛의 센터 값도 40차원이상에서 존재하게 되기 때문에 큰 메모리를 필요로 하게 되며, 계산시간과 계산량도 많아지게 된다는 점이다. In general, when the taste information is defined in various languages, since there are so many kinds, it is almost impossible to database all the individual tastes that humans feel. Accordingly, the present applicant proposes a method of mapping an emotion of taste or a taste of an image to a predetermined expression factor, encoding the same, and restoring the input encoding information to a representative taste using FCMA. However, the problem at hand is that if the expression factor of taste is about 40 ~ 50, it can be expressed in numerous tastes by combining them, but at least 40 expression factors determined by the way of expressing human emotion, The decision process requires a calculation in at least 40 dimensions, and the center value of the representative taste is also present in more than 40 dimensions, which requires a large memory and increases the calculation time and calculation amount.

본 발명이 이루고자 하는 기술적 과제는 시각 및 청각에 의한 비디오나 오 디오 데이터의 경우에서와 같이, 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후, 먼저 PCA(Principal Component Analysis) 알고리즘에 의하여 큰 차원의 부호화 데이터를 2-3차원으로 매핑시킨 후 FCMA(Fuzzy c-means algorithm)을 이용하여 복원하는 방법을 제공하는 데 그 목적이 있다.The technical problem to be achieved by the present invention is to encode the expression factor for the taste feeling of taste information or video image, as in the case of video and audio data by visual and auditory, and then first, PCA (Principal Component Analysis) An object of the present invention is to provide a method of reconstructing a large-dimensional encoded data into 2-3 dimensions by an algorithm and then using a fuzzy c-means algorithm (FCMA).

여기서 사용하는 미각정보는 5원미 뿐만 아니라 입안에서 느끼는 모든 정보로 정의한다. 맛에 대한 표현인자가 약 40~50정도면 이를 조합하여 수많은 맛에 대한 표현이 가능하다. 만약, 인간마다 맛에 대한 표현방식이 다르다 하더라도, 인간이 가지는 공통분모적인 맛 표현방식에 의해 클러스터링 되어 있기 때문에 해당 맛에 대한 소속도가 가장 크게 나올 수밖에 없다. 만약, 두개의 맛이 혼합된 느낌이라 하더라도, 소속도가 두개의 대표 맛쪽에 더 큰 소속도를 주기 때문에 복합적인 맛의 표현도 가능하다. 이 방법에 의하면 표현인자가 40차원 이상이라 하더라도 PCA알고리즘을 사용하여 2~3차원으로 축소될 수 있기 때문에 대표 맛에 대해 적은 메모리만을 필요로 하게 된다. 3차원정도로 축소시키면 보통 원 데이터의 98%이상의 표현이 가능하기 때문에 데이터의 손실은 거의 없다고 생각할 수 있다.The taste information used here is defined as not only the five elements but also all the information felt in the mouth. If the expression factor of the taste is about 40-50, it is possible to express many tastes by combining them. Even if the way of expressing taste is different for each human being, it is clustered by the common denominator of the way of expressing taste. Even if the two flavors are mixed, a combination of flavors can be expressed because the degree of belonging gives a greater degree of belonging to the two representative flavors. According to this method, even if the expression factor is 40 or more dimensions, it can be reduced to 2 or 3 dimensions using the PCA algorithm, thus requiring only a small amount of memory for the representative taste. It can be considered that there is almost no loss of data because it can be expressed more than 98% of the original data if it is reduced to about three dimensions.

본 발명에서 제안된 방법은 멀티미디어 데이터의 질감 표현을 위해 메타 데이터(Meta data)를 사용하는 MPEG-7과 MPEG-21등에 적용 가능할 것으로 예상되며, 미각정보 처리 기술의 표준화를 위한 기본 기술이라 할 수 있다.The method proposed in the present invention is expected to be applicable to MPEG-7 and MPEG-21 using meta data for the texture representation of multimedia data, and is a basic technology for standardizing taste information processing technology. have.

본 발명은 상술한 기술적 과제를 달성하기 위하여, 미각정보나 영상 이미지가 가지는 맛의 느낌을 디지털 복호화하는 방법에 있어서, 대표 맛의 인자표현에 따라 부호화를 수행하고 클러스터링에 의하여 대표 맛의 센터값을 구하여 저장하는 단계; 부호화되어 전송 입력되는 미각정보를 받아, 주성분분석법에 의하여 인간이 가시적으로 확인이 가능한 차원축소된 데이터로 데이터의 패턴을 차원 축소 매핑하는 단계; 및 차원이 축소된 부호화 미각정보를 클러스터링하여 대표 맛의 센터값을 구하고, 저장된 대표 맛의 센터값과 비교하여 입력된 미각정보의 대표 맛의 센터값에 대한 소속도를 구하여 입력되는 미각정보의 맛을 판단하는 단계를 포함하며, 상기 미각정보의 부호화는 인간이 맛을 느끼고 말하는 다양한 형태의 언어표현을 미각표현인자로 분류하는 단계; 상기 분류된 미각표현인자에 코드를 대응시키는 단계; 하나의 미각을 표현하는 하나 이상의 미각표현인자의 코드와 농도 또는 소속도를 정수형 또는 실수형으로 표현하는 단계를 포함하는 디지털 복호화방법을 제공한다.In order to achieve the above technical problem, the present invention provides a method of digitally decoding a taste of a taste information or a video image, wherein the encoding is performed according to a representative expression of a representative taste, and the center value of the representative taste is clustered by clustering. Obtaining and storing; Receiving the taste information that is encoded and transmitted and mapping the pattern of data to dimensionally reduced data that can be visually confirmed by a human by principal component analysis; And obtaining the center value of the representative taste by clustering the coded taste information having reduced dimensions, and comparing the stored center value with the center value of the stored representative taste to obtain the degree of belonging to the center value of the representative taste of the input taste information. And determining, by encoding the taste information, classifying various forms of language expression as taste expression factors by which humans feel and speak; Mapping a code to the classified taste factor; It provides a digital decoding method comprising the step of expressing the code and the concentration or degree of belonging of one or more taste factors representing a taste in an integer or a real type.

바람직하기로는 상기 클러스터링은 FCMA(Fuzzy c-means algorithm)을 이용하여 수행되며, 아래의 수학식들에 의하여Preferably the clustering is performed using a FCMA (Fuzzy c-means algorithm), by the following equation

Figure 112004053447674-pat00001
Figure 112004053447674-pat00001

Figure 112004053447674-pat00002
Figure 112004053447674-pat00002

Figure 112004053447674-pat00003
...수학식 12
Figure 112004053447674-pat00003
... Equation 12

Figure 112004053447674-pat00004
...수학식 13 a) 수학식 12에 의해 초기 소속함수 Z(0) 결정 및 클러스터 j와 패턴 i의 소속도 Wij 을 계산하고
Figure 112004053447674-pat00004
Equation 13 a) Determination of the initial membership function Z (0) and the membership degree W ij of the cluster j and the pattern i by

b) 수학식 13에 의해 클러스터 중심 Z(k+1)을 계산하고b) calculate the cluster center Z (k + 1) by

c) ∥Z(k)-Z(k+1)∥의 계산하고,c) ∥ Z (k) -Z (k + 1) ∥

만약 ∥Z(k)-Z(k+1)∥>ε 면 k=k+1로 하고 다시 처음으로 돌아가고, 그렇지 않다면 알고리즘을 종료하여 클러스터 소속도를 구함을 특징으로 한다.If ∥Z (k) -Z (k + 1) ∥> ε, k = k + 1 and go back to the beginning. Otherwise, the algorithm is terminated to obtain cluster membership.

바람직하기로는 실제 부호화된 미각정보를 전송하는 경우, MPEG-7이나 MPEG-21에 의해 영상압축된 영상데이터 뒤에 미각표현인자의 부호화 데이터를 메타데이터로 배열하여 전송함을 특징으로 한다.Preferably, when the actual encoded taste information is transmitted, the encoded data of the taste factor is arranged as metadata after the image data compressed by MPEG-7 or MPEG-21.

이하, 첨부된 도면을 참조하여 본 발명의 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자의 부호화 후 차원을 축소하고 대표 맛에 의거한 입력 부호화 미각정보를 복원하는 방법의 바람직한 실시예의 구성 및 동작에 대해서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration of a preferred embodiment of a method for reducing the dimension after the encoding of the expression factor for the taste feeling of the taste information or image image of the present invention and to restore the input encoded taste information based on the representative taste And the operation will be described in detail.

우선, 본 발명의 감성적 표현에 의한 미각정보를 디지탈적으로 표현하는 표현 인자를 설명하기 전에 기존의 맛 표현 기술에 대해서 설명하기로 한다.First, prior to describing the expression factor for digitally expressing the taste information by the emotional expression of the present invention, the existing taste expression technology will be described.

기존에 맛을 분류하고 표현하기 위한 많은 연구가 있었다. There has been much research to classify and express taste.

독일의 심리학자 H. 헤닝은 도 1에 도시한 바와 같이, 4개의 기본 맛을 삼 각뿔의 꼭지점에 두고, 여러 종류의 맛을 그 면 위, 또는 내부의 한 점으로 표현될 수 있다고 생각하였다. 이것을 헤닝의 미각의 4면체라 한다. The German psychologist H. Henning, as shown in Fig. 1, thought that four basic flavors were placed at the vertices of a triangular pyramid, and that various kinds of tastes could be expressed on a surface or as a point inside. This is called the tetrahedron of Henning's taste.

단맛 물질은 OH기를 가진 당류·알코올·글리세롤 등에 많은데, 그 중에는 사카린처럼 OH기를 가지지 않은 것도 있다. 단맛 물질에는 공통적으로 수소공여기와 수소수용기가 있는데, 서로 2.5∼4Å 떨어져 있다. 신맛은 수소이온의 맛이며 음이온도 신맛을 나게 하는데 영향을 준다. 같은 pH라도 산의 강도는 아세트산<포름산<젖산<질산<염산의 순서가 된다. 쓴맛 물질은 염화마그네슘 등의 무기화합물에 많고, 유기화합물에는 브루신·카페인 등의 알칼로이드가 대표적이다. 짠맛을 가진 대표적 염은 염화나트륨이다. 염화나트륨·염화칼륨·요오드화나트륨 등은 각각 다른 맛이 나는데 이것은 짠맛이 염의 양이온과 음이온의 양쪽에 의존하기 때문이다. 미각은 주로 혀의 표면에서 발생한다.There are many sweet substances such as sugars, alcohols and glycerol having OH groups, and some of them do not have OH groups like saccharin. The sweet substance has a hydrogen donor and a hydrogen acceptor in common, and is 2.5 to 4Å apart from each other. Sour taste is the taste of hydrogen ions, anion also affects the sour taste. Even at the same pH, the acid strength is in the order of acetic acid <formic acid <lactic acid <nitric acid <hydrochloric acid. Bitter substances are abundant in inorganic compounds such as magnesium chloride, and alkaloids such as brucin and caffeine are typical of organic compounds. Representative salts with salty taste are sodium chloride. Sodium chloride, potassium chloride, sodium iodide, etc., each have a different taste because salty taste depends on both the cation and anion of the salt. Taste occurs mainly on the surface of the tongue.

사람의 혀 표면이나 연구개의 각 부위에는 4가지 기본맛 물질에 대한 감수성의 차이가 있다. 미국의 심리학자 V.B. 콜링스는 1974년 짠맛과 단맛의 자극의 강도는 혀의 앞부분에서 가장 낮고, 신맛은 혀의 가장자리부분에서 가장 낮고, 쓴맛은 연구개에서 가장 낮다. 그러나 자극농도를 높이면 어떠한 부위에서나 4가지의 기본맛에 대한 감각이 생기는 측정결과를 발표하였다. 또한 미각에 대한 자극의 강도는 맛을 내는 액체의 온도에 따라 변화하는데, 가장 낮은 자극의 강도를 나타내는 온도는 맛의 성질에 따라 다르지만, 대개 22∼32℃이다. 제5의 미각(fifth taste)으로 수용체는 Umami(감칠맛)라 불리는 MSG(Mono sodium glutamate)에 대한 미각 수용체라고 하는데 MSG는 아시아 지역에서 음식의 맛을 좋게 하기 위해 널리 사용되는 화학 물질로 알려져 있기도 하다. 지금까지 음식의 주요 맛으로 동정된 것은 네 가지가 있다. 단맛, 짠맛, 신맛, 쓴맛이 그것인데, 우마미 또한 나머지 네 가지 맛과 같이 고유한 미각으로 분류되어야만 하며 다른 맛과 똑같이 중요하다는 주장이 많은 학자들에 의해 꾸준히 제기되어 왔었다. 미국 마이애미대학(Univ. of Miami) 의과대학의 니루파 초드하리(Nirupa Chaudhari) 연구팀에 따르면, 우리 신체는 글루타민산염(glutamate)에 대해 매우 민감하다고 하는데 글루타민산염은 육류와 해산 식품, 치즈와 같은 단백질성 식품에서 흔히 발견되는 성분이기도 하다. 또한 글루타민산염은 우리 뇌에서 신호를 전달하는 신경 전달 물질(Neurotransmitter)로도 작용한다고 알려져 있다. 우리 신체의 신경 단위 세포(neuron)에는 글루타민산염을 감지하는 수용체가 다양하게 존재하고 있다. 이와 같은 수용체들은 일종의 화학적 출입구(chemical doorway) 역할을 해서 이론적으로는 혀에 존재하는 세포가 식품에 함유된 글루타민산염을 감지하는데 쓰일 수 있다. 우마미는 지난 1908년 동경제대(Tokyo Imperial Univ.)의 키쿠나에 이케다(Kikunae Ikeda)에 의해 처음으로 동정된 미각이다.There are differences in susceptibility to the four basic taste substances on the surface of the human tongue and on each part of the soft palate. VB calling psychologists in the United States seuneun 1974 saltiness and sweetness intensity of the stimulation of the lowest in the front part of the tongue, sour lowest at the edges of the tongue, bitter is the lowest in the palate. Increasing the stimulus concentrations, however, resulted in a measurement of four basic tastes at any site. In addition, the intensity of the stimulus to the taste changes with the temperature of the liquid to taste, the temperature showing the lowest intensity of the stimulus is usually 22 to 32 ℃, depending on the nature of the taste. The fifth fifth taste receptor is called taste receptor for mono sodium glutamate (MSG) called Umami, which is also known as a chemical widely used in Asia to enhance the taste of food. . So far, there are four things that have been identified as the main tastes of food. Sweet, salty, sour, and bitter tastes have been steadily raised by many scholars that umami should be classified into unique tastes, just like the other four, and equally important as other tastes. According to Nirupa Chaudhari, a research team at the University of Miami Medical School in the United States, our bodies are very sensitive to glutamate. It is also an ingredient commonly found in sex foods. Glutamate is also known to act as a neurotransmitter (Neurotransmitter) in our brain. Neurons in our bodies (neurons) are present in a variety of receptors that detect glutamate. These receptors act as a kind of chemical doorway and can theoretically be used by cells on the tongue to detect glutamate in food. Umami was first tasted in 1908 by Kikunae Ikeda of the Tokyo Imperial Univ.

인간의 미각에서 느낄 수 있는 맛은 단맛, 신맛, 쓴맛, 짠맛, 감칠맛뿐이다. 그러나 인간이 맛을 느끼는 것은 그 종류가 다양하고 미뢰에서 느끼는 것 외에 통감이나 후각 등을 동반하여 종합적으로 느끼는 것이다. 본 발명에서는 인간이 맛을 느끼고 말하는 다양한 형태의 언어(형용사)를 이용하여 표현하고자 한다. 단 각각의 수용체에서 느끼는 맛과 인간이 느끼는 감정적인 의미를 가지는 언어를 사용하였다. 이러한 언어의 종류는 엄청나게 많지만, 인간의 느끼는 고유한 감정까지 포함해서 맛을 표현하고 구분이 가능하며, 맛의 기본 형용사 수용체 즉, 미각정보 표현 인자를 아래의 표와 같이 분류하였다.The tastes of human taste are only sweet, sour, bitter, salty and umami. However, the taste of human beings is diverse, and the taste is not only taste in taste buds, but also a sense of comprehensiveness accompanied by feelings and smells. In the present invention, it is intended to express using a variety of languages (adjectives) that humans feel and speak. However, we used language that has the taste that each receptor feels and the emotional meaning that humans feel. Although there are many kinds of these languages, it is possible to express and distinguish tastes, including the unique feelings of human beings, and classify basic adjective receptors of taste, that is, expression information expression factors, as shown in the table below.

[표][table]

번호number 미각표현인자Taste factor 번호number 미각표현인자Taste factor 번호number 미각표현인자Taste factor 1One only 2020 알콜맛의Alcoholic 3939 강한strong 22 written 2121 뜨거운hot 4040 약한weak 33 God 2222 burnt 4141 쫄깃쫄깃한Chewy 44 braided 2323 상쾌한fresh 4242 질긴strong 55 감칠Fill 2424 불쾌한unpleasant 4343 무미한Tasteless 66 떫은Young 2525 기름진fat 4444 텁텁한Stubborn 77 아린scale 2626 싱거운watery 88 쏘는Stinging 2727 은은한Subtle 99 매운spicy 2828 역겨운venomous 1010 금속적인Metallic 2929 바삭바삭한Crunchy 1111 딱딱한solid 3030 고소한Sue 1212 연한light 3131 깔끔한neat 1313 시원한cool 3232 신선한fresh 1414 따듯한Warm 3333 쌉쌀한Bitter 1515 차가운cold 3434 담백한Light 1616 찐득찐득한Steamed 3535 진한thick 1717 아삭아삭한Crunchy 3636 느끼한oily 1818 녹는 듯한Melting 3737 묵은aged 1919 찝찌르한Murky 3838 향긋한aromatic

상기 표 에서 사용된 44개의 형용사 표현 인자를 이용한다면 대부분의 맛을 표현할 수가 있다. Using the 44 adjective expression factors used in the table above, most of the flavors can be expressed.

도 2는 형용사 표현인자를 이용한 미각정보의 표현 및 부호화를 설명하기 위한 구성도이다. 어떤 미각 정보가 들어왔을 때, 수많은 형용사 표현인자 중에서 해당 미각정보가 가지는 표현 인자만을 수용하여 부호화하는 예를 보여주고 있다. 도 2에 도시한 바와 같이 미각정보 표현인자는 디지털 부호화되어 전송 데이타로 전송된다. 미각정보 표현인자에 의한 디지털 부호화는 맛을 감성적인 표현인자로 바꾸어 이를 정수형이나 실수형으로 바꾸는 과정을 의미한다. 전체 표현인자가 대략 40개 존재한다하더라도 어떤 맛이 가지는 표현인자는 실제 몇 개밖에 되지 않기 때문에 전체 부호의 길이는 그리 크지 않다. 부호화는 해당하는 표현인자의 번호와 농도를 정수형 혹은 실수형으로 바꾸어 나타내며, 맨 앞에는 해당하는 표현인자의 수를 나타내주어 전체 부호의 길이를 알 수 있도록 한다. 또한 맨 마지막에는 맛 혹은 이미지의 강도(농도)를 나타내는 부호가 들어가게 된다. 예를 들어, 인자수가 7이면, 부호의 총길이는 2×8=16bit와 인자수를 나타내는 1bit와 전체 농도를 나타내는 1bit를 합하여 18bit의 길이를 가진다.2 is a configuration diagram for describing the expression and encoding of taste information using an adjective expression factor. When some taste information comes in, it shows an example of accepting and encoding only the expression factor of the taste information among numerous adjective expression factors. As shown in FIG. 2, the taste information expression factor is digitally encoded and transmitted as transmission data. Digital encoding by taste information expression factor refers to a process of changing taste into emotional expression factor and converting it into integer type or real number type. Even though there are about 40 expression factors in total, the length of the entire code is not so large because only a few expression factors have a taste. The encoding converts the number and density of the corresponding expression factor into integer type or real number type, and the number of expression factors corresponding to the front part shows the length of the entire code. Also at the end is a sign indicating the intensity or intensity of the image. For example, if the number of arguments is 7, the total length of the code has a length of 18 bits by adding 2x8 = 16 bits, 1 bit indicating the number of factors and 1 bit indicating the total density.

여기서, 인자수가 n이라 할 때, 전체 부호의 길이 m은Here, when the number of arguments is n, the length m of the entire code is

m=2×n+2이 된다. 인자수는 복잡한 맛이나 맛의 느낌이라 하더라도, 실제 많아야 20개 정도를 넘어서지 않을 것이기 때문에 부호의 길이는 별도의 압축 알고리즘을 필요로 하지 않는다. 또, 해당 표현인자만 부호화되기 때문에 압축하는 효과를 포함하고 있다고도 할 수 있다. m = 2 × n + 2. The length of the sign does not require a separate compression algorithm, since the number of arguments may not exceed 20 at most, even if it is a complex taste or taste. In addition, since only the expression factor is encoded, it may be said that the compression effect is included.

도 3에 도시한 바와 같이, 미각정보의 부호화 방법은 해당하는 인자수, 인자번호, 포함소속도, 및 전체 농도를 정수형으로 표현한다.As shown in Fig. 3, the coding method of taste information expresses the corresponding number of factors, the number of factors, the small storage speed, and the total concentration in integer form.

만약, 미각 정보를 유선이나 무선 등을 이용하여 전송하기를 원하면, 도 4에서 나타난 것처럼 MPEG-7이나 MPEG-21을 이용하는 것이 가능하다. 도 4에는 부호화 방법에 의한 MPEG에서의 메타 데이터를 적용하는 것이 제안되었다. 예를 들어, 어떤 영상의 이미지에서 레스토랑에서 두 젊은 연인이 와인의 맛을 느끼고 있다면, 형용사는 "신", "달콤한", "시원한", "신선한" 등이 된다. 그러면 부호화는 3 1 13 32가 된다. 또 어머니가 끊여주시는 된장찌개를 표현하고 싶으면, "담백한", "감칠맛있는", "진한", "짠", "시원한" 등의 형용사로 표현할 수 있다. 단 각 인자에 해당하는 농도라든지 풍미적인 특성을 조절함으로 맛을 구분할 수 있다. 이 된장찌개의 맛을 부호화한다면 34 5 35 4 13이 된다. 수십개에 해당하는 모든 인자를 부호화하는 것이 아니라 해당하는 표현인자만이 부호화됨으로써 실제 부호화의 길이는 그리 크지 않음을 알 수 있다.If it is desired to transmit taste information by wire or wireless, it is possible to use MPEG-7 or MPEG-21 as shown in FIG. In FIG. 4, it is proposed to apply metadata in MPEG by an encoding method. For example, if two young lovers in a restaurant are tasting the wine in an image of an image, the adjectives are "god", "sweet", "cool", and "fresh". The encoding then becomes 3 1 13 32. Also, if you want to express the miso stew that your mother cuts off, you can express it with adjectives such as "light", "savory", "dark", "salt", and "cool". However, the taste can be distinguished by adjusting the concentration and flavor characteristics corresponding to each factor. If you code this taste of Doenjang-jjigae, it would be 34 5 35 4 13. It is understood that the actual encoding length is not so large because only the corresponding expression factors are encoded, not all dozens of factors.

도 5는 어떤 대표 맛들을 2차원 상에 매핑(mapping) 시킨 후 각 클러스터로 표현한 그림이다. 도 5에는 인간이 공통적으로 느끼는 감정에 의해 각각의 클러스터가 형성되었는데, 어떤 사람이 C그룹의 맛에 대하여 보편적인 느낌의 표현인자를 사용하지 않고 개인의 취향에 따른 감정이 표현되었다 하더라도 다른 클러스터에 비해 소속도(membership)가 C에 가깝게 되기 때문에 C군에 속하는 것으로 판단해도 무방할 것이다. 특히, 본 발명에서는 인간 감정의 애매모호성에 대하여도 강인한 클러스터링 능력을 보이는 퍼지 클러스터링 방법(Fuzzy c-means 알고리즘)을 사용함으로써, 인간 감정의 애매모호성을 극복하고 있다.FIG. 5 is a diagram representing certain clusters by mapping certain representative flavors onto two dimensions. In FIG. 5, each cluster is formed by emotions commonly felt by humans. Even though one person expresses emotions according to individual tastes without using expression factors of general feelings about the taste of C group, the other clusters are expressed in other clusters. The membership is closer to C, so it may be judged to belong to the C group. In particular, the present invention overcomes the ambiguity of human emotion by using a fuzzy clustering method (Fuzzy c-means algorithm) that exhibits robust clustering ability against ambiguity of human emotion.

본 발명에서는 PCA(Principal Component Analysis)와 FCMA (Fuzzy c-means 알고리즘)를 이용하여 미각정보를 분류하고 표현한다. PCA와 FCMA를 이용한 미각정보의 클러스터링과 소속도 결정은 다음과 같이 한다. 미각정보를 표현하기 위해서는 먼저 우리 주위에 존재하는 대표적인 맛들을 정의할 필요가 있다. 하지만, 인간이 느끼는 맛의 정의는 민족마다, 지역마다, 개인의 취향에 따라 다를 수 있다는 문제가 존재한다. 하지만, 인간이 공통적으로 느끼는 맛에 대한 정의가 배제되지 않고 정의된다면, 개인에 따라 다르게 느끼는 표현의 정의는 크게 문제되지 않을 수 있다. In the present invention, the taste information is classified and represented using Principal Component Analysis (PCA) and FCMA (Fuzzy c-means algorithm). Determination of clustering and affiliation of taste information using PCA and FCMA is as follows. In order to express taste information, it is necessary to first define representative tastes that exist around us. However, there is a problem that the definition of taste that humans feel may vary according to ethnicity, region, and individual taste. However, if the definition of taste that humans feel in common is defined without being excluded, the definition of expression that feels differently for each individual may not be a big problem.

하지만, 맛의 종류는 수없이 많기 때문에, 대표 맛을 많이 정하게 되는 경우가 생길 수 있다. 특히, 미각의 경우 5원미 이외에 입안에서 느끼는 촉감과 느낌을 표현해야 하기 때문에 수많은 대표 맛이 존재할 수 있다. 이 경우, 이 대표 맛에 대한 센터값을 디코딩하는 곳에서 가지고 있어야 하기 때문에 많은 메모리를 차지하게 된다. 특히, FCMA를 디코딩을 위해 사용할 경우에, 표현인자가 40개라 한다면 40차원 공간에서 대표맛에 대한 센터값을 가져야 하기 때문에 많은 메모리를 차지할 수밖에 없다. 이 문제는 실제 적용에 있어 제약사항으로 존재할 수 있다.However, since there are so many kinds of flavors, a lot of representative flavors may be determined. In particular, in the case of taste, numerous representative flavors may exist because the sense of touch and feeling in the mouth other than the five elements must be expressed. In this case, it takes up a lot of memory because it has to be in the place of decoding the center value for this representative taste. In particular, when FCMA is used for decoding, if there are 40 expression factors, it has to take up a lot of memory because it has to have a center value for the representative taste in the 40-dimensional space. This problem may exist as a constraint in practical applications.

이 문제를 극복하기 위하여, 먼저 부호화된 데이터를 2차원 내지는 3차원 공간으로 매핑시키는 방법인 PCA방법으로 데이터를 압축할 수 있는 방법을 적용한다.In order to overcome this problem, first, a method of compressing data using the PCA method, which is a method of mapping encoded data into a two-dimensional or three-dimensional space, is applied.

즉, 본 발명에서는 PCA방법(Principal component analysis : 주성분 분석법)과 FCM(Fuzzy c-means) 알고리즘이 상관관계를 가지고 시각적 분석과 정량적 분석과의 일치화를 이루게 하는 것을 목적으로 하면서 다차원의 데이터를 2~3차원으로 차원 축소하여 데이터를 압축하고자 한다. 이를 위해, 먼저 PCA 방법을 통해 3차원 고유벡터를 구한 후, 이 고유벡터에 의해 차원이 축소된 데이터를 이용해 3차원으로 FCM 알고리즘을 구현하는 방법을 이용한다. 이를 통해 새로운 데이터가 들어온다 하더라도 시각적으로 표현가능하며, 이 시각적 데이터와 상관관계를 가지는 클러스터의 센터를 통해 새로 입력된 데이터의 각 클러스터 사이의 소속도를 구할 수 있게 된다. That is, in the present invention, the PCA method (Principal component analysis) and the FCM (Fuzzy c-means) algorithm has a correlation between the visual analysis and the quantitative analysis with the purpose of making the multi-dimensional data 2 We want to compress the data by dimming it into ~ 3 dimensions. To this end, we first obtain a three-dimensional eigenvector through the PCA method, and then implement the FCM algorithm in three dimensions using data whose dimensions are reduced by this eigenvector. Through this, even if new data comes in, it can be visually expressed, and through the center of the cluster that correlates with the visual data, the degree of belonging between each cluster of newly input data can be obtained.

도 6은 PCA를 통하여 차원을 축소한 후 각종 대표 맛의 센터값을 구하기 위한 클러스터링 과정을 도시한 구성도이다. 도 6은 각종 대표 맛(60)의 인자표현(62)을 통해 부호화(64)하고, 이를 PCA알고리즘(65)을 통하여 부호화데이터를 2-3차원으로 매핑한 후 FCMA(Fuzzy c-means 알고리즘)를 이용하여 미각정보를 클러스터링(66)하고 대표 맛의 센터값(68)을 구하는 과정을 나타내고 있다. 즉, FCMA를 이용하여 클러스터들의 센터값(68)을 구할 수 있다. 여기서, PCA 알고리즘을 사용함을써, 각 맛에 대한 센터값을 2-3차원으로 줄일 수 있다.6 is a block diagram illustrating a clustering process for obtaining center values of various representative flavors after dimension reduction through PCA. 6 is encoded 64 through the factor representation 62 of the various representative flavors 60, the encoded data is mapped in 2-3 dimensions through the PCA algorithm 65, and then FCMA (Fuzzy c-means algorithm) The process of clustering the taste information 66 and obtaining the center value 68 of the representative taste is shown by using. That is, the center value 68 of clusters can be obtained using FCMA. Here, by using the PCA algorithm, the center value for each taste can be reduced to 2-3 dimensions.

도 7은 부호화된 데이터의 전송과 디코딩 과정의 구성도이다. 도 7에서 어떤 새로운 미각정보 데이타(70)가 들어오면 그 맛의 인자표현(72)을 통해 부호화(74)하여 전송하고, 그 미각정보를 클러스터링(76)하여 대표 맛의 센터값을 구하고 저장된 대표 센터값(78)과 비교하여 그 맛의 클러스터간의 소속도(80)를 구할 수 있기 때문에 그 미각정보가 어떤 클러스터에 소속되어 있는 가를 알아낼 수 있다. 또한, 여러 개의 미각정보 데이터가 혼합되어 있을 경우에도 소속도 해석을 통해 어떤 클러스터와 혼합되어 있는 가도 파악할 수 있는 장점을 가지고 있다. 이 과정을 미각의 디코딩 과정이라 하며, 이에도 역시 PCA알고리즘(75)을 이용하여 전송된 부호화데이터를 2-3차원으로 축소하고 이를 이미 저장된 대표 맛의 2-3차원의 센터값과 비교하여 미각정보의 소속도를 표현한다.7 is a configuration diagram of a process of transmitting and decoding encoded data. In FIG. 7, when new taste information data 70 comes in, it is encoded 74 through the factor expression 72 of the taste and transmitted, clustered 76 of the taste information to obtain the center value of the representative taste, and the stored representative. Compared to the center value 78, the degree of belonging 80 between the clusters of taste can be obtained, so that it is possible to find out which cluster the taste information belongs to. In addition, even when a plurality of taste information data are mixed, it is possible to determine which cluster is mixed through the membership analysis. This process is called the decoding process of taste, and this also reduces the encoded data transmitted using the PCA algorithm 75 to 2-3 dimensions and compares it with the center value of 2-3 dimensions of the representative taste already stored to taste. Express the degree of belonging of information.

이하, 본 발명에 적용되는 PCA(Principal Component Analysis) 알고리즘과 FCMA(Fuzzy c-means 알고리즘)에 대해서 좀더 상세히 설명하기로 한다.Hereinafter, the PCA (Principal Component Analysis) algorithm and FCMA (Fuzzy c-means algorithm) applied to the present invention will be described in more detail.

PCA 방법은 다차원 데이터를 수학식 1과 같이 인간이 가시적으로 확인이 가 능한 2차원이나 3차원의 데이터로 패턴을 매핑 하는 알고리즘이다. The PCA method is an algorithm that maps patterns of multidimensional data into two-dimensional or three-dimensional data that can be visually identified by humans, as shown in Equation (1).

Figure 112004053447674-pat00005
Figure 112004053447674-pat00005

여기서 X는 센서가 받아들인 입력 데이터이다. 이 때 N은 패턴의 수이고 L은 센서의 수이다. 이러한 N×L의 데이터를 이제 수학식 2와 같은 N×D의 데이터 형태로 바꾸게 된다.Where X is the input data received by the sensor. Where N is the number of patterns and L is the number of sensors. This N × L data is now changed to the N × D data form as shown in Equation (2).

Figure 112004053447674-pat00006
Figure 112004053447674-pat00006

여기서 Y는 매핑 데이터이고 D는 원하는 차원의 수이다. 만약 k=1, 2, ..., n이면 수학식 3을 이용해서 각각의 센서에 대한 평균을 구하게 된다.Where Y is mapping data and D is the number of dimensions desired. If k = 1, 2, ..., n, Equation 3 is used to calculate the average for each sensor.

Figure 112004053447674-pat00007
Figure 112004053447674-pat00007

여기서 n은 센서의 수이고 m은 패턴의 수이다. 그 평균 데이터를 가지고 수학식 4를 이용하여 입력에 대한 공분산 행렬(Covariance Matrix)를 구하게 된다. 공분산 행렬 C는 각각의 원소인 Cij가 모든 클래스(classes) 위에 중심점이 되어가도록 하기 위해서 입력 패턴 X에서 평균 벡터

Figure 112004053447674-pat00008
를 빼어감에 따라 계산되어 진다.Where n is the number of sensors and m is the number of patterns. Using the average data, Equation 4 is used to obtain a covariance matrix for the input. The covariance matrix C is the mean vector in the input pattern X so that each element, C ij, is centered over all classes.
Figure 112004053447674-pat00008
Calculated by subtracting

Figure 112004053447674-pat00009
Figure 112004053447674-pat00009

다음에는 k=1, 2, ..., n에 대한 고유치 λk와 고유 벡터 uk를 구한 다음 수학식 5와 같이 정의한다.Next, the eigenvalues λ k and eigenvectors u k for k = 1, 2, ..., n are obtained, and then defined as in Equation 5.

Figure 112004053447674-pat00010
Figure 112004053447674-pat00010

계산된 λk중에서 (만약 3차원 매핑의 경우) 가장 큰 고유치 치 λ1, λ2와 λ3를 선택하고 이와 연관되어 있는 고유 벡터 u1, u 2 u 3 를 주성분으로 해서 다차원 데이터를 원하는 3차원으로 매핑하게 되는 것이다.Select the largest eigenvalues λ 1 , λ 2, and λ 3 from the calculated λ k (if 3-D mapping), and use the eigenvectors u 1 , u 2, and u 3 as the principal components for multidimensional data. Mapping in three dimensions.

보통 3차원으로 매핑하게 되면 어느 정도의 특징을 가지고 있는 경우, 대부분 데이터의 큰손실없이 매핑이 가능하다. In general, mapping in three dimensions allows for mapping without significant loss of data in most cases with some characteristics.

이 PCA 방법을 이용하면 시각적으로 클러스터링 분석이 가능하다. 하지만 새로운 데이터가 취득되었을 경우, 이 새로운 데이터가 어느 클러스터에 가까운가 혹은 어느 클러스터에 소속되어 있는 가를 정량적으로 판단하기 위해서는 별도의 알고리즘이 필요하다. This PCA method allows for clustering analysis visually. However, when new data is acquired, a separate algorithm is required to quantitatively determine which cluster is close to or belongs to which cluster.

이를 위해 본 발명에서는 PCA알고리즘을 이용해 구해진 3차원 고유 벡터를 기준으로 하여 구해진 3차원 데이터들을 FCM(Fuzzy C-Means)알고리즘을 이용하여 클러스터의 센터를 구하고, 구해진 클러스터의 센터를 이용하여 입력된 데이터의 소속도를 구하는 방식을 적용한다. To this end, in the present invention, three-dimensional data obtained based on the three-dimensional eigenvectors obtained using the PCA algorithm are obtained from the center of the cluster using the FCM algorithm, and the data inputted using the obtained center of the cluster. Apply the method of obtaining membership of.

기본적으로 FCM 알고리즘은 비지도 학습(Unsupervise learning) 이기는 하지만, 만약 맛에 대한 표준 데이터를 미리 정의하여 놓았다면 같은 데이터에 대해서는 같은 클러스터로 결정될 수 있기 때문에 지도학습(Supervised learning)의 형태로 사용하는 것이 가능하다.Basically, FCM algorithm is unsupervise learning, but if standard data about taste is defined in advance, it can be decided as same cluster for same data. It is possible.

별도의 k-means 알고리즘이나 FCM 알고리즘을 이용하여 정량화된 표현을 하는 것은 PCA 방법에서의 차원과 FCM 알고리즘의 차원이 다르기 때문에 시각적으로 분석된 데이터와 FCM 알고리즘에 의해 구해진 데이터와는 별도의 상관관계를 가지게 된다. 이렇게 PCA의 결과를 이용한 FCM의 사용은 PCA에 의해 표현가능한 시각적 데이터와 상관관계를 가지는 클러스터의 센터를 통해 새로 입력된 데이터의 각 클러스터 사이의 소속도를 구할 수 있게 된다. Quantifying the expression using a separate k-means algorithm or FCM algorithm has a different correlation between the visually analyzed data and the data obtained by the FCM algorithm because the dimensions of the PCA method are different from those of the FCM algorithm. Have. The use of the FCM using the results of the PCA enables to obtain the degree of belonging between each cluster of newly input data through the center of the cluster that correlates with the visual data represented by the PCA.

정량적 분석을 하기위한 FCM 알고리즘은 PCA 과정으로 매핑된 데이터를 입력벡터로 하어 Yi의 요소인 y를 벡터로 표시하면The FCM algorithm for quantitative analysis uses data mapped by the PCA process as an input vector and displays y, a component of Y i , as a vector.

Figure 112004053447674-pat00011
Figure 112004053447674-pat00011

여기서 n은 입력패턴수이고 PCA를 통해 3차원으로 줄인 행렬을 나타내고 있다. 다시 입력패턴으로만 표시하면 다음 수학식 7-1과 같고Where n is the number of input patterns and represents a matrix reduced in three dimensions by PCA. If it is displayed again as an input pattern, it is as shown in Equation 7-1.

[수학식 7-1]Equation 7-1

Figure 112004053447674-pat00012
Figure 112004053447674-pat00012

입력패턴 집합에 대한 클러스터의 중심은 다음의 수학식 7-2와 같이 나타낸다.The center of the cluster for the input pattern set is represented by Equation 7-2 below.

[수학식 7-2][Equation 7-2]

Figure 112004053447674-pat00013
Figure 112004053447674-pat00013

여기서 c는 클러스터 중심의 갯수이고 Yi의 i는 입력 패턴수 그리고 Zj의 j는 클러스터의 수이다. 따라서 i번째 패턴과 j번째 클러스터의 중심의 소속도 Wij 는 다음과 같이 나타낸다.Where c is the number of cluster centers, i of i is the number of input patterns, and j of j is the number of clusters. Therefore, the membership degree W ij of the center of the i-th pattern and the j-th cluster is expressed as follows.

Figure 112004053447674-pat00014
Figure 112004053447674-pat00014

Figure 112004053447674-pat00015
Figure 112004053447674-pat00015

Figure 112004053447674-pat00016
Figure 112004053447674-pat00016

위에서 각각의 패턴들은 서로 다른 소속도와 클러스터를 가질 수 있다. 그리 고 수학식 9와 수학식 10에서와 같이 하나의 패턴에 대한 소속도의 총합은 1로 정규화되고, 각각의 패턴 소속도는 목적함수 Jm 이 최소가 되는 클러스터의 패턴을 찾는다.Each of the above patterns may have different membership and clusters. And, as shown in Equations 9 and 10, the sum of the degree of belonging to one pattern is normalized to 1, and each pattern belonging degree finds the pattern of the cluster having the minimum objective function J m .

Figure 112004053447674-pat00017
Figure 112004053447674-pat00017

Figure 112004053447674-pat00018
Figure 112004053447674-pat00018

목적함수 Jm에서 dij는 입력패턴과 클러스터 중심 사이의 유클리드 거리(Euclidean distance)이다. 이것은 각각의 패턴에 대한 유사성을 측정한다. 여기서 m은 소속 가중치 지수(membership weighting exponent)이고 이 값의 선택에 대한 이론적이고 정당화된 법칙이 존재하지 않기 때문에 일반적으로 m 〓 2로 선택한다.D ij in the objective function J m is the Euclidean distance between the input pattern and the center of the cluster. This measures the similarity for each pattern. Where m is a membership weighting exponent and m 〓 2 is usually chosen because there is no theoretical and justified rule for choosing this value.

Bezdek가 제안한 FCM 알고리즘의 목적함수의 해를 구하는 방법은 다음과 같다. The solution of the objective function of the FCM algorithm proposed by Bezdek is as follows.

Figure 112004053447674-pat00019
Figure 112004053447674-pat00019

Figure 112004053447674-pat00020
Figure 112004053447674-pat00020

Figure 112004053447674-pat00021
Figure 112004053447674-pat00021

Figure 112004053447674-pat00022
Figure 112004053447674-pat00022

FCMA는 수학식 12와 수학식 13에 의해 분석적으로 해결되지 않고 수학식 13의 목적함수의 최소값을 근사화시키는 반복적인 알고리즘이다. 따라서 수학식 12와 수학식 13의 학습으로 최적의 값으로 수렴된다.FCMA is an iterative algorithm that approximates the minimum value of the objective function of Equation 13 without being solved analytically by Equations 12 and 13. Therefore, the learning values of equations 12 and 13 converge to optimal values.

이 알고리즘은 비지도 패턴인식 기술(unsupervised pattern recognition technique)이기 때문에 그에 맞는 학습 절차가 필요하다. 이 학습절차는 입력패턴의 클러스터 센터에 대한 소속도를 가져오고 클러스터 센터에 대한 각각의 입력패턴의 거리를 소속도로 나타낸다.Since this algorithm is an unsupervised pattern recognition technique, a corresponding learning procedure is required. This learning procedure brings the degree of belonging to the cluster center of the input pattern and indicates the distance of each input pattern to the cluster center.

학습을 위한 FCM 알고리즘 절차를 단계별로 정리하면 다음과 같다.The process of FCM algorithm for learning is summarized as follows.

1. 수학식 12를 통해 초기 소속함수 Z(0) 결정 및 클러스터 j와 패턴 i의 소속도 Wij 의 계산1. Determination of initial membership function Z (0) and calculation of membership degree W ij of cluster j and pattern i through Equation 12

2. 클러스터 중심 Z(k+1)의 계산2. Calculation of cluster center Z (k + 1)

3. ∥Z(k)-Z(k+1)∥의 계산3. Calculation of Z (k) -Z (k + 1) ∥

만약 ∥Z(k)-Z(k+1)∥>ε 면 k=k+1로 하고 다시 처음으로 돌아가고, 그렇지 않다면 알고리즘을 종료한다.If ∥Z (k) -Z (k + 1) ∥ε = k = k + 1, go back to the beginning, otherwise terminate the algorithm.

이러한 PCA과정을 통해 차원을 줄인 결과를 다시 FCM 알고리즘을 통한 클러스터링을 함으로써 기존 데이터에 대한 새로운 데이터의 소속감, 시각적인 효과 그리고 정량적인 결과값을 동시에 얻을 수 있었다.Through the PCA process, the dimension reduction results were clustered again using the FCM algorithm to obtain a sense of belonging, visual effects, and quantitative results of new data.

이러한 과정을 통해 미리 얻어진 표준 패턴들에 대한 클러스터의 중심과 각 표준 패턴들의 클러스터 소속도를 구할 수 있다. 여기서 구해진 클러스터 중심들은 미리 컴퓨터에 저장되어 미지의 샘플이 입력되었을 경우에 미지의 샘플에 대한 소속도를 구하기 위해 사용된다.Through this process, the center of the cluster with respect to the standard patterns obtained in advance and the cluster membership of each standard pattern can be obtained. The cluster centers obtained here are stored in the computer in advance and used to calculate the degree of belonging to an unknown sample when an unknown sample is input.

여기서 S는 미지의 샘플 벡터이며 j = 1, 2, … , c이며 표준 패턴의 중심과 샘플 패턴과의 소속도는 다음 수학식 15에 의해서 구할 수 있다. Where S is an unknown sample vector and j = 1, 2,... , c and the degree of belonging between the center of the standard pattern and the sample pattern can be obtained by the following equation (15).

Figure 112004053447674-pat00024
Figure 112004053447674-pat00024

수학식 15에서 Vj는 j번째 클러스터에 대한 샘플 벡터의 소속도를 나타낸다.In Equation 15, V j represents a degree of belonging of the sample vector to the j th cluster.

상술한 바와 같이, 본 발명의 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후 먼저 PCA에 의해 차원을 축소하고 FCMA에 의한 대표맛에 의거하여 입력부호화정보를 복원하는 방법은 대표 맛을 기억하기 위한 메모리의 용량을 줄일 수 있다.As described above, after encoding the expression factor for the taste feeling of taste information or video image of the present invention, first, the dimension is reduced by PCA and the input encoding information is restored based on the representative taste by FCMA. It is possible to reduce the amount of memory to store the representative taste.

상술한 바와 같이 본 발명의 시각 및 청각에 의한 비디오나 오디오 데이터의 경우에서와 같이, 미각정보나 영상 이미지가 가지는 맛의 느낌에 대한 표현인자를 부호화한 후 먼저 PCA에 의해 차원을 축소하고 FCMA에 의한 대표맛에 의거하여 입력부호화정보를 복원하는 방법은 메모리를 많이 차지하지 않고도 미각정보를 복원할 수 있다. 그러나, 본 발명에 제시된 표현인자의 표현방법은 이에 한정되는 것은 아니고 다양한 변형예가 있을 수 있음은 당업자에게 명백하므로 각 변형예에 대해서는 설명을 생략하기로 한다. 본 발명에서는 미각정보를 센싱하는 부분에 대해서는 상세히 설명하지는 않았지만, 본 발명의 미각정보 처리 기술이 미각정보를 센 싱하는 센서에 연결되면 디지털적으로 미각정보를 처리할 수 있게 되어, 원격으로 미각정보를 판단할 수 있는 효과가 있다.As described above, as in the case of video and audio data by visual and auditory sound according to the present invention, after encoding the expression factor for the taste feeling of taste information or video image, the dimension is first reduced by PCA and The method of restoring the input encoding information based on the representative taste can restore the taste information without using much memory. However, the method of expressing the expression factors presented in the present invention is not limited thereto, and it will be apparent to those skilled in the art that various modifications may be made, and thus the description of each modification will be omitted. In the present invention, the part of sensing the taste information is not described in detail, but when the taste information processing technology of the present invention is connected to a sensor that senses the taste information, the taste information can be processed digitally, and the taste information is remotely obtained. There is an effect that can determine.

Claims (4)

미각정보나 영상 이미지가 가지는 맛의 느낌을 디지털 복호화하는 방법에 있어서,In the method of digitally decoding the taste of taste information or video image, 대표 맛의 인자표현에 따라 부호화를 수행하고 클러스터링에 의하여 대표 맛의 센터값을 구하여 저장하는 단계;Performing encoding according to the factor expression of the representative flavor, and obtaining and storing the center value of the representative flavor by clustering; 부호화되어 전송 입력되는 미각정보를 받아, 주성분분석법에 의하여 인간이 가시적으로 확인이 가능한 차원축소된 데이터로 데이터의 패턴을 차원 축소 매핑하는 단계; 및Receiving the taste information that is encoded and transmitted and mapping the pattern of data to dimensionally reduced data that can be visually confirmed by a human by principal component analysis; And 차원이 축소된 부호화 미각정보를 클러스터링하여 대표 맛의 센터값을 구하고, 저장된 대표 맛의 센터값과 비교하여 입력된 미각정보의 대표 맛의 센터값에 대한 소속도를 구하여 입력되는 미각정보의 맛을 판단하는 단계를 포함하며, 상기 미각정보의 부호화는 The center value of the representative taste is obtained by clustering the coded taste information of which the dimension is reduced, and compared to the center value of the stored representative taste to obtain the degree of belonging to the center value of the representative taste of the input taste information. And determining the encoding of the taste information. 인간이 맛을 느끼고 말하는 다양한 형태의 언어표현을 미각표현인자로 분류하는 단계;Classifying various forms of language expression as taste expression factors that humans taste and speak; 상기 분류된 미각표현인자에 코드를 대응시키는 단계;Mapping a code to the classified taste factor; 하나의 미각을 표현하는 하나 이상의 미각표현인자의 코드와 농도 또는 소속도를 정수형 또는 실수형으로 표현하는 단계를 포함하는 디지털 복호화방법.A digital decoding method comprising the step of expressing the code and the concentration or the degree of belonging of one or more taste factors representing one taste in an integer or real form. 삭제delete 제1항에 있어서, 상기 클러스터링은 FCMA(Fuzzy c-means algorithm)을 이용하여 수행되며, 아래의 수학식들에 의하여The method of claim 1, wherein the clustering is performed using a fuzzy c-means algorithm (FCMA),
Figure 112006040016450-pat00025
Figure 112006040016450-pat00025
Figure 112006040016450-pat00026
Figure 112006040016450-pat00026
Figure 112006040016450-pat00027
...수학식 12
Figure 112006040016450-pat00027
... Equation 12
Figure 112006040016450-pat00028
...수학식 13
Figure 112006040016450-pat00028
... Equation 13
a) 수학식 12에 의해 초기 소속함수 Z(0) 결정 및 클러스터 j와 패턴 i의 소속도 Wij 을 계산하고a) Determining the initial membership function Z (0) and calculating the membership degree W ij of the cluster j and the pattern i by using Equation 12 b) 수학식 13에 의해 클러스터 중심 Z(k+1)을 계산하고b) calculate the cluster center Z (k + 1) by c) ∥Z(k)-Z(k+1)∥의 계산하고,c) ∥ Z (k) -Z (k + 1) ∥ 만약 ∥Z(k)-Z(k+1)∥>ε 면 k=k+1로 하고 다시 처음으로 돌아가고, 그렇지 않다면 알고리즘을 종료하여 클러스터 소속도를 구함을 특징으로 하는 미각정보 디지털 복호화방법.If ∥Z (k) -Z (k + 1) ∥> ε, then go back to the beginning and return to the beginning, otherwise terminate the algorithm to obtain cluster membership.
제1항 또는 제3항에 있어서, 실제 부호화된 미각정보를 전송하는 경우, MPEG-7이나 MPEG-21에 의해 영상압축된 영상데이터 뒤에 미각표현인자의 부호화 데이터를 메타데이터로 배열하여 전송함을 특징으로 하는 미각정보 디지털 복호화방법.[4] The method of claim 1 or 3, wherein when the actual encoded taste information is transmitted, encoded data of a taste expression factor is arranged as metadata after the image data compressed by MPEG-7 or MPEG-21. Digital information decoding method of taste information.
KR1020040094275A 2004-11-17 2004-11-17 Method of decoding encoded information of taste information or feeling of taste transferred from video image KR100665352B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040094275A KR100665352B1 (en) 2004-11-17 2004-11-17 Method of decoding encoded information of taste information or feeling of taste transferred from video image
PCT/KR2004/003481 WO2006064993A1 (en) 2004-11-17 2004-12-28 Method of representing taste/smell information or feeling of taste/smell transferred from video image, encoding method thereof, and decoding method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040094275A KR100665352B1 (en) 2004-11-17 2004-11-17 Method of decoding encoded information of taste information or feeling of taste transferred from video image

Publications (2)

Publication Number Publication Date
KR20060054985A KR20060054985A (en) 2006-05-23
KR100665352B1 true KR100665352B1 (en) 2007-01-04

Family

ID=37151227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040094275A KR100665352B1 (en) 2004-11-17 2004-11-17 Method of decoding encoded information of taste information or feeling of taste transferred from video image

Country Status (1)

Country Link
KR (1) KR100665352B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357621B1 (en) * 2011-07-07 2014-02-05 전북대학교산학협력단 A method for transforming an adjective into digital data

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912728B1 (en) * 2007-10-30 2009-08-19 한국식품연구원 Method of quality evaluation for raspberry wines using fuzzy-reasoning
KR102608981B1 (en) * 2018-10-24 2023-12-01 한국전자통신연구원 System and method for visualizing scent

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357621B1 (en) * 2011-07-07 2014-02-05 전북대학교산학협력단 A method for transforming an adjective into digital data

Also Published As

Publication number Publication date
KR20060054985A (en) 2006-05-23

Similar Documents

Publication Publication Date Title
Angulu et al. Age estimation via face images: a survey
US11257266B2 (en) Intelligent augmented reality (IAR) platform-based communication system via servers
Cheng et al. Structure-preserving neural style transfer
Andreu et al. Wize Mirror-a smart, multisensory cardio-metabolic risk monitoring system
CN103404138B (en) Video coding and decoding devices and methods preserving PPG relevant information
CN111539331B (en) Visual image reconstruction system based on brain-computer interface
CN105118082A (en) Personalized video generation method and system
CN113782190B (en) Image processing method based on multistage space-time characteristics and mixed attention network
US20090175521A1 (en) Method and System for Creating and Embedding Information in Digital Representations of a Subject
Sajid et al. Facial Asymmetry‐Based Age Group Estimation: Role in Recognizing Age‐Separated Face Images
KR100665352B1 (en) Method of decoding encoded information of taste information or feeling of taste transferred from video image
Chandaliya et al. Conditional perceptual adversarial variational autoencoder for age progression and regression on child face
JP2003290179A (en) Sensation sensitivity evaluation system
WO2006064993A9 (en) Method of representing taste/smell information or feeling of taste/smell transferred from video image, encoding method thereof, and decoding method thereof
CN116312971B (en) Cognitive training material generation method, cognitive training method, device and medium
KR20060054984A (en) Method of representing taste information or feeling of taste transferred from video image, encoding method thereof, and decoding method thereof
KR100665353B1 (en) Method of decoding encoded information of smell information or feeling of smell transferred from video image
Black Jr et al. Indexing natural images for retrieval based on kansei factors
Dickinson et al. Geons
JP2002329188A (en) Data analyzer
Liu et al. Assessing Face Image Quality: A Large-scale Database and a Transformer Method
Salih et al. Eye Blinking for Command Generation Based on Deep Learning
Ahmed et al. Age estimation using facial images: A survey of the state-of-the-art
CN117033688B (en) Character image scene generation system based on AI interaction
Basu et al. Application of Pattern Recognition in Taste Perception for Healthcare: An Exploratory Study

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121022

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee