KR20200103929A - Smart wearable device, method and system for recognizing 3 dimensional face and space information using this - Google Patents
Smart wearable device, method and system for recognizing 3 dimensional face and space information using this Download PDFInfo
- Publication number
- KR20200103929A KR20200103929A KR1020190022057A KR20190022057A KR20200103929A KR 20200103929 A KR20200103929 A KR 20200103929A KR 1020190022057 A KR1020190022057 A KR 1020190022057A KR 20190022057 A KR20190022057 A KR 20190022057A KR 20200103929 A KR20200103929 A KR 20200103929A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- face
- wearable device
- image
- spatial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 31
- 239000011521 glass Substances 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 1
- 210000000056 organ Anatomy 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G06K9/00201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G06K9/00221—
-
- G06K9/4652—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 스마트 웨어러블 디바이스, 이를 사용한 정보 인식 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 안경 타입의 웨어러블 디바이스상에 구비되는 카메라를 통해 3차원으로 얼굴을 감지하고 공간 정보를 수집하여 해당 얼굴 및 공간 정보를 사용자의 청각 기관을 통해 용이하게 확인 가능하도록 하기 위한 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템에 관한 것이다.The present invention relates to a smart wearable device, an information recognition method and system using the same. More specifically, a face is detected in three dimensions through a camera provided on a glasses-type wearable device, and spatial information is collected to provide the corresponding face and space. The present invention relates to a smart wearable device for easily checking information through a user's auditory organ, and a method and system for recognizing 3D face and spatial information using the same.
최근 스마트 폰이나 태블릿 컴퓨터 등과 같은 휴대용 전자 기기의 광범위한 보급과 더불어 스마트 밴드, 스마트 와치, 스마트 글래스 등과 같은 웨어러블 전자 기기의 보급도 점차 확산되고 있다.Recently, in addition to the widespread spread of portable electronic devices such as smart phones and tablet computers, the spread of wearable electronic devices such as smart bands, smart watches, and smart glasses is gradually spreading.
웨어러블 전자 기기란, 일반적으로 팔찌, 시계, 안경 등과 같이 신체의 일부분에 착용할 수 있는 형태로 된 전자 기기를 뜻한다. 또한, 네트워크 연결이 가능하여 상호 데이터의 송수신이 가능한 전자 기기이다.A wearable electronic device generally refers to an electronic device that can be worn on a part of the body such as a bracelet, a watch, or glasses. In addition, it is an electronic device capable of transmitting and receiving data to each other through a network connection.
이러한 웨어러블 전자 기기는 인간의 신체의 일부분에 착용되어, 삶의 질을 향상하기 위해 사용되는 특성을 가지고 있는데, 이는 액세서리처럼 전자 기기를 몸에 단순히 착용만 하는 것이 아니라, 웨어러블 전자 기기 착용자와 가장 가까운 위치에서 소통할 수 있는 전자 기기이다.These wearable electronic devices are worn on a part of the human body and are used to improve the quality of life. This is not just wearing an electronic device like an accessory, but the closest to the wearable electronic device wearer. It is an electronic device that can communicate at a location.
웨어러블 전자 기기의 장점은 주변 환경의 상세한 정보나 착용자의 신체 변화를 실시간으로 끊이지 않고 지속적으로 수집할 수 있다는 것이다. 예를 들어, 스마트 글래스의 경우 시선 상에 있는 주변 정보의 기록 또는 확인이 가능하며, 스마트 밴드는 체온, 심장박동과 같은 생체신호의 꾸준한 수집이 가능하다.The advantage of wearable electronic devices is that they can continuously collect detailed information about the surrounding environment or changes in the wearer's body in real time. For example, in the case of smart glasses, it is possible to record or check surrounding information on the line of sight, and the smart band enables steady collection of biological signals such as body temperature and heartbeat.
특히, 안경 형태의 스마트 웨어러블 디바이스는 부착된 카메라나 센서 작동 시점이 사용자 시선과 거의 동일하다는 것이 가장 큰 특징으로, 사용자 시선에 집중되는 정보를 인식하고 취합하는 기능이야말로 안경 형태 스마트 디바이스의 운영과 사용성에 가장 핵심적인 부분이라고 할 수 있다.In particular, glasses-type smart wearable devices are characterized by the fact that the attached camera or sensor operation point is almost the same as the user's gaze, and the function of recognizing and collecting information focused on the user's gaze is the operation and usability of the glasses-type smart device. It can be said to be the most essential part.
기존 안경 형태의 웨어러블 디바이스는 스마트폰의 기능을 안경으로 옮기는 데만 급급해서 필수적인 정보 인식 기능이 결여되어 있는데, 여기에 장치된 카메라는 사용자가 보는 장면을 비디오나 스냅샷으로 기록하는 수단에 불과하기 때문에 아직까지는 이러한 기기를 통해 시야에 인식되는 사람이 누군지 구분할 수 없을 뿐만 아니라 만나는 인물과 연결된 중요 정보 또한 안내 받을 수도 없다. Existing glasses-type wearable devices lack the essential information recognition function because they are only urgently transferring the function of a smartphone to glasses. The camera installed here is only a means of recording the scenes the user sees as a video or snapshot. Until now, it is not possible to distinguish who the person is recognized in the field of view through such a device, and important information related to the person being met cannot be received.
또한, 사람이 실외나 건물 실내에 있을 경우, 사용자 시선과 일치하도록 카메라가 디바이스에 장착되었을지라도 지형이나 물체를 정확하게 파악하기는 어려운 이유로 현재 위치에 대한 판단은 사용자의 시선에 전적으로 의존할 수 밖에 없는 문제점이 있다.In addition, when a person is outdoors or inside a building, it is difficult to accurately grasp the terrain or object even if the camera is mounted on the device to match the user's gaze. Therefore, the determination of the current location can only depend entirely on the user's gaze. There is a problem.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 안경 타입의 웨어러블 디바이스상에 구비되는 카메라를 통해 3차원으로 얼굴을 감지하고 공간 정보를 수집하여 해당 얼굴 및 공간 정보를 사용자의 청각 기관을 통해 용이하게 확인 가능하도록 하기 위한 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템을 제공하는데 그 목적이 있다.The present invention has been devised to solve the problems of the prior art, and detects a face in three dimensions through a camera provided on a glasses-type wearable device, collects spatial information, and transmits the corresponding face and spatial information to the user's hearing. An object of the present invention is to provide a smart wearable device to enable easy identification through an institution, and a method and system for recognizing 3D face and spatial information using the same.
상기 목적을 달성하기 위하여, 본 발명은, 안경 본체와; 착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와; 상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와; 상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와; 상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과; 전원공급을 위한 배터리부와; 스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention, the glasses body and; Stereo cameras provided on both sides of the spectacle body to photograph an image in the same direction as the wearer's gaze; A main board for dividing and converting image information captured by the stereo camera into 3D data consisting of a face and a spatial structure; A communication unit for transmitting the 3D data converted by the main board to the outside or for receiving comparison information with the 3D data transmitted from the outside so that the main board can process it; A bone conduction unit for guiding at least one or more of the 3D data and comparison information by voice; A battery unit for supplying power; And a touch control sensor for controlling at least one of a stereo camera, a main board, a communication unit, a bone conduction unit, and a battery unit by a touch method.
여기서, 상기 메인보드 및 통신부는 안경 본체의 양측 다리 중 일측에 설치되고 배터리부는 타측에 설치되며, 상기 골전도 유닛은 안경 본체의 귀걸이 부분에 설치되고, 상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 특징으로 한다.Here, the main board and the communication unit are installed on one side of both legs of the glasses body, the battery unit is installed on the other side, the bone conduction unit is installed on the earring portion of the glasses body, and the touch control sensor is among the legs of both sides of the glasses body. It characterized in that it is provided on any one outer surface.
또는, 상기 메인보드 및 통신부는 안경 본체의 안경 렌즈 상측에 설치되고, 상기 골전도 유닛 및 배터리부는 안경 본체의 귀걸이 부분에 설치되고, 상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 특징으로 한다.Alternatively, the main board and the communication unit are installed on the upper side of the spectacle lens of the spectacle body, the bone conduction unit and the battery unit are installed on the earring portion of the spectacle body, and the touch control sensor is integrated from at least one of both legs of the spectacle body. It characterized in that it is installed to extend to.
또한, 상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛을 더 포함하고, 상기 스테레오 카메라가 촬영한 영상 정보로부터 문자를 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하도록 하며, 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나 이상을 2차원 바코드 형식으로 코드화한 정보 표시자를 상기 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 것을 특징으로 한다.In addition, the vibration unit further comprises a vibration unit for notifying a dangerous situation by vibration based on the 3D data or comparison information, and recognizes a character from the image information photographed by the stereo camera, and the main board is voiced through the bone conduction unit. Output is possible, and the bone conduction unit recognizes an information indicator that codes at least one of indoor or outdoor GPS information, spatial information, and object information in a two-dimensional barcode format through the stereo camera, and outputs the corresponding information as a voice. Characterized in that.
추가적으로, 눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위한 시선 추적 유닛을 구비하여, 상기 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하며, 시간, GPS, 가속도, 각속도, 고도 및 자외선 중 적어도 어느 하나 이상을 측정하기 위한 환경 감지 유닛을 더 구비하는 것을 특징으로 한다.In addition, a gaze tracking unit is provided to track the movement of the eye to identify an object present in the gaze, and a three-dimensional structure consisting of a face and a spatial structure by matching an object identified by the gaze tracking unit from the image information captured by the stereo camera It is characterized in that it further comprises an environment sensing unit for dividing and converting data into data, and measuring at least one or more of time, GPS, acceleration, angular velocity, altitude, and ultraviolet rays.
한편으로, 본 발명은, 안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와; 일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와; 양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와; 특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와; 노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와; 노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와; 2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.On the one hand, the present invention, the step of continuously checking whether a face is captured by a stereo camera provided in the body of the glasses; When a face within a certain distance is captured, both stereo cameras photograph the face as a high-resolution image; Generating a pair of face images by removing the remaining portions other than the face portions from each of the high-resolution images captured by both stereo cameras and aligning the twists so that the faces are positioned in front; Normalizing a pair of face images from the lightest color to the darkest color based on a specific color; Extracting a disparity image from a difference between Z values of the normalized pair of face images; Extracting facial features from two-dimensional data having XY values from the normalized pair of face images; And generating a 3D face image by giving a Z value to the facial feature extracted as 2D data through a disparity image.
여기서, 3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 한다.Here, the bone conduction module outputs the face comparison information obtained by comparing the 3D face image and the face information stored in advance in the face information DB as voice, and storing a new 3D face image in the face information DB. To do.
또한, 양측의 스테레오 카메라가 촬영한 각각의 공간 이미지를 특정 색상을 기준으로 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와; 노멀라이즈된 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와; 노멀라이즈된 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와; 추출된 디스패리티 이미지와 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.Further, the step of normalizing each spatial image captured by the stereo cameras on both sides from the lightest color to the darkest color based on a specific color; Extracting a disparity image capable of calculating a Z value through a difference between normalized spatial images; Extracting an edge and a surface in two dimensions of an XY value through a color difference from the normalized spatial image; And generating a 3D spatial image by giving a Z value to the extracted disparity image and the 2D edge and surface through the disparity image.
여기서, 공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 한다.Here, the bone conduction module outputs the spatial comparison information obtained by comparing a 3D spatial image with at least one of indoor or outdoor GPS information, spatial information, and object information previously stored in the spatial information DB, and outputs a new 3D spatial image. And storing location information in the spatial information DB.
또 한편으로, 본 발명은, 상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와; 상기 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버;를 포함하는 것을 특징으로 한다.On the other hand, the present invention, a portable terminal capable of short-range wireless communication with the smart wearable device; And a processing server for receiving 3D data through the portable terminal, generating comparison information, and transmitting it to a smart wearable device.
이상과 같은 본 발명에 따른 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템은 안경 형태의 디바이스를 통해 얼굴 및 공간 정보를 착용자가 청각적으로 용이하게 인식하도록 구현함에 따라, 별도의 장비를 휴대할 필요 없이 두 손 이용이 자유로운 환경에서 사용자의 시선과 동일한 시점으로 데이터 수집이 가능할 뿐 아니라 골전도 스피커를 통해 신호음 또는 음성신호로 변환된 정보를 사용자에게 실시간 전달하는 것이 가능하다.The smart wearable device according to the present invention as described above, and the method and system for recognizing 3D face and spatial information using the same, are implemented so that the wearer can audibly easily recognize face and spatial information through a device in the form of glasses. It is possible to collect data at the same point of view as the user's gaze in an environment where the use of both hands is free without the need to carry equipment, and it is possible to deliver information converted into a beep or audio signal to the user in real time through a bone conduction speaker.
또한, 두 개의 카메라를 통해 수집한 3차원 정보에 더하여, 부가적으로 시간, GPS, 고도, 자외선, 가속도, 각속도 등의 데이터 등을 인식할 수 있도록 함으로써, 사용자의 일상생활에 편의를 주는 각종 환경 정보들을 보다 입체적으로 제공하여 사용자의 스케줄 및 대인관계 정보를 조직화하고 관리하는데 편의성을 제공할 수 있다.In addition, in addition to the 3D information collected through the two cameras, various environments that provide convenience to the daily life of users by allowing additional data such as time, GPS, altitude, ultraviolet rays, acceleration, and angular velocity to be recognized. By providing information in a more three-dimensional way, it is possible to provide convenience in organizing and managing user's schedule and interpersonal relationship information.
추가적으로, 인식된 공간정보를 각종 재난과 응급상황에서 대피 및 구조에 필요한 핵심정보로 활용할 수 있으며, 시각 장애인의 안전한 보행을 보조하는데 활용되거나, 치매노인, 유아, 애완동물 등의 소재 파악을 위해서도 활용될 수 있다.In addition, the recognized spatial information can be used as key information necessary for evacuation and rescue in various disasters and emergencies, and is used to assist the safe walking of the visually impaired, or to identify the location of dementia elderly, infants, pets, etc. Can be.
도 1은 본 발명에 따른 스마트 웨어러블 디바이스의 구성요소를 도시한 블록도.
도 2는 본 발명에 따른 스마트 웨어러블 디바이스 구조의 일 실시예를 도시한 도면.
도 3은 본 발명에 따른 스마트 웨어러블 디바이스 구조의 다른 실시예를 도시한 도면.
도 4는 본 발명에서의 3차원 얼굴 인식 프로세스의 일례를 도시한 순서도.
도 5는 본 발명에서의 3차원 공간 정보 인식 프로세스의 일례를 도시한 순서도.
도 6은 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템을 개략적으로 도시한 도면.1 is a block diagram showing components of a smart wearable device according to the present invention.
2 is a diagram showing an embodiment of a structure of a smart wearable device according to the present invention.
3 is a diagram showing another embodiment of the structure of a smart wearable device according to the present invention.
4 is a flow chart showing an example of a three-dimensional face recognition process in the present invention.
5 is a flow chart showing an example of a process for recognizing 3D spatial information in the present invention.
6 is a schematic diagram showing a 3D face and spatial information recognition system using a smart wearable device according to the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Accordingly, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, so that they can be replaced at the time of application It should be understood that there may be various equivalents and variations.
이하, 도면을 참조로 하여 본 발명에 따른 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템을 설명하기로 한다.Hereinafter, a smart wearable device according to the present invention, and a method and system for recognizing 3D face and spatial information using the same will be described with reference to the drawings.
도 1은 본 발명에 따른 스마트 웨어러블 디바이스의 구성요소를 도시한 블록도이다.1 is a block diagram showing the components of a smart wearable device according to the present invention.
본 발명의 스마트 웨어러블 디바이스는 기본적으로 안경 본체와, 스테레오 카메라와, 메인보드와, 통신부와, 골전도 유닛과, 배터리부와, 터치 콘트롤 센서를 포함하여 구성된다.The smart wearable device of the present invention basically includes a glasses body, a stereo camera, a main board, a communication unit, a bone conduction unit, a battery unit, and a touch control sensor.
보다 구체적으로, 본 발명에 따른 스마트 웨어러블 디바이스는 안경 본체와, 착용자의 시선과 동일한 방향의 영상을 촬영하도록 안경 본체 양측에 구비되는 스테레오 카메라와, 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와, 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와, 3차원 데이터, 비교 정보 등을 음성으로 안내하기 위한 골전도 유닛과, 각 전기적 구성요소에 전원을 공급하기 위한 배터리부와, 스테레오 카메라, 메인보드, 통신부, 골전도 유닛, 배터리부 등을 터치 방식으로 제어하기 위한 터치 콘트롤 센서를 포함하여 이루어진다.More specifically, the smart wearable device according to the present invention includes a body of glasses, a stereo camera provided on both sides of the body of the glasses to capture an image in the same direction as the wearer's line of sight, and image information captured by the stereo camera into a face and spatial structure. A main board that divides and converts the three-dimensional data, and a communication unit that transmits the three-dimensional data converted by the main board to the outside or receives comparison information with the three-dimensional data transmitted from the outside so that the main board can process it; Bone conduction unit for guiding 3D data and comparison information by voice, battery part for supplying power to each electrical component, stereo camera, main board, communication part, bone conduction unit, battery part, etc. It comprises a touch control sensor for controlling.
아래에서는 본 발명의 스마트 웨어러블 디바이스 구조를 실시예를 통해 살펴보기로 한다.Hereinafter, the structure of the smart wearable device of the present invention will be described through examples.
도 2는 본 발명에 따른 스마트 웨어러블 디바이스 구조의 일 실시예를 도시한 도면이다.2 is a diagram showing an embodiment of a structure of a smart wearable device according to the present invention.
일 실시예는 상기 메인보드 및 통신부가 안경 본체의 양측 다리 중 일측에 설치되고 배터리부가 타측에 설치되며, 골전도 유닛이 안경 본체의 귀걸이 부분에 설치되고, 터치 콘트롤 센서가 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 들 수 있다.In one embodiment, the main board and the communication unit are installed on one of the legs of both sides of the glasses body, the battery part is installed on the other side, the bone conduction unit is installed on the earring part of the glasses body, and the touch control sensor is among the legs of both sides of the glasses body. What is provided on any one outer surface is mentioned.
기술된 바와 같은 구조는 안경 렌즈 둘레를 보호하는 부분을 갖고 안경 다리 크기가 비교적 큰 보편적인 형상의 안경 프레임에 각 구성요소를 설치하는데 적합한 것으로, 면적이 가장 넓은 안경 다리 부분에 메인보드, 통신부, 배터리부 및 터치 콘트롤 센서가 위치되도록 하며, 특히 터치 콘트롤 센서는 디바이스 착용 상태에서 사용자가 손쉽게 손으로 터치할 수 있는 안경 다리의 외측면에 노출되도록 하는 것이 바람직하다.The structure as described is suitable for installing each component on a universally shaped spectacle frame having a portion protecting the spectacle lens circumference and having a relatively large spectacle leg size, and is a main board, a communication unit, and It is preferable that the battery unit and the touch control sensor are positioned, and in particular, the touch control sensor is exposed to the outer surface of the spectacle leg that the user can easily touch with the hand while wearing the device.
또한, 상기 골전도 유닛은 3차원 데이터, 비교 정보 등을 착용자가 귀로 듣기 용이하도록 안경의 귀걸이 부분 양쪽에 설치하는 것이 바람직하다.In addition, the bone conduction unit is preferably installed on both sides of the earring portion of the glasses so that the wearer can easily hear 3D data, comparison information, and the like.
도 3은 본 발명에 따른 스마트 웨어러블 디바이스 구조의 다른 실시예를 도시한 도면이다.3 is a diagram showing another embodiment of the structure of a smart wearable device according to the present invention.
다른 실시예는 상기 메인보드 및 통신부가 안경 본체의 안경 렌즈 상측에 설치되고, 골전도 유닛 및 배터리부가 안경 본체의 귀걸이 부분에 설치되며, 터치 콘트롤 센서가 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 들 수 있다.In another embodiment, the main board and the communication unit are installed on the upper side of the spectacle lens of the spectacle body, the bone conduction unit and the battery unit are installed on the earring portion of the spectacle body, and the touch control sensor is integrated from at least one of both legs of the spectacle body. It may be installed so as to extend to.
이러한 구조는 안경 렌즈 둘레를 보호하는 부분이 없고 다리가 얇은 안경 프레임에 각 구성요소를 설치하는데 적합한 것으로, 크기가 큰 메인보드 및 통신부가 안경 렌즈 위쪽에 설치되도록 하고, 터치 콘트롤 센서는 사용자가 접촉하기 쉬운 다리쪽에 길이방향을 따라 설치되며, 골전도 유닛 및 배터리부는 귀걸이 부분에 설치되도록 함으로써, 부피가 작은 안경 프레임에 각 구성요소들이 착용 시 불편하지 않은 상태로 공간 효율성을 고려하여 배치될 수 있다.This structure is suitable for installing each component on a spectacle frame with thin legs without a part protecting the spectacle lens circumference, and allows a large main board and communication unit to be installed above the spectacle lens, and a touch control sensor allows the user to contact It is installed along the lengthwise direction on the leg side that is easy to be used, and by allowing the bone conduction unit and the battery unit to be installed on the earring part, each component can be disposed in a state that is not uncomfortable when wearing a small-volume eyeglass frame in consideration of space efficiency. .
아래에서는 본 발명의 디바이스에 적용되는 추가적인 구성요소 및 기능에 대해 살펴보기로 한다.Hereinafter, additional components and functions applied to the device of the present invention will be described.
본 발명의 디바이스는 상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛을 포함할 수 있으며, 이러한 진동 유닛은 골전도 유닛을 통해 음성이나 소리로 전달되는 알람이 대부분의 상황에서 청각적으로 정보를 제공하는데 충분히 기능할 수 있으나, 재난, 위험물 근접과 같은 위험 상황을 포함한 긴급한 상황을 사용자에게 통보할 때는 불충분할 수 있기 때문에, 이 경우 디바이스가 진동하면서 상황의 심각성을 사용자에게 바로 전달하도록 기능하게 된다.The device of the present invention may include a vibration unit for notifying a dangerous situation by vibration based on the three-dimensional data or comparison information, and the vibration unit includes most of the alarms transmitted as voice or sound through the bone conduction unit. Although it can function sufficiently to provide information aurally in a situation, it may be insufficient when notifying the user of an emergency situation including a dangerous situation such as a disaster or the proximity of a dangerous object. In this case, the device vibrates to determine the severity of the situation. It will function to deliver it directly to you.
또한, 상기 스테레오 카메라가 촬영한 영상 정보를 문자로 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하도록 함으로써, 고령자, 저시력자, 청각 장애인 등을 위해서 책, 표지판, 간판 등에 활자로 인쇄된 글자를 필요에 따라 소리로 읽어주도록 하는 편의성을 제공할 수 있다.In addition, by recognizing the image information photographed by the stereo camera as text so that the main board can be output as a voice through the bone conduction unit, it is printed in letterpress on books, signs, signs, etc. for the elderly, people with low vision, and the hearing impaired. It is possible to provide convenience to read the letters aloud as needed.
또한, 실내 또는 실외의 GPS 정보, 공간 정보, 사물 정보 등을 2차원 바코드 형식으로 코드화한 정보 표시자를 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 방식도 고려될 수 있으며, 이를 실제 적용할 시에는 실내외의 정확한 GPS 좌표(위치), 환경, 명칭, 용도 등에 대한 정보를 2차원 바코드 형식으로 코드화한 표시자를 특정 위치에 직접 인쇄하거나 부착하여 디바이스를 통해 사용자가 해당 정보를 쉽고 빠르게 인식하도록 지원할 수 있다.In addition, a method of recognizing an information indicator that codes indoor or outdoor GPS information, spatial information, object information, etc. in a two-dimensional barcode format through a stereo camera and outputting the corresponding information as a voice from the bone conduction unit may be considered. When this is actually applied, an indicator that codes information on accurate GPS coordinates (location), environment, name, use, etc. indoors and outdoors in a two-dimensional barcode format is directly printed or attached to a specific location so that the user can easily access the information through the device. You can support it to be recognized quickly.
참고로, 상기 정보 표시자는 인쇄 스티커 형태로 붙이나 사물 표면에 직접 인쇄될 수 있고, 정보를 산출하기 위한 별도의 프로세스나 연산 작업이 필요하지 않고 정확한 위치 및 기타 정보를 특정할 수 있기 때문에, 예로써 화장실, 쓰레기통 등에 구비되도록 하여 즉각적으로 다양한 정보를 사용자에게 알릴 수 있다.For reference, since the information indicator can be pasted in the form of a printed sticker, but directly printed on the surface of the object, and it is possible to specify the exact location and other information without requiring a separate process or operation for calculating the information. As a result, it is possible to immediately notify a user of various information by being provided in a toilet or a trash can.
추가적으로, 본 발명의 디바이스는 눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위한 시선 추적 유닛을 구비하여, 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환할 수 있는데, 이는 사용자가 바라보는 인물이나 물체, 책의 특정 글자, 장소 등을 보다 정교하게 인식하도록 기능하여 사용자가 집중적으로 바라보는 인물, 기타 대상을 더욱 정확하게 스폿팅할 수 있음에 따라, 예를 들어 책 전체를 읽는 것이 아니라 사용자가 주목하는 글자만을 음성으로 출력한다던가 바라보는 장소에 대한 정보 등을 정확하게 알려주도록 하는데 일조할 수 있다.Additionally, the device of the present invention includes a gaze tracking unit for tracking eye movements to identify an object present in the gaze, and matches the target identified by the gaze tracking unit from image information captured by a stereo camera to provide a facial and spatial structure. It can be divided into three-dimensional data consisting of and transformed, which functions to more accurately recognize the person or object that the user is looking at, a specific letter or place in the book, etc. As spotting is possible, for example, not reading the entire book, but outputting only the text that the user pays attention to, or providing accurate information about the viewing place can be helpful.
부수적으로, 상기 시선 추적 유닛이 작동하는 방식의 일례는 다음과 같다.Incidentally, an example of how the eye tracking unit operates is as follows.
눈은 뇌에서 발달한 감각 기관으로 뇌와 정보를 주고받으며 수없이 움직이고, 사람의 시야는 180도 정도지만 보이는 전부에 초점을 맞출 수 있는 것은 아니며, 실제로 초점이 정확히 맞는 시야는 2도 정도로 매우 좁다. 이 각도에서 벗어날수록 점점 희미하고 색감이 떨어지며, 시야 속 어딘가를 바라보고자 할 때는 초점을 맞춰야 하며 눈은 이를 위해 스스로 계속 움직인다. 이러한 움직임은 사람마다 다르지만 대략 1초 사이에 3~4번 정도 이뤄진다. 눈이 이렇게 움직이는 중에도 동공 크기는 빛의 강도나 감정 상태에 따라 변화한다. 동공의 크기는 우리가 스스로 변화시킬 수 있는 것이 아니라, 긴장했을 때 나도 모르게 심장이 더 빨리 뛰는 것처럼 저절로 바뀌는 것이다.The eye is a sensory organ developed in the brain that moves countless times while exchanging information with the brain, and a person's field of view is about 180 degrees, but it is not possible to focus on everything that is visible, and the field of view that is actually in focus is very narrow, about 2 degrees. . The more it deviates from this angle, the more faint and color is, and when you want to look somewhere in your field of view, you have to focus, and your eyes keep moving on their own. These movements vary from person to person, but about 3 to 4 times per second. Even while the eyes are moving in this way, the size of the pupil changes according to the intensity of light or emotional state. The size of the pupil is not something we can change on our own, but when we are nervous, it changes by itself as if our heart beats faster without knowing it.
이러한 안구의 특성을 파악하여 개발된 시선 추적 기술은 동공의 움직임을 통해 눈이 어디를 바라보고 있는지 파악하는 것으로, 가장 많이 쓰이고 있는 방식은 눈에 빛을 비췄을 때 반사되는 점과 동공의 상대 위치를 계산해 시선을 추정하게 되며, 특히 적외선 빛을 눈에 쐬어주면 동공이 검정색으로 도드라져 크기 변화를 관찰할 수 있고 안구 표면, 즉 각막에서는 빛이 반사된 점이 확연히 빛나 시선 위치를 계산하기 쉽게 된다.The eye tracking technology developed by understanding the characteristics of the eyeball is to determine where the eye is looking through the movement of the pupil, and the most commonly used method is the point reflected when light is shining on the eye and the relative position of the pupil. In particular, when infrared light is applied to the eye, the pupil becomes black so that the size change can be observed, and the point where the light is reflected from the eyeball surface, that is, the cornea, clearly shines, making it easier to calculate the gaze position.
본 발명의 스마트 웨어러블 디바이스는 시간, GPS, 가속도, 각속도, 고도, 자외선 등을 측정하기 위한 환경 감지 유닛을 더 구비할 수 있는데, 이러한 환경 감지 유닛에 따르면, 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도, 실내외 어느 곳에 있는지의 확인 등이 산출될 수 있음에 따라 외부(예: 이하 기술되는 프로세싱 서버)와 연계하여 더욱 정밀한 위치 정보를 판단하도록 하는데 기여할 수 있게 된다.The smart wearable device of the present invention may further include an environment detection unit for measuring time, GPS, acceleration, angular velocity, altitude, ultraviolet rays, etc. According to this environment detection unit, the current time, position coordinates, user posture, movement As the situation, altitude from the ground, and confirmation of where it is indoors or outdoors can be calculated, it is possible to contribute to determining more precise location information in connection with the outside (eg, a processing server described below).
특히, 실내에 있는데도 GPS 신호가 실외로 위치를 특정하는 경우 또한 매우 흔하기 때문에, 디바이스 사용자의 현재 위치가 실내인지 실외인지 구분하여 정보를 취합하는 것이 매우 중요하며, 이를 위해 자외선량 변화를 측정하여 현재 위치를 실내외 구분하기 위한 중요한 지표로 삼아 빠르게 외부에서 제공받을 수 있는 위치 데이터에 빠르게 접근할 수 있다.In particular, since it is very common that the GPS signal specifies the location as outdoors even though it is indoors, it is very important to collect information by distinguishing whether the current location of the device user is indoors or outdoors. By using the location as an important index to distinguish indoors and outdoors, you can quickly access location data that can be provided from outside.
한편으로, 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법 안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와, 일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와, 양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와, 특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와, 노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와, 노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와, 2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계를 포함하여 이루어질 수 있다.On the other hand, the method of recognizing 3D faces and spatial information using a smart wearable device according to the present invention, a step of continuously checking whether a face is captured with one stereo camera provided in the body of the glasses, and if a face within a certain distance is captured, both stereo cameras A step of photographing a corresponding face as a high-resolution image, and after removing the remaining parts except for the face from each of the high-resolution images taken by both stereo cameras, the twist is aligned so that the face is positioned in front to create a pair of face images. Steps, normalizing a pair of face images from the lightest color to the darkest color based on a specific color, and extracting a disparity image from the difference between the Z values of the normalized pair of face images And extracting facial features from two-dimensional data having XY values from a pair of normalized face images, and applying a Z value to the facial features extracted as two-dimensional data through a disparity image. It may be accomplished including the step of generating a face image.
여기서, 3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함할 수 있다.Here, the bone conduction module outputs face comparison information obtained by comparing the face information stored in advance in the face information DB with the three-dimensional face image, as voice, and storing a new three-dimensional face image in the face information DB. .
도 4는 본 발명에서의 3차원 얼굴 인식 프로세스의 일례를 도시한 순서도.4 is a flow chart showing an example of a three-dimensional face recognition process in the present invention.
도 4를 참조로 하여, 본 발명에 따른 3차원 얼굴 인식 프로세스의 일례를 살펴보면 다음과 같다.Referring to FIG. 4, an example of a 3D face recognition process according to the present invention will be described below.
1. 일측 스테레오 카메라로 저해상도 얼굴 이미지 확인(L 카메라 이미지)1. Check low-resolution face image with one stereo camera (L camera image)
2. 얼굴 포착(Face Detecting)2. Face Detecting
3. 일정 거리 내 얼굴 이미지가 포착되었는지 확인(의미있는 이미지 포착)3. Check if the face image is captured within a certain distance (capturing meaningful images)
1) 얼굴 이미지 포착되지 않으면 과정 1로 복귀 1) If the face image is not captured, return to step 1
2) 얼굴 이미지 포착되면 다음 단계 진행 2) Once the face image is captured, proceed to the next step
4. 양측 스테레오 카메라로 고해상도 이미지 촬영(L 카메라 고해상 이미지, R 카메라 고해상 이미지)4. Taking high-resolution images with both stereo cameras (L camera high resolution image, R camera high resolution image)
5. 고해상도 이미지 정리, 비틀림 정렬 통해 얼굴 이미지 생성 후 색상 노멀라이즈(이미지 크랍, 정렬, 노멀라이즈)5. High-resolution image cleanup and color normalization after creating face image through twist alignment (image cropping, alignment, normalization)
6. 노멀라이즈된 얼굴 이미지로부터 디스패리티 이미지 추출(Disparity 이미지 추출)6. Extraction of disparity images from normalized face images (Disparity image extraction)
7. 노멀라이즈된 2차원 데이터로 얼굴 특징 추출(얼굴 특징 추출)7. Facial feature extraction from normalized 2D data (face feature extraction)
8. 추출된 얼굴 특징에 Z값 부여하여 3차원화(얼굴 특징 3차원화)8. Three-dimensionalization of extracted facial features by assigning Z values (to three-dimensional facial features)
9. 3차원 얼굴 이미지와 얼굴 DB에 저장된 얼굴 정보 비교(인물 검색 비교)9. 3D face image and face information stored in face DB (character search comparison)
10. 처음 만난 얼굴인지 확인(처음 만남인가?)10. Check if this is the first face you met
1) 처음 만난 얼굴이면 3차원 얼굴 이미지 및 디바이스로부터 제공되는 인물 추가정보를 얼굴 DB에 입력(3차원 얼굴 데이터, 인물 추가정보 입력) 1) If this is the first face you met, input the 3D face image and additional person information provided from the device to the face DB (enter 3D face data, additional person information)
2) 처음 만난 얼굴이 아니면 다음 단계 진행 2) If it is not the first face you met, proceed to the next step
11. 디바이스를 통해 인물정보 음성으로 출력(인물 정보 출력)11. Output of person information as voice through device (character information output)
또한, 본 발명은 양측의 스테레오 카메라가 촬영한 각각의 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와, 한 쌍의 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와, 추출된 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계를 포함할 수 있다.In addition, the present invention can calculate the Z value through the step of extracting the edge and the plane in two dimensions of the XY value through color difference from each spatial image captured by the stereo cameras on both sides, and the difference between the pair of spatial images. Extracting the existing disparity image, and generating a 3D spatial image by giving a Z value to the extracted 2D edges and surfaces through the disparity image.
여기서, 공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함할 수 있다.Here, the bone conduction module outputs the spatial comparison information obtained by comparing a 3D spatial image with at least one of indoor or outdoor GPS information, spatial information, and object information previously stored in the spatial information DB, and outputs a new 3D spatial image. And it may further include storing the location information in the spatial information DB.
또한, 환경 감지 유닛이 파악하는 GPS 위치/고도/가속도/각속도/시간/자외선 등의 환경정보, 통신부가 파악하는 Wifi/비콘 등에 의한 실내 위치 정보와 3차원 공간 이미지를 비교함으로써 더욱 정밀한 공간 비교 정보를 생성할 수 있다.In addition, more precise spatial comparison information by comparing indoor location information such as GPS location/altitude/acceleration/angular velocity/time/ultraviolet rays, etc., as well as Wifi/beacons identified by the communication unit, with 3D spatial images. Can be created.
본 발명의 스마트 웨어러블 디바이스는 시간, GPS, 가속도, 각속도, 고도, 자외선 등을 측정하기 위한 환경 감지 유닛을 더 구비할 수 있는데, 이러한 환경 감지 유닛에 따르면, 현재 시간, 위치 좌표, 사용자 자세, 이동 상황, 지표면으로부터의 고도, 실내외 어느 곳에 있는지의 확인 등이 산출될 수 있음에 따라 외부(예: 이하 기술되는 프로세싱 서버)와 연계하여 더욱 정밀한 위치 정보를 판단하도록 하는데 기여할 수 있게 된다.The smart wearable device of the present invention may further include an environment detection unit for measuring time, GPS, acceleration, angular velocity, altitude, ultraviolet rays, etc. According to this environment detection unit, the current time, position coordinates, user posture, movement As the situation, altitude from the ground, and confirmation of where it is indoors or outdoors can be calculated, it is possible to contribute to determining more precise location information in connection with the outside (eg, a processing server described below).
도 5는 본 발명에서의 3차원 공간 정보 인식 프로세스의 일례를 도시한 순서도이다.5 is a flowchart showing an example of a process for recognizing 3D spatial information in the present invention.
도 5를 참조로 하여, 본 발명에 따른 3차원 공간 정보 인식 프로세스의 일례를 살펴보면 다음과 같다.Referring to FIG. 5, an example of a process for recognizing 3D spatial information according to the present invention will be described.
1. 양측 스테레오 카메라로 공간 이미지 포착(L 카메라 이미지, R 카메라 이미지)1.Capturing spatial images with both stereo cameras (L camera image, R camera image)
2. 포착된 공간 이미지를 특정 색상을 기준으로 노멀라이즈(노멀라이즈)2. Normalize (normalize) the captured spatial image based on a specific color
3. 노멀라이즈된 이미지에서 디스패리티 이미지 추출(Disparity 이미지 추출)3. Extracting disparity images from normalized images (Disparity image extraction)
4. 노멀라이즈된 이미지에서 2차원으로 엣지 및 면 추출(면, 엣지 추출)4. Extraction of edges and faces in two dimensions from normalized images (extraction of faces and edges)
5. 추출된 2차원 엣지 및 면에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 공간 이미지 생성(3차원 형상화)5. Generate 3D spatial image by giving Z value to extracted 2D edge and surface through disparity image (three-dimensional shape)
6. 3차원 공간 이미지와 공간 정보 DB(예: 공공 건축물 DB, 위치 사진 DB, 정밀 3D 위치 정보 DB), 환경 정보(GPS 위치 정보, Wifi, 비콘 등 실내 위치 정보, 고도계 등 자체 센서 정보) 비교를 통해 위치 탐색(위치 비교 탐색)6. 3D spatial image and spatial information DB (eg public building DB, location photo DB, precise 3D location information DB), environmental information (GPS location information, Wi-Fi, indoor location information such as beacons, self-sensor information such as altimeter) Location search via (location comparison search)
7. 3차원 공간 이미지가 미확인 장소인지의 여부 확인(미확인 장소인가?)7. Check whether the 3D spatial image is an unconfirmed place (Is it an unconfirmed place?)
1) 미확인 장소이면 디바이스를 통해 위치 정보를 확인하여 공간 정보 DB(예: 위치 사진 DB, 정밀 3D 위치 정보 DB)에 입력(위치 정보 확인 입력) 1) If it is an unconfirmed place, check the location information through the device and enter it into the spatial information DB (e.g., location photo DB, precision 3D location information DB) (enter location information confirmation)
2) 이미 확인된 장소이면 디바이스가 음성으로 위치 정보 출력(정밀 위치값 출력) 2) If the location is already confirmed, the device outputs location information by voice (exact location value output)
도 6은 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템을 개략적으로 도시한 도면이다.6 is a diagram schematically showing a system for recognizing 3D face and spatial information using a smart wearable device according to the present invention.
또 한편으로, 본 발명에 따른 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템 상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와, 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버를 포함할 수 있다.On the other hand, a 3D face and spatial information recognition system using a smart wearable device according to the present invention, a portable terminal capable of short-range wireless communication with the smart wearable device, and a smart device by receiving 3D data and generating comparison information through the portable terminal. It may include a processing server for transmission to the wearable device.
기술된 바와 같은 시스템은 디바이스가 전송하는 3차원 얼굴 특징에 대한 다중 해상도 파일을 프로세싱 서버에 구비되는 얼굴 정보 DB로 분류 및 저장하여 관리하게 되는데, 독립적인 해상도를 갖는 3D 벡터 파일을 포함하여 저해상도부터 고해상도 이미지까지 점층적으로 쌓아서 분류/저장/관리하게 된다.The system as described classifies and stores multi-resolution files for 3D facial features transmitted by the device into a face information DB provided in the processing server, and manages them from low resolutions including 3D vector files with independent resolutions. Even high-resolution images are stacked in layers and classified/stored/managed.
이를 통해, 얼굴 이미지가 저해상도로 포착된 경우에도 빠르게 인물 인식 범위를 좁혀가면서 인식 속도를 높일 수 있고, 얼굴 특징을 큰 범위의 분류부터 미세한 범위까지 확인하면서 빠르게 얼굴 정보 DB에 접근할 수 있게 된다.Through this, even when a face image is captured in a low resolution, the recognition speed can be increased by rapidly narrowing the recognition range of the person, and it is possible to quickly access the face information DB while checking facial features from a large range to a fine range.
또한, 저해상도 이미지로만 얼굴이 포착되었을 때, 정확한 얼굴 인식을 위하여 이미지의 화질을 높일 필요가 있는 이유로, 이럴 때 사용자나 대상의 움직임에 의해 연속적으로 생성된 이미지를 1픽셀 단위 이하로 정렬시키고 합쳐 이미지의 화질을 향상시킬 수 있다.In addition, when a face is captured only in a low-resolution image, it is necessary to increase the image quality for accurate face recognition.In this case, the images continuously generated by the movement of the user or the target are aligned and combined in units of 1 pixel or less. Can improve the picture quality.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.In the description of the present invention with reference to the accompanying drawings above, a specific shape and direction have been mainly described, but the present invention can be variously modified and changed by those skilled in the art, and such modifications and changes are included in the scope of the present invention. Should be interpreted as.
Claims (13)
착용자의 시선과 동일한 방향의 영상을 촬영하도록 상기 안경 본체 양측에 구비되는 스테레오 카메라와;
상기 스테레오 카메라가 촬영한 영상 정보를 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 메인보드와;
상기 메인보드가 변환한 3차원 데이터를 외부로 송신하거나 외부에서 전송되는 3차원 데이터와의 비교 정보를 메인보드가 처리 가능하도록 수신하기 위한 통신부와;
상기 3차원 데이터 및 비교 정보 중 적어도 어느 하나 이상을 음성으로 안내하기 위한 골전도 유닛과;
전원공급을 위한 배터리부와;
스테레오 카메라, 메인보드, 통신부, 골전도 유닛 및 배터리부 중 적어도 어느 하나 이상을 터치 방식으로 제어하기 위한 터치 콘트롤 센서;를 포함하는 것을 특징으로 한다.
Glasses body;
Stereo cameras provided on both sides of the spectacle body to photograph an image in the same direction as the wearer's gaze;
A main board for dividing and converting image information captured by the stereo camera into 3D data consisting of a face and a spatial structure;
A communication unit for transmitting the 3D data converted by the main board to the outside or for receiving comparison information with the 3D data transmitted from the outside so that the main board can process it;
A bone conduction unit for guiding at least one or more of the 3D data and comparison information by voice;
A battery unit for supplying power;
And a touch control sensor for controlling at least one of a stereo camera, a main board, a communication unit, a bone conduction unit, and a battery unit by a touch method.
상기 메인보드 및 통신부는 안경 본체의 양측 다리 중 일측에 설치되고 배터리부는 타측에 설치되며,
상기 골전도 유닛은 안경 본체의 귀걸이 부분에 설치되고,
상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 어느 하나의 외측면에 구비되는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
The main board and the communication unit are installed on one side of the legs of both sides of the glasses body, and the battery unit is installed on the other side,
The bone conduction unit is installed on the earring portion of the spectacle body,
The touch control sensor is a smart wearable device, characterized in that provided on the outer surface of any one of the two side legs of the glasses body.
상기 메인보드 및 통신부는 안경 본체의 안경 렌즈 상측에 설치되고,
상기 골전도 유닛 및 배터리부는 안경 본체의 귀걸이 부분에 설치되고,
상기 터치 콘트롤 센서는 안경 본체의 양측 다리 중 적어도 어느 하나로부터 일체로 연장되도록 설치되는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
The main board and the communication unit are installed on the upper side of the spectacle lens of the spectacle body,
The bone conduction unit and the battery unit are installed on the earring portion of the spectacle body,
The touch control sensor is a smart wearable device, characterized in that installed so as to extend integrally from at least one of the legs of both sides of the glasses body.
상기 3차원 데이터 또는 비교 정보에 기초하여 위험상황을 진동으로 통보하기 위한 진동 유닛을 더 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
Smart wearable device, characterized in that it further comprises a vibration unit for notifying a dangerous situation by vibration based on the 3D data or comparison information.
상기 스테레오 카메라가 촬영한 영상 정보로부터 문자를 인식하여 메인보드가 골전도 유닛을 통해 음성으로 출력 가능하도록 하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
A smart wearable device, characterized in that by recognizing characters from image information captured by the stereo camera, the main board is capable of outputting audio through a bone conduction unit.
실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나 이상을 2차원 바코드 형식으로 코드화한 정보 표시자를 상기 스테레오 카메라를 통해 인식하여 골전도 유닛에서 해당 정보를 음성으로 출력하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
An information indicator obtained by encoding at least one of indoor or outdoor GPS information, spatial information, and object information in a two-dimensional barcode format is recognized through the stereo camera, and the bone conduction unit outputs the corresponding information as a voice. Smart wearable device.
눈의 움직임을 추적하여 시선에 존재하는 대상을 확인하기 위한 시선 추적 유닛을 구비하여, 상기 스테레오 카메라가 포착하는 영상 정보로부터 시선 추적 유닛이 확인한 대상을 매칭시켜 얼굴 및 공간 구조로 이루어진 3차원 데이터로 구분하여 변환하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
Equipped with a gaze tracking unit to track the movement of the eye to identify an object present in the gaze, and match the object identified by the gaze tracking unit from the image information captured by the stereo camera to generate 3D data consisting of a face and a spatial structure. Smart wearable device, characterized in that the conversion by classifying.
시간, GPS, 가속도, 각속도, 고도 및 자외선 중 적어도 어느 하나 이상을 측정하기 위한 환경 감지 유닛을 더 구비하는 것을 특징으로 하는 스마트 웨어러블 디바이스.
The method according to claim 1,
A smart wearable device, further comprising an environment sensing unit for measuring at least any one or more of time, GPS, acceleration, angular velocity, altitude, and ultraviolet rays.
안경 본체에 구비되는 일측 스테레오 카메라로 얼굴이 포착되는지 지속적으로 확인하는 단계와;
일정 거리 내 얼굴이 포착되면 양측 스테레오 카메라가 고해상도 이미지로 해당 얼굴을 촬영하는 단계와;
양측 스테레오 카메라가 촬영한 각각의 고해상도 이미지에서 얼굴 부분을 제외한 나머지 부분을 제거한 후 얼굴이 정면에 위치하도록 비틀림을 정렬하여 한 쌍의 얼굴 이미지를 생성하는 단계와;
특정 색상을 기준으로 한 쌍의 얼굴 이미지를 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와;
노멀라이즈된 한 쌍의 얼굴 이미지의 Z값의 차이로부터 디스패리티(disparity) 이미지를 추출하는 단계와;
노멀라이즈된 한 쌍의 얼굴 이미지에서 XY값을 갖는 2차원 데이터로 얼굴 특징을 추출하는 단계와;
2차원 데이터로 추출된 얼굴 특징에 디스패리티 이미지를 통해 Z값을 부여하여 3차원 얼굴 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
In the recognition method using the device according to any one of claims 1 to 8,
Continuously checking whether a face is captured by a stereo camera provided in the body of the glasses;
When a face within a certain distance is captured, both stereo cameras photograph the face as a high-resolution image;
Generating a pair of face images by removing the remaining portions other than the face portions from each of the high-resolution images captured by both stereo cameras and aligning the twists so that the faces are positioned in front;
Normalizing a pair of face images from the lightest color to the darkest color based on a specific color;
Extracting a disparity image from a difference between Z values of the normalized pair of face images;
Extracting facial features from two-dimensional data having XY values from the normalized pair of face images;
Generating a 3D face image by assigning a Z value to the facial feature extracted as 2D data through a disparity image; 3D face and spatial information recognition method using a smart wearable device comprising:
3차원 얼굴 이미지와 얼굴 정보 DB에 사전 저장된 얼굴 정보를 비교한 얼굴 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 얼굴 이미지를 얼굴 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
The method of claim 9,
The bone conduction module outputs face comparison information obtained by comparing the three-dimensional face image and face information previously stored in the face information DB as voice, and storing a new three-dimensional face image in the face information DB. A method of recognizing 3D face and spatial information using a smart wearable device.
양측의 스테레오 카메라가 촬영한 각각의 공간 이미지를 특정 색상을 기준으로 가장 밝은 색상부터 가장 어두운 색상까지 노멀라이즈하는 단계와;
노멀라이즈된 공간 이미지간 차이를 통해 Z값을 계산할 수 있는 디스패리티 이미지를 추출하는 단계와;
노멀라이즈된 공간 이미지에서 색상차를 통해 XY값의 2차원으로 엣지 및 면을 추출하는 단계와;
추출된 디스패리티 이미지와 2차원 엣지 및 면에 디스패리티 이미지 통해 Z값을 부여하여 3차원 공간 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
The method of claim 10,
Normalizing each spatial image captured by both stereo cameras from the brightest color to the darkest color based on a specific color;
Extracting a disparity image capable of calculating a Z value through a difference between normalized spatial images;
Extracting an edge and a surface in two dimensions of an XY value through a color difference from the normalized spatial image;
Generating a 3D spatial image by giving a Z value to the extracted disparity image and the 2D edge and surface through the disparity image; 3D face and spatial information recognition method using a smart wearable device comprising: .
공간 정보 DB에 사전 저장된 실내 또는 실외의 GPS 정보, 공간 정보 및 사물 정보 중 적어도 어느 하나와 3차원 공간 이미지를 비교한 공간 비교 정보를 상기 골전도 모듈이 음성으로 출력하고 새로운 3차원 공간 이미지 및 위치 정보를 공간 정보 DB에 저장하는 단계를 더 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 방법.
The method of claim 11,
The bone conduction module outputs spatial comparison information obtained by comparing a 3D spatial image with at least one of indoor or outdoor GPS information, spatial information, and object information previously stored in the spatial information DB, and a new 3D spatial image and location 3D face and spatial information recognition method using a smart wearable device, further comprising the step of storing the information in the spatial information DB.
상기 스마트 웨어러블 디바이스와 근거리 무선 통신 가능한 휴대용 단말기와;
상기 휴대용 단말기를 통해 3차원 데이터를 수신하고 비교 정보를 생성하여 스마트 웨어러블 디바이스로 전송하기 위한 프로세싱 서버;를 포함하는 것을 특징으로 하는 스마트 웨어러블 디바이스를 사용한 3차원 얼굴과 공간 정보 인식 시스템.
In the recognition system using the method according to claim 12,
A portable terminal capable of short-range wireless communication with the smart wearable device;
And a processing server for receiving 3D data through the portable terminal, generating comparison information, and transmitting it to a smart wearable device. 3D face and spatial information recognition system using a smart wearable device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (en) | 2019-02-25 | 2019-02-25 | Smart wearable device, method and system for recognizing 3 dimensional face and space information using this |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (en) | 2019-02-25 | 2019-02-25 | Smart wearable device, method and system for recognizing 3 dimensional face and space information using this |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200103929A true KR20200103929A (en) | 2020-09-03 |
| KR102242681B1 KR102242681B1 (en) | 2021-04-27 |
Family
ID=72450210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190022057A KR102242681B1 (en) | 2019-02-25 | 2019-02-25 | Smart wearable device, method and system for recognizing 3 dimensional face and space information using this |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102242681B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932672A (en) * | 2020-09-14 | 2020-11-13 | 江苏原力数字科技股份有限公司 | Method for automatically generating super-realistic 3D face model based on machine learning |
| KR102324066B1 (en) * | 2020-12-16 | 2021-11-09 | 한국해양과학기술원 | System for checking container, system and method for remotely supporting device information |
| WO2023106610A1 (en) * | 2021-12-08 | 2023-06-15 | 삼성전자 주식회사 | Wearable electronic device having implemented distribution system for content and vision processing |
| CN116602636A (en) * | 2023-07-10 | 2023-08-18 | 深圳小澈科技有限公司 | Eye health monitoring system based on intelligent watch |
| US11822074B2 (en) | 2021-12-08 | 2023-11-21 | Samsung Electronics Co., Ltd. | Wearable electronic device implementing distributed system for processing contents and vision |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024178A (en) * | 2009-09-01 | 2011-03-09 | (주)실리콘화일 | Device and method for face recognition using 3 dimensional shape information |
| KR20120073768A (en) * | 2010-12-27 | 2012-07-05 | 엘지이노텍 주식회사 | Glasses for taking stereo scopic image |
| KR101571815B1 (en) | 2013-11-29 | 2015-11-26 | 주식회사 이랜텍 | See-through smart glasses having camera image adjustment function |
| KR20160074736A (en) * | 2014-12-17 | 2016-06-29 | 경북대학교 산학협력단 | Device, system and method for informing about 3D obstacle or information for blind person |
| KR20170009658A (en) | 2015-07-17 | 2017-01-25 | 조동현 | Smart eyeglasses |
-
2019
- 2019-02-25 KR KR1020190022057A patent/KR102242681B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024178A (en) * | 2009-09-01 | 2011-03-09 | (주)실리콘화일 | Device and method for face recognition using 3 dimensional shape information |
| KR20120073768A (en) * | 2010-12-27 | 2012-07-05 | 엘지이노텍 주식회사 | Glasses for taking stereo scopic image |
| KR101571815B1 (en) | 2013-11-29 | 2015-11-26 | 주식회사 이랜텍 | See-through smart glasses having camera image adjustment function |
| KR20160074736A (en) * | 2014-12-17 | 2016-06-29 | 경북대학교 산학협력단 | Device, system and method for informing about 3D obstacle or information for blind person |
| KR20170009658A (en) | 2015-07-17 | 2017-01-25 | 조동현 | Smart eyeglasses |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932672A (en) * | 2020-09-14 | 2020-11-13 | 江苏原力数字科技股份有限公司 | Method for automatically generating super-realistic 3D face model based on machine learning |
| KR102324066B1 (en) * | 2020-12-16 | 2021-11-09 | 한국해양과학기술원 | System for checking container, system and method for remotely supporting device information |
| WO2023106610A1 (en) * | 2021-12-08 | 2023-06-15 | 삼성전자 주식회사 | Wearable electronic device having implemented distribution system for content and vision processing |
| US11822074B2 (en) | 2021-12-08 | 2023-11-21 | Samsung Electronics Co., Ltd. | Wearable electronic device implementing distributed system for processing contents and vision |
| CN116602636A (en) * | 2023-07-10 | 2023-08-18 | 深圳小澈科技有限公司 | Eye health monitoring system based on intelligent watch |
| CN116602636B (en) * | 2023-07-10 | 2024-02-02 | 深圳小澈科技有限公司 | Eye health monitoring system based on intelligent watch |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102242681B1 (en) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102242681B1 (en) | Smart wearable device, method and system for recognizing 3 dimensional face and space information using this | |
| US10498944B2 (en) | Wearable apparatus with wide viewing angle image sensor | |
| US10592763B2 (en) | Apparatus and method for using background change to determine context | |
| US10571715B2 (en) | Adaptive visual assistive device | |
| Zafar et al. | Assistive devices analysis for visually impaired persons: a review on taxonomy | |
| US9035970B2 (en) | Constraint based information inference | |
| US9105210B2 (en) | Multi-node poster location | |
| KR101765838B1 (en) | Wearable device for visual handicap person | |
| CN104473717A (en) | Wearable guide apparatus for totally blind people | |
| CN104983511A (en) | Voice-helping intelligent glasses system aiming at totally-blind visual handicapped | |
| US10867527B2 (en) | Process and wearable device equipped with stereoscopic vision for helping the user | |
| KR20090105531A (en) | The method and divice which tell the recognized document image by camera sensor | |
| KR20190069919A (en) | Walking assistive device and system for visually impaired people | |
| US10104464B2 (en) | Wireless earpiece and smart glasses system and method | |
| KR20090036183A (en) | The method and divice which tell the recognized document image by camera sensor | |
| WO2016086441A1 (en) | Indoor positioning system for totally blind population | |
| CN113835519A (en) | Augmented reality system | |
| Sun et al. | “Watch your step”: precise obstacle detection and navigation for Mobile users through their Mobile service | |
| CN112002186B (en) | Information barrier-free system and method based on augmented reality technology | |
| CN111611812B (en) | Translation to Braille | |
| Botezatu et al. | Development of a versatile assistive system for the visually impaired based on sensor fusion | |
| KR101230341B1 (en) | Vision Assistant System And Method thereof | |
| KR20190062722A (en) | Dental extraction training system | |
| KR102220756B1 (en) | Wearable device | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |