KR102376209B1 - reporting and guiding system for a lost article using AI avatar - Google Patents

reporting and guiding system for a lost article using AI avatar Download PDF

Info

Publication number
KR102376209B1
KR102376209B1 KR1020210077881A KR20210077881A KR102376209B1 KR 102376209 B1 KR102376209 B1 KR 102376209B1 KR 1020210077881 A KR1020210077881 A KR 1020210077881A KR 20210077881 A KR20210077881 A KR 20210077881A KR 102376209 B1 KR102376209 B1 KR 102376209B1
Authority
KR
South Korea
Prior art keywords
lost
user
found
avatar
information
Prior art date
Application number
KR1020210077881A
Other languages
Korean (ko)
Inventor
김남현
Original Assignee
주식회사 엘젠아이씨티
주식회사 에이아이비즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘젠아이씨티, 주식회사 에이아이비즈 filed Critical 주식회사 엘젠아이씨티
Priority to KR1020210077881A priority Critical patent/KR102376209B1/en
Priority to KR1020210185567A priority patent/KR102429540B1/en
Application granted granted Critical
Publication of KR102376209B1 publication Critical patent/KR102376209B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The present invention relates to a lost item reporting and guidance system using an artificial intelligence (AI) avatar and, more specifically, to a lost item reporting and guidance system using an AI avatar to guide a user to find a lost item through the AI avatar, in which the avatar can speak various languages so that both domestic and foreign people can use the system easily, and a public transportation means is specified when it has not been long since a user loses an item on the corresponding public transportation means so that the user can respond quickly. To achieve this, the lost item reporting and guidance system comprises: a main server connected to each lost and found center through a communication network; a user terminal connected to the main server through the communication network; and a public transportation guide server connected to the main server through the communicate with to public transportation information. A user is connected in video communication through the user terminal to receive a lost item guidance service through an AI avatar provided by the main server.

Description

AI 아바타를 이용한 유실물 신고 및 안내 시스템{reporting and guiding system for a lost article using AI avatar}{reporting and guiding system for a lost article using AI avatar}

본 발명은 AI 아바타를 이용한 유실물 신고 및 안내 시스템에 관한 것으로서, 더욱 상세하게는 인공지능 아바타를 통하여 유실물을 찾는 안내를 진행하도록 하되, 아바타가 다양한 나라의 언어를 구사할 수 있어 내외국인 모두 용이하게 사용할 수 있으며, 대중교통에서 물건을 잃어버린 시간이 얼마 지나지 않은 경우 해당 대중교통 차량을 특정하여 신속하게 대처할 수 있도록 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템에 관한 것이다.The present invention relates to a lost and found report and guidance system using an AI avatar, and more particularly, to guide the search for lost articles through an artificial intelligence avatar. It is related to a lost and found report and guidance system using an AI avatar that enables rapid response by specifying the relevant public transport vehicle if it has been a while since the lost item has been lost on public transportation.

가방, 스마트폰, 시계, 자전거, 골프채나 의류 등과 같은 귀중품을 포함하는 소지품이 소지자의 부주의 및 관리 소흘로 인해 연간 수십만 건 이상 분실되고 있는 실정이나 이에 대한 회수율은 낮은 실정이다.Bags, smartphones, watches, bicycles, golf clubs and belongings, including valuables, such as clothing, etc. are lost annually due to carelessness and negligence of the owner, but the recovery rate is low.

그런데 이와 같은, 분실은 대중교통뿐만이 아니라 학교, 도서관, 공원, 식당, 극장, 놀이시설 등과 같은 공공장소에서 더 많은 분실이 발생하고 있는데도, 소지자가 이를 회수하는 경우가 드물다.However, such a loss is not only in public transportation, but also in public places such as schools, libraries, parks, restaurants, theaters, amusement facilities, etc. Although more losses occur, the holder rarely collects them.

그 이유로, 습득자가 분실물을 습득하였다고 하더라도 분실자의 인적사항을 알 수 없어 분실물을 돌려주기가 어려울 뿐만 아니라, 오히려 분실물을 습득할 경우 처리가 곤란하여 분실물을 발견하더라도 지나치는 경우가 많다.For this reason, even if the acquirer acquires the lost article, it is difficult to return the lost article because the personal information of the loser cannot be known.

이를 해소하고자 제안된 것으로, 종래의 통신망을 통한 분실물 및 습득물 정보 관리 방법은 습득물 정보 데이터 베이스, 분실물 관련 정보 데이터베이스, 습득물 관리 서버, 분실물 관리 서버, 웹 서버, 고객 인터페이스 및 상기 웹 서버와 고객 인터페이스를 연결하는 통신망에 의해 분실물 정보를 습득자가 검색기능을 통해 찾아볼 수 있게 안내하는 기능을 제공한다.To solve this problem, the conventional method for managing lost and found and found information through a communication network includes a found information database, a lost and found related information database, a found and found management server, a lost and found management server, a web server, a customer interface, and a web server and a customer interface. It provides a function that guides the learner to find the lost and found information through the search function through the connecting communication network.

이러한 유실물 또는 분실물을 찾을 수 있는 기술의 일 예로 도 1 및 도 2에 도시된 바와 같은 한국등록특허 제10-1037434호에 기재된 기술이 있는데, 그 기술적 특징은 물품 파인딩 관리 서버(10)에 의해 수행되며, 사용자 단말기(40)로부터 물품 태그 정보 및 탑승 대중교통수단 정보를 포함하는 분실물 신고 데이터를 수신하는 단계(S101); 상기 수신한 분실물 신고 데이터를 역무원 단말기(30)에 전송함으로써 역무원이 분실물을 찾을 수 있도록 하는 단계(S103); 상기 수신한 분실물 데이터를 분실물 데이터베이스(20)에 저장하는 단계(S105); 분실물 센터의 RFID 리더(60)로부터 물품 태그 정보 및 물품 영상 정보를 포함하는 분실물 접수 데이터를 수신하는 단계((S107)); 상기 수신한 분실물 접수 데이터에 해당하는 분실물 신고 데이터가 상기 분실물 데이터베이스(20)에 있는지를 검색하는 단계(S111); 및 상기 검색 결과, 상기 수신한 분실물 접수 데이터에 해당하는 분실물 신고 데이터가 상기 분실물 데이터베이스(20)에 있는 경우에는 상기 사용자 단말기(40)에게 분실물 접수를 안내하는 단계(S113)를 포함하여 이루어지는 것을 특징으로 한다.As an example of a technique for finding such a lost or lost item, there is a technique described in Korean Patent No. 10-1037434 as shown in FIGS. 1 and 2 , the technical feature of which is performed by the article finding management server 10 . and receiving, from the user terminal 40, item tag information and lost and found report data including information on boarding public transportation (S101); transmitting the received lost and found report data to the station clerk terminal 30 so that the station clerk can find the lost and found (S103); Storing the received lost and found data in the lost and found database 20 (S105); Receiving lost and found reception data including article tag information and article image information from the RFID reader 60 of the lost and found center ((S107)); retrieving whether the lost and found report data corresponding to the received lost and found data is in the lost and found database 20 (S111); and when the lost and found report data corresponding to the received lost and found data is in the lost and found database 20 as a result of the search, informing the user terminal 40 of receipt of lost and found (S113) do it with

그런데, 한국등록특허 제10-1037434호에 기재된 기술은 사용자로부터 분실 신고가 접수되면 역무원에게 해당 분실물을 빨리 찾을 수 있도록 함으로써 분실물이 주인에게 빨리 인도될 수 있도록 하는 장점은 있으나, 이러한 기능을 하기 위해서는 별도의 장치인 RFID 태그를 해당 물품에 부착하여야 하므로 번거로울 뿐만 아니라, RFID 태그를 확인하고 관리하기 위한 별도의 장치들이 필요하므로 상당한 비용이 소요되는 문제점이 있다.However, the technology described in Korean Patent Registration No. 10-1037434 has an advantage in that, when a loss report is received from a user, the lost item can be delivered to the owner quickly by allowing the station staff to quickly find the lost item. Since the RFID tag, which is a separate device, needs to be attached to the article, it is not only cumbersome, but also separate devices for checking and managing the RFID tag are required, so there is a problem in that a considerable cost is required.

또한, 사용자가 소지한 모든 물품에 RFID 태그를 부착할 수 없기 때문에 RFID 태그를 부착하지 않은 물품을 분실할 경우에는 한국등록특허 제10-1037434호에 기재된 기술로는 대처할 수 없는 문제점이 있다.In addition, since the RFID tag cannot be attached to all items possessed by the user, there is a problem that cannot be dealt with with the technology described in Korean Patent Registration No. 10-1037434 when an item not attached with an RFID tag is lost.

한국등록특허 제10-1037434호(2011.05.20.등록)Korean Patent No. 10-1037434 (Registered on May 20, 2011)

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 사용자가 대중교통을 이용 후, 물건을 잃어버린 것을 알았을 때, 사용자 단말기에 설치된 앱을 통하여 서버와 화상통신으로 연결하여 인공지능 아바타를 통하여 유실물을 찾아줄 수 있도록 함으로써, 소요되는 인력을 최소화하여 비용을 절감할 뿐만 아니라 아바타가 다양한 나라의 언어를 사용할 수 있어 내외국인 모두가 용이하게 사용할 수 있는 AI 아바타를 이용한 유실물 신고 및 안내 시스템을 제공하는 것이다.The present invention has been devised to solve the above problems, and an object of the present invention is to connect to a server through video communication through an app installed in the user terminal when a user finds out that he/she has lost an item after using public transportation to provide artificial intelligence By enabling the avatar to find lost items, not only can the cost be reduced by minimizing the manpower required, but also the avatar can use the languages of various countries. to provide a system.

그리고, 본 발명의 다른 목적은 사용자가 물건을 잃어버린 시점이 얼마 경과하지 않은 경우에는 사용자가 탑승한 대중교통 차량(버스, 지하철, 택시 등)을 특정하고 신속하게 위치를 파악하여 운전자 및 인근 유실물 센터와 연락할 수 있도록 함으로써, 신속한 대처를 가능하게 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템을 제공하는 것이다.And, another object of the present invention is to identify the location of the public transportation vehicle (bus, subway, taxi, etc.) in which the user is boarded and quickly determine the location of the user and the nearby lost and found center when the time when the user loses the item has not elapsed. It is to provide a lost and found report and guidance system using an AI avatar that enables rapid response by allowing users to contact

또한, 본 발명의 또 다른 목적은 사용자가 물건을 잃어버린 시점에서 상당한 시간이 경과될 경우, 각 유실물 센터의 센터 DB와 잃어버린 물건을 확인하도록 하고, 유실물을 찾을 수 없을 경우, 잃어버린 물건과 유사한 몽타쥬를 작성한 후, 각 유실물 센터에 등록함으로써, 보다 용이하게 유실물을 찾을 수 있도록 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템을 제공하는 것이다.In addition, another object of the present invention is to check the center DB of each lost and found center and the lost object when a considerable amount of time has elapsed from the point in time when the user loses the object, and when the lost object cannot be found, a montage similar to the lost object It is to provide a lost and found report and guidance system using an AI avatar that allows users to more easily find lost and found by registering at each lost and found center after writing.

이러한 문제점을 해결하기 위한 본 발명은;The present invention for solving these problems;

각 유실물 센터와 통신으로 연결되는 메인 서버와, 상기 메인 서버와 통신으로 연결되는 사용자 단말기와, 상기 메인 서버와 통신으로 연결되어 대중교통 정보를 제공하는 대중교통 안내 서버로 이루어지고, 사용자는 상기 사용자 단말기를 통하여 화상통신으로 접속하여 상기 메인 서버에서 제공하는 인공지능 아바타를 통하여 유실물 안내 서비스를 제공받는 것을 특징으로 한다.It consists of a main server connected to each lost and found center by communication, a user terminal connected to the main server by communication, and a public transportation guide server connected to the main server by communication to provide public transportation information, and the user It is characterized in that the lost and found information service is provided through the artificial intelligence avatar provided by the main server by connecting through video communication through the terminal.

여기서, 상기 메인 서버는 인공지능 아바타 서비스를 제공하기 위한 아바타 모듈과, 유실물 안내 서비스를 제공하는 안내 모듈과, 다수의 언어가 저장된 언어 모듈과, 사용자가 신고한 유실물의 정보가 저장되는 유실물 DB로 이루어지는 것을 특징으로 한다.Here, the main server includes an avatar module for providing an artificial intelligence avatar service, a guide module for providing a lost and found information service, a language module for storing multiple languages, and a lost and found DB for storing information about lost and found items reported by users. characterized by being made.

그리고, 상기 아바타 모듈은 미리 설정된 분량의 멘트를 모델이 읽는 모습을 촬영한 영상, 음성 정보를 통하여 음성 정보에 대응되는 모델의 표정 및 입모양을 학습하고, 상기 모델의 형상 및 음성으로 아바타를 설정하는 것을 특징으로 한다.In addition, the avatar module learns the facial expression and mouth shape of the model corresponding to the voice information through the video and voice information of the model reading a preset amount of comments, and sets the avatar with the shape and voice of the model. characterized in that

이때, 상기 언어 모듈은 사용자의 언어를 특정하되, 음성인식 기술을 통하여 상기 사용자 단말기를 통하여 전송되는 사용자의 음성 정보에서 단어를 추출하고, 추출된 단어가 모두 포함된 언어를 사용자의 언어로 설정하며, 상기 아바타 모듈은 자연어 처리 기술 및 음성 발화 기술을 사용하여 상기 언어 모듈에서 설정한 언어로 사용자와 대화하는 것을 특징으로 한다.At this time, the language module specifies the user's language, extracts a word from the user's voice information transmitted through the user terminal through voice recognition technology, and sets the language including all the extracted words as the user's language, , wherein the avatar module communicates with the user in the language set in the language module using natural language processing technology and voice utterance technology.

한편, 상기 아바타 모듈은 상기 안내 모듈에 설정된 응대 매뉴얼에 따라 사용자에게 유실물 안내 서비스를 제공하되, 상기 안내 모듈은 사용자로부터 잃어버린 물건, 장소 및 시간의 정보를 확인하는 것을 특징으로 한다.On the other hand, the avatar module provides a lost and found information service to the user according to the response manual set in the guide module, wherein the guide module is characterized in that the information of the lost object, place and time is checked from the user.

여기서, 상기 안내 모듈은 사용자가 물건을 잃어버린 시간으로부터 설정된 시간이 경과되지 않은 경우, 사용자로부터 교통 카드 정보를 확인하고, 상기 대중교통 안내 서버로부터 해당 교통 카드의 결제 정보를 통하여 사용자가 사용한 대중교통 차량을 특정하여 해당 대중교통 차량의 운전자에게 유실물의 정보를 전송하고, 상기 사용자 단말기로 해당 대중교통 차량의 실시간 위치, 해당 대중교통 차량 운전자의 전화번호 및 대중교통 차량의 위치에 대응되는 유실물 센터의 전화번호를 안내하는 것을 특징으로 한다.Here, the guide module checks the traffic card information from the user when the set time has not elapsed from the time the user loses the item, and the public transportation vehicle used by the user through the payment information of the corresponding transportation card from the public transportation guide server to transmit the information of the lost property to the driver of the public transportation vehicle, and the real-time location of the public transportation vehicle, the phone number of the public transportation vehicle driver, and the telephone number of the lost and found center corresponding to the location of the public transportation vehicle It is characterized by guiding the number.

또한, 상기 안내 모듈은 사용자가 물건을 잃어버린 시간으로부터 설정된 시간이 경과한 경우, 상기 메인 서버에 구비되는 검색 모듈을 통하여 각 유실물 센터의 센터 DB에 저장된 유실물 정보와 사용자가 설정한 유실물 정보를 비교하여 유사한 유실물을 찾아 상기 사용자 단말기로 전송하는 것을 특징으로 한다.In addition, the guide module compares the lost and found information stored in the center DB of each lost and found center with the lost and found information set by the user through the search module provided in the main server when a set time has elapsed from the time the user lost the item. It is characterized in that a similar lost object is found and transmitted to the user terminal.

여기서, 상기 안내 모듈은 사용자가 상기 센터 DB에서 유실물을 찾지 못한 경우, 사용자로부터 물건의 사진을 요청하되, 물건의 사진이 없을 경우, 상기 메인 서버에 구비되는 몽타쥬 모듈을 통하여 사용자가 잃어버린 물건의 몽타쥬를 작성하는 것을 특징으로 한다.Here, when the user does not find the lost object in the center DB, the guide module requests a picture of the object from the user, but when there is no picture of the object, the user can montage the lost object through the montage module provided in the main server. characterized by writing

이때, 상기 몽타쥬 모듈은 잃어버린 물건의 종류, 브랜드, 색, 크기, 특징 정보를 통하여 몽타쥬 초안을 상기 사용자 단말기로 전송하고, 사용자가 지적하는 수정 정보를 반영하여 몽타쥬를 완성하여 상기 유실물 DB에 저장한 후, 각 유실물 센터에 통지하는 것을 특징으로 한다.At this time, the montage module transmits the draft montage to the user terminal through the type, brand, color, size, and characteristic information of the lost object, reflects the correction information pointed out by the user, completes the montage, and stores it in the lost object DB After that, it is characterized in that each lost and found center is notified.

한편, 상기 검색 모듈은 설정된 시간 마다 상기 센터 DB와 유실물 DB를 비교하여 동일하거나 유사한 유실물을 확인하고, 동일하거나 유사한 유실물이 확인되면 해당 사용자에게 검색된 정보를 전송하는 것을 특징으로 한다.On the other hand, the search module compares the center DB and the lost object DB at every set time to check the same or similar lost object, and when the same or similar lost object is identified, the searched information is transmitted to the corresponding user.

그리고, 상기 언어 모듈은 상기 사용자 단말기로부터 수신한 사용자의 영상 및 음성 정보에서 사용자의 억양, 표정, 제스쳐를 분석하여 사용자가 긴급한 상황에 놓여 있다고 판단되는 경우, 물건을 잃어버린 장소에 대응되는 유실물 센터의 전화번호를 즉시 상기 사용자 단말기로 전송하는 것을 특징으로 한다.In addition, the language module analyzes the user's accent, facial expression, and gesture in the user's image and audio information received from the user terminal, and when it is determined that the user is in an emergency situation, It is characterized in that the phone number is immediately transmitted to the user terminal.

상기한 구성의 본 발명에 따르면, 사용자가 대중교통을 이용 후, 물건을 잃어버린 것을 알았을 때, 사용자 단말기에 설치된 앱을 통하여 서버와 화상통신으로 연결하여 인공지능 아바타를 통하여 유실물을 찾아줄 수 있도록 함으로써, 소요되는 인력을 최소화하여 비용을 절감할 뿐만 아니라 아바타가 다양한 나라의 언어를 사용할 수 있어 내외국인 모두가 용이하게 사용할 수 있는 효과가 있다.According to the present invention of the above configuration, when a user finds out that an object is lost after using public transportation, it connects to the server through video communication through an app installed in the user terminal so that the lost object can be found through the artificial intelligence avatar. In addition to reducing costs by minimizing the manpower required, the avatar can use the languages of various countries, so both domestic and foreign people can use it easily.

그리고, 본 발명은 사용자가 물건을 잃어버린 시점이 얼마 경과하지 않은 경우에는 사용자가 탑승한 대중교통 차량(버스, 지하철, 택시 등)을 특정하고 신속하게 위치를 파악하여 운전자 및 인근 유실물 센터와 연락할 수 있도록 함으로써, 신속한 대처를 가능하게 하는 효과가 있다.In addition, the present invention specifies the public transportation vehicle (bus, subway, taxi, etc.) boarded by the user and quickly locates the user when the time when the user loses the item has not elapsed, so that the driver and the nearby lost and found center can be contacted. By doing so, there is an effect of enabling a quick response.

또한, 본 발명은 사용자가 물건을 잃어버린 시점에서 상당한 시간이 경과될 경우, 각 유실물 센터의 센터 DB와 잃어버린 물건을 확인하도록 하고, 유실물을 찾을 수 없을 경우, 잃어버린 물건과 유사한 몽타쥬를 작성한 후, 각 유실물 센터에 등록함으로써, 보다 용이하게 유실물을 찾을 수 있도록 하는 효과가 있다.In addition, the present invention allows the user to check the center DB of each lost and found center and the lost object when a considerable amount of time has elapsed from the point in time when the user loses the object. By registering with the lost and found center, there is an effect of making it easier to find lost articles.

도 1은 종래의 유실물 파인딩 시스템의 네트워크 구성도이다.
도 2는 종래의 유실물 파인딩 시스템의 흐름도이다.
도 3은 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 개념도이다.
도 4는 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 블럭도이다.
도 5는 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 아바타 설정을 위한 과정을 보여주는 흐름도이다.
도 6은 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 유실물 안내 과정을 보여주는 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 유실물 안내 과정을 보여주는 흐름도이다.1 is a network configuration diagram of a conventional system for finding lost and found.
2 is a flowchart of a conventional lost and found system.
3 is a conceptual diagram of a lost and found report and guidance system using an AI avatar according to the present invention.
4 is a block diagram of a lost and found report and guidance system using an AI avatar according to the present invention.
5 is a flowchart illustrating a process for setting an avatar in the system for reporting lost and found and using an AI avatar according to the present invention.
6 is a flowchart showing a lost and found information process of the lost and found report and guidance system using an AI avatar according to the present invention.
7 is a flowchart illustrating a lost and found information process of a lost and found report and guidance system using an AI avatar according to another embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 보다 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 그리고, 본 발명은 다수의 상이한 형태로 구현될 수 있고, 기술된 실시 예에 한정되지 않음을 이해하여야 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted. And, it should be understood that the present invention may be implemented in many different forms and is not limited to the described embodiments.

도 3은 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 개념도이고, 도 4는 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 블럭도이고, 도 5는 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 아바타 설정을 위한 과정을 보여주는 흐름도이고, 도 6은 본 발명에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 유실물 안내 과정을 보여주는 흐름도이고, 도 7은 본 발명의 다른 실시 예에 따른 AI 아바타를 이용한 유실물 신고 및 안내 시스템의 유실물 안내 과정을 보여주는 흐름도이다.3 is a conceptual diagram of a lost and found report and guidance system using an AI avatar according to the present invention, FIG. 4 is a block diagram of a lost and found report and guidance system using an AI avatar according to the present invention, and FIG. 5 is an AI avatar according to the present invention is a flow chart showing a process for avatar setting of the lost and found report and guidance system using It is a flow chart showing a lost-and-found guidance process of a lost-and-found reporting and guidance system using an AI avatar according to an embodiment.

본 발명은 AI 아바타를 이용한 유실물 신고 및 안내 시스템에 관한 것으로 도 3 내지 도 6에 도시된 바와 같이 그 구성은 각 유실물 센터(400)와 통신으로 연결되는 메인 서버(100)와 상기 메인 서버(100)와 통신으로 연결되는 스마트폰이나 키오스크 등의 사용자 단말기(200)와 상기 메인 서버(100)와 통신으로 연결되어 대중교통 정보를 제공하는 대중교통 안내 서버(300)로 이루어진다.The present invention relates to a lost and found report and guidance system using an AI avatar, and as shown in FIGS. 3 to 6 , the configuration of the main server 100 and the main server 100 connected to each lost and found center 400 by communication ) and a user terminal 200 such as a smart phone or kiosk connected by communication and a public transportation information server 300 connected to the main server 100 by communication to provide public transportation information.

여기서, 물건을 잃어버린 사용자는 상기 사용자 단말기(200)를 통하여 상기 메인 서버(100)와 접속하는데, 화상 통신 방식으로 접속하여 유실물 안내 서비스를 받을 수 있게 된다.Here, a user who has lost an object connects to the main server 100 through the user terminal 200, and can receive a lost and found information service by accessing the video communication method.

이때, 상기 메인 서버(100)는 인공지능 아바타를 통하여 사용자를 응대하는 유실물 안내 서비스를 제공하여 유실물을 찾아줄 수 있도록 함으로써, 소요되는 인력을 최소화하여 비용을 절감할 수 있게 된다.In this case, the main server 100 provides a lost and found guide service that responds to the user through the artificial intelligence avatar so that the lost and found can be found, thereby reducing the cost by minimizing the manpower required.

그리고, 상기 메인 서버(100)는 인공지능 아바타 서비스를 제공하기 위한 아바타 모듈(110)과 유실물 안내 서비스를 제공하는 안내 모듈(130)과 다수의 언어가 저장된 언어 모듈(120)과 사용자가 신고한 유실물의 정보가 저장되는 유실물 DB(140)로 이루어진다.In addition, the main server 100 includes an avatar module 110 for providing an artificial intelligence avatar service, a guide module 130 for providing a lost and found information service, a language module 120 for storing multiple languages, and a user-reported information module. It consists of a lost object DB 140 in which information about the lost object is stored.

여기서, 상기 아바타 모듈(110)은 미리 설정된 분량의 멘트를 선택된 모델이 읽는 모습을 영상으로 촬영한 영상 정보와 녹음한 음성 정보를 통하여 아바타를 학습시키게 되는데, 멘트의 분량은 약 10분 정도의 분량으로 하여 상기 아바타 모듈(110)이 영상 및 음성 정보를 통하여 해당 모델의 음성을 학습하고, 해당 모델이 말할 때의 음성과 내용에 따라 움직이는 입모양 및 모델의 표정을 학습하게 된다.Here, the avatar module 110 learns the avatar through the image information captured by the image of the selected model reading the preset amount of the comment and the recorded voice information. The amount of the comment is about 10 minutes. In this way, the avatar module 110 learns the voice of the model through the image and audio information, and learns the shape of the mouth and the facial expression of the model moving according to the voice and content when the model speaks.

그래서, 상기 아바타 모듈(110)은 관리자가 선택한 모델의 외형 및 음성에 따라 아바타를 설정하여 상기 사용자 단말기(200)를 통하여 접속하는 사용자들을 해당 모델처럼 말하고 표정을 짓는 아바타가 응대하도록 함으로써, 해당 모델이 직접 응대하는 것처럼 하여 유실물 안내 서비스를 제공하게 된다.Therefore, the avatar module 110 sets the avatar according to the appearance and voice of the model selected by the administrator, and the avatar who speaks and makes facial expressions speaks to users connected through the user terminal 200 like the model and responds to the corresponding model. The lost and found information service will be provided as if it were a direct response.

한편, 상기 메인 서버(100)에 구비되는 언어 모듈(120)은 다양한 언어가 저장되어 상기 아바타 모듈(110)이 사용자와 대화할 때, 국내외의 언어로 대화할 수 있도록 한다.On the other hand, the language module 120 provided in the main server 100 stores various languages so that when the avatar module 110 communicates with a user, it can communicate in domestic and foreign languages.

여기서, 상기 언어 모듈(120)은 사용자 단말기(200)로 접속한 사용자가 사용하는 언어를 특정하게 되는데, 상기 언어 모듈(120)은 음성인식 기술을 통하여 상기 사용자 단말기(200)를 통하여 전송되는 사용자의 음성 정보에서 단어를 추출하고, 추출된 단어가 모두 포함된 언어를 사용자의 언어로 설정하게 된다.Here, the language module 120 specifies the language used by the user connected to the user terminal 200 , and the language module 120 is a user transmitted through the user terminal 200 through voice recognition technology. A word is extracted from the voice information of the user, and a language including all the extracted words is set as the user's language.

즉, 음성인식 기술을 통하여 추출한 단어를 순서대로 해당 단어가 포함된 언어를 선택하게 되는데, 예를 들어 첫번째 단어가 포함된 언어가 7개가 있고, 이 중에서 두번째 단어를 포함하는 언어가 4개가 있고, 이 중에서 세번째 단어까지 포함하는 언어는 하나만 있을 경우 해당 언어를 사용자의 언어라고 판단하게 된다.That is, the words extracted through the speech recognition technology are selected in order to select the language containing the corresponding word. For example, there are 7 languages including the first word, and among them, there are 4 languages including the second word, If there is only one language including the third word among them, it is determined that the corresponding language is the user's language.

물론, 상기 언어 모듈(120)이 판단한 사용자의 언어를 사용자 단말기(200)의 디스플레이부(210)를 통하여 출력하면 사용자는 이를 확인하고 자신의 언어가 맞다면 YES를 선택하고 그렇지 않다면 NO를 선택하게 할 수 있다.Of course, when the user's language determined by the language module 120 is output through the display unit 210 of the user terminal 200, the user confirms this and selects YES if his/her language is correct, otherwise selects NO can do.

이때, 사용자가 YES를 선택하면 상기 언어 모듈(120)은 판단한 언어를 사용자의 언어로 설정하여 아바타가 해당 언어를 사용하여 응대하도록 하고, 사용자가 NO를 선택할 경우, 언어 모듈(120)이 판단한 언어와 유사한 언어 다수개를 사용자 단말기(200)의 디스플레이부(110)를 통하여 출력하여 사용자가 직접 언어를 선택할 수 있도록 한다.At this time, if the user selects YES, the language module 120 sets the determined language as the user's language so that the avatar responds using the corresponding language. If the user selects NO, the language module 120 determines the language A plurality of languages similar to ? are output through the display unit 110 of the user terminal 200 so that the user can directly select a language.

그래서, 사용자를 응대하는 아바타는 내국어뿐만 아니라 다양한 외국어도 구사할 수 있어 내외국인 모두가 용이하게 유실물 안내 서비스를 제공받을 수 있게 된다.Therefore, the avatar that responds to the user can speak not only the native language but also various foreign languages, so that both foreigners and foreigners can easily receive the lost and found information service.

그리고, 상기 아바타 모듈(110)은 상기 안내 모듈(130)에 설정된 응대 매뉴얼에 따라 상기 언어 모듈(120)에서 설정한 언어를 사용하여 사용자에게 유실물 안내 서비스를 제공하게 되는데, 상기 안내 모듈(130)은 상기 아바타 모듈(110)을 통하여 아바타가 사용자와 대화하면서 사용자가 잃어버린 물건, 장소 및 시간의 정보를 확인하게 된다.In addition, the avatar module 110 provides a lost and found information service to the user using the language set in the language module 120 according to the response manual set in the guide module 130 . through the avatar module 110 confirms the information of the object, place, and time lost by the user while the avatar communicates with the user.

여기서, 상기 안내 모듈(130)은 사용자 단말기(200)를 통하여 전송되는 영상 및 음성 정보를 통하여 추출한 사용자가 물건을 잃어버린 시간으로부터 현재까지의 시간이 상기 안내 모듈(130)에 설정된 기준 시간을 경과하였는지를 우선 판단하게 된다.Here, the guide module 130 determines whether the time from the time the user lost the item to the present, extracted through the video and audio information transmitted through the user terminal 200 , has passed the reference time set in the guide module 130 . will be judged first.

이때, 사용자가 물건을 잃어버린 시간으로부터 설정된 기준 시간이 경과하지 않은 경우에는 사용자로부터 사용자가 대중교통을 이용할 때, 결제 수단으로 사용한 교통카드 또는 신용카드의 정보를 더 확인하도록 한다.In this case, when the reference time set from the time the user lost the item has not elapsed, the user further confirms information on the transportation card or credit card used as the payment method when the user uses public transportation.

그래서, 상기 안내 모듈(130)은 사용자의 교통카드 또는 신용카드의 정보를 대중교통 안내 서버(300)로 전송하고, 상기 대중교통 안내 서버(300)는 해당 결제수단을 통하여 결제된 결제정보를 통하여 사용자가 물건을 잃어버릴 때, 탑승한 버스, 지하철 또는 택시와 같은 대중교통 차량을 특정할 수 있게 된다.So, the information module 130 transmits the user's transportation card or credit card information to the public transportation information server 300, and the public transportation information server 300 uses the payment information paid through the corresponding payment method. When a user loses something, it becomes possible to specify which public transport vehicle, such as a bus, subway, or taxi, in which he or she boarded.

즉, 택시나 버스의 경우에는 차량 내에서 직접결제를 진행하기 때문에 해당 차량을 정확하게 특정할 수 있으며, 지하철의 경우에는 개찰구를 통하여 진입하는 시간과 차량에 탑승하는 시간에서 이동시간이 포함되고 이후 도착한 차량을 바로 탑승할 수도 있고 다음 차량을 탑승할 수도 있으므로, 사용자가 탑승한 차량을 특정할 때, 개찰구를 통하여 진입한 시간과 이동시간을 고려하여 개찰구 진입시간과 근접한 두대의 차량으로 특정하도록 하며, 추가로 환승하지 않은 경우에는 개찰구를 통하여 외부로 나온 시간을 고려하여 보다 정확하게 차량을 특정할 수 있게 된다.That is, in the case of a taxi or bus, the vehicle can be precisely specified because payment is made directly within the vehicle. Since the vehicle can be boarded directly or the next vehicle can be boarded, when specifying the vehicle the user has boarded, consider the time entered through the ticket gate and the travel time to specify two vehicles close to the ticket gate entry time, If there is no additional transfer, the vehicle can be specified more accurately in consideration of the time taken to the outside through the ticket gate.

따라서, 상기 안내 모듈(130)은 상기 대중교통 안내 서버(300)로부터 수신한 해당 대중교통 차량의 현재 위치, 운전자의 전화번호, 대중교통 차량의 현재 위치에 대응되는 유실물 센터(400)의 전화번호를 사용자 단말기(200)로 전송하게 된다.Accordingly, the information module 130 is the current location of the public transportation vehicle received from the public transportation information server 300, the driver's phone number, and the phone number of the lost and found center 400 corresponding to the current location of the public transportation vehicle. is transmitted to the user terminal 200 .

물론, 상기 안내 모듈(130)은 해당 대중교통 차량의 운전자와 유실물 센터(400)로 사용자의 유실물 정보를 전송하여 사용자가 신속하게 유실물을 찾을 수 있도록 한다.Of course, the guide module 130 transmits the user's lost and found information to the driver of the public transportation vehicle and the lost and found center 400 so that the user can quickly find the lost article.

한편, 사용자가 물건을 잃어버린 시간으로부터 설정된 기준 시간이 경과한 경우에는 전술한 바와 같이 대중교통 차량을 특정하더라도 해당 대중교통 차량이 차고에 입고된 상태이거나 그보다 더 시간이 지난 상태이므로 차량의 내부에 유실물이 남아 있을 수 없는 상태로 판단한다.On the other hand, if the reference time set from the time the user lost the item has elapsed, even if the public transportation vehicle is specified as described above, the public transportation vehicle is either in the garage or a longer time has elapsed than that, so It is judged as impossible to remain.

따라서, 상기 안내 모듈(130)은 상기 메인 서버(100)에 구비되는 검색 모듈(160)을 통하여 각 유실물 센터(400)에 설치된 센터 DB(410)에 저장된 유실물 정보와 사용자가 설정한 유실물 정보를 비교하여 유사한 유실물을 검색하게 된다.Accordingly, the guide module 130 retrieves the lost and found information stored in the center DB 410 installed in each lost and found center 400 and the lost and found information set by the user through the search module 160 provided in the main server 100 . Compare and search for similar lost items.

여기서, 상기 안내 모듈(130)은 상기 검색 모듈(160)을 통하여 유사한 유실물이 검색되면 해당 정보를 사용자 단말기(200)로 전송하여 사용자가 잃어버린 물건인지 확인하도록 한다.Here, when a similar lost object is found through the search module 160 , the guide module 130 transmits the corresponding information to the user terminal 200 to check whether the user has lost the object.

이때, 사용자 단말기(200)로 전송한 유사 유실물 리스트에서 잃어버린 물건을 찾을 경우, 해당 유실물 센터(400)로 연락하여 그에 따른 후속조치를 취하도록 하고, 유사 유실물 리스트에 잃어버린 물건이 없을 경우에는 사용자가 설정한 유실물 정보를 메인 서버(100)에 구비되는 유실물 DB(140)에 저장한 후, 각 유실물 센터(400)로 해당 정보를 전송하도록 한다.At this time, if a lost item is found in the similar lost and found list transmitted to the user terminal 200, the user is contacted to the corresponding lost and found center 400 to take follow-up measures. After the set lost and found information is stored in the lost and found DB 140 provided in the main server 100 , the corresponding information is transmitted to each lost and found center 400 .

그래서, 상기 메인 서버(100)에 구비되는 검색 모듈(160)이 설정된 시간 마다 상기 센터 DB(410)와 유실물 DB(140)를 비교하여 동일하거나 유사한 유실물을 확인하고, 동일하거나 유사한 유실물이 확인되면 해당 사용자에게 검색된 정보를 전송하여 잃어버린 물건을 찾을 수 있도록 한다.Therefore, the search module 160 provided in the main server 100 compares the center DB 410 and the lost object DB 140 at set times to identify the same or similar lost article, and if the same or similar lost article is confirmed It sends the retrieved information to the user so that they can find the lost item.

추가로 상기 검색 모듈(160)을 통하여 유사한 유실물을 검색할 때, 설정된 시간마다 검색을 진행하게 되는데, 최초 검색이 아닐 경우에는 이전 검색에서 검색한 유실물은 이번 검색에서 배제하도록 함으로써, 검색 횟수를 줄여주어 보다 신속하게 검색할 수 있게 하는데, 이는 이전 검색이 수행된 시간을 기점으로 그 이전에 등록된 유실물 정보를 배제하는 프로세스를 통하여 달성하게 된다.In addition, when searching for a similar lost object through the search module 160, the search is performed every set time. It enables a faster search by subject, which is achieved through a process of excluding previously registered lost and found information from the time when the previous search was performed.

이때, 사용자가 물건을 잃어버린 장소와 시간을 아바타에게 알려줄 때, 단순히 음성으로 알려줄 수도 있지만, 사용자 단말기(200)의 디스플레이부(210)를 통하여 출력되는 지도 화면 상에서 지하철, 버스, 택시를 이용한 시점, 종점, 환승한 곳 등의 정보 및 시간을 설정하도록 함으로써, 대응되는 유실물 센터(400)의 범위를 정확하게 한정하도록 하여 보다 용이하게 잃어버린 물건을 찾을 수 있도록 한다.At this time, when the user informs the avatar of the place and time when the item was lost, the user may simply notify by voice, but the time of using the subway, bus, or taxi on the map screen output through the display unit 210 of the user terminal 200, By setting the information and time such as the end point and the transfer place, the range of the corresponding lost and found center 400 is precisely limited, so that the lost object can be more easily found.

그리고, 전술한 바와 같이 상기 검색 모듈(160)을 통하여 유사한 유실물이 검색되지 않을 경우에는 사용자가 등록한 잃어버린 물건에 대한 정보를 유실물 DB(140)에 저장하게 되는데, 단순한 정보만을 저장하지 않고 잃어버린 물건의 보다 정확한 정보를 저장하게 된다.And, as described above, when a similar lost object is not searched through the search module 160, information about the lost object registered by the user is stored in the lost object DB 140. More accurate information is stored.

여기서, 아바타는 사용자에게 잃어버린 물건이 찍혀있는 사진을 더 요구하게 되는데, 사진이 있을 경우에는 사용자 단말기(200)를 통하여 메인 서버(100)로 전송하여 유실물 DB(140)에 사진을 저장하도록 한다.Here, the avatar further requests the user for a picture of the lost object. If there is a picture, it is transmitted to the main server 100 through the user terminal 200 to store the picture in the lost and found DB 140 .

반면에 사용자가 잃어버린 물건의 사진이 없을 경우에는 메인 서버(100)에 구비되는 몽타쥬 모듈(150)을 통하여 잃어버린 물건이 몽타쥬를 작성하여 유실물 DB(140)에 저장하여 보다 용이하게 유실물을 찾을 수 있도록 한다.On the other hand, when the user does not have a picture of the lost object, a montage of the lost object is created through the montage module 150 provided in the main server 100 and stored in the lost object DB 140 so that the lost object can be found more easily. do.

즉, 상기 몽타쥬 모듈(150)은 아바타를 통하여 사용자로부터 잃어버린 물건의 종류, 브랜드, 색, 크기, 특징 정보를 습득하고 이를 통하여 몽타쥬 초안을 완성하고 완성된 몽타쥬 초안을 상기 사용자 단말기(200)로 전송하여 사용자가 확인하도록 한다.That is, the montage module 150 acquires the type, brand, color, size, and characteristic information of an object lost from the user through the avatar, completes the draft montage through this, and transmits the draft montage to the user terminal 200 . so that the user confirms it.

이때, 사용자가 잃어버린 물건의 크기를 설명할 때, 음성만으로 높이, 길이, 폭 등을 수치로 표현할 수도 있지만, 음성과 제스쳐를 통하여 길이, 높이, 폭을 양손으로 간격을 형성하여 표현할 수도 있는데, 상기 몽타쥬 모듈(150)에서는 화면상에 보이는 양손간의 거리를 개략적으로 추정할 수 있기 때문에 사용자가 물건의 정확한 수치를 모르더라도 사용자의 제스쳐를 통하여 개략적인 크기를 특정할 수 있다.In this case, when the user describes the size of the lost object, height, length, width, etc. may be expressed numerically only by voice, but length, height, and width may be expressed by forming intervals with both hands through voice and gestures, Since the montage module 150 can roughly estimate the distance between the hands shown on the screen, even if the user does not know the exact value of the object, the approximate size can be specified through the user's gesture.

여기서, 사용자는 수신한 몽타쥬를 확인하고, 수정하여야 할 부분을 음성으로 코맨트 하거나 또는 사용자 단말기(200)의 디스플레이부(210)에 보여지는 몽타쥬에서 사용자가 직접 터치하여 형상 또는 색을 수정하여 메인 서버(100)로 전송하게 된다.Here, the user confirms the received montage, comments on the part to be corrected by voice, or the user directly touches the montage displayed on the display unit 210 of the user terminal 200 to modify the shape or color to the main server (100) is transmitted.

이렇게 수정과정을 거친 후, 사용자의 확인으로 몽타쥬가 완성되면 완성된 몽타쥬를 상기 유실물 DB(140)에 저장하고, 다시 각 유실물 센터(400)로 해당 정보를 전송하게 된다.After the correction process, when the montage is completed by the user's confirmation, the completed montage is stored in the lost and found DB 140 , and the corresponding information is transmitted to each lost and found center 400 again.

그래서, 전술한 바와 같이 상기 검색 모듈(160)을 통하여 유실물을 검색할 때, 사용자가 입력한 정보와 유실물 센터(400)의 센터 DB(410)에 저장된 정보를 비교하여 매칭 정확도를 확률로 수치화할 수 있어 설정된 수치보다 높은 매칭 확률의 유실물을 유사한 유실물로 판단하고, 사용자 단말기(200)로 유사한 유실물 정보를 전송할 때, 매칭 확률도 같이 전송하도록 하여 사용자가 보다 용이하게 확인할 수 있도록 한다.Therefore, when searching for a lost object through the search module 160 as described above, the matching accuracy is quantified as a probability by comparing the information input by the user with the information stored in the center DB 410 of the lost and found center 400 . Therefore, when a lost object having a matching probability higher than the set value is determined as a similar lost object, and similar lost and found information is transmitted to the user terminal 200, the matching probability is also transmitted so that the user can check it more easily.

그리고, 본 발명의 다른 실시 예로 도 6에 도시된 바와 같이, 상기 메인 서버(100)의 아바타 모듈(110) 및 안내 모듈(130)을 통하여 유실물 안내 서비스를 진행할 때, 사용자의 언어를 우선 설정한 후, 사용자로부터 잃어버린 물건의 정보를 획득하게 된다.In another embodiment of the present invention, as shown in FIG. 6 , when the lost and found information service is performed through the avatar module 110 and the guide module 130 of the main server 100, the user's language is set first. After that, information on the lost object is obtained from the user.

여기서, 상기 언어 모듈(120)은 사용자 단말기(200)로부터 수신한 사용자가 잃어버린 물건에 대해서 설명하는 영상 및 음성 정보를 분석하여 사용자의 억양, 표정, 제스쳐를 통하여 사용자가 현재 긴급한 상황에 놓여 있는지를 판단하게 된다.Here, the language module 120 analyzes the video and audio information that the user received from the user terminal 200 explaining the lost object, and determines whether the user is currently in an emergency situation through the user's accent, facial expression, and gesture. will judge

이때, 상기 안내 모듈(130)은 상기 언어 모듈(120)을 통하여 판단한 사용자의 상태가 현재 긴급한 상태에 놓여 있다고 판단될 경우, 다른 프로세스를 무시하고 사용자로부터 획득한 물건을 잃어버린 시점 및 장소에 해당되는 유실물 센터(400)의 전화번호를 즉시 사용자 단말기(200)로 전송하여 사용자가 해당 유실물 센터(400)와 연결하여 불안감을 해소하도록 한다.At this time, when it is determined that the user's state determined through the language module 120 is in an urgent state, the guide module 130 ignores other processes and corresponds to the time and place where the object acquired from the user is lost. The phone number of the lost and found center 400 is immediately transmitted to the user terminal 200 so that the user can connect to the lost and found center 400 to relieve anxiety.

이상에서 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 않으며, 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리 범위가 미치는 것으로 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것이다.Although preferred embodiments of the present invention have been described above, the scope of the present invention is not limited thereto, and the scope of the present invention extends to those substantially equivalent to the embodiments of the present invention. Various modifications are possible by those of ordinary skill in the art to which the invention pertains without departing from the scope of the invention.

본 발명은 AI 아바타를 이용한 유실물 신고 및 안내 시스템에 관한 것으로서, 더욱 상세하게는 인공지능 아바타를 통하여 유실물을 찾는 안내를 진행하도록 하되, 아바타가 다양한 나라의 언어를 구사할 수 있어 내외국인 모두 용이하게 사용할 수 있으며, 대중교통에서 물건을 잃어버린 시간이 얼마 지나지 않은 경우 해당 대중교통 차량을 특정하여 신속하게 대처할 수 있도록 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템에 관한 것이다.The present invention relates to a lost and found report and guidance system using an AI avatar, and more particularly, to guide the search for lost articles through an artificial intelligence avatar. It is related to a lost and found report and guidance system using an AI avatar that enables rapid response by specifying the relevant public transport vehicle if it has been a while since the lost item has been lost on public transportation.

100 : 메인 서버 110 : 아바타 모듈
120 : 언어 모듈 130 : 안내 모듈
140 : 유실물 DB 150 : 몽타쥬 모듈
160 : 검색 모듈 200 : 사용자 단말기
210 : 디스플레이부 220 : 스피커
230 : 마이크 240 : 카메라
300 : 대중교통 안내 서버 400 : 유실물 센터
410 : 센터 DB100: main server 110: avatar module
120: language module 130: information module
140: lost and found DB 150: montage module
160: search module 200: user terminal
210: display unit 220: speaker
230: microphone 240: camera
300: public transportation information server 400: lost and found center
410: center DB

Claims (11)

각 유실물 센터와 통신으로 연결되는 메인 서버와, 상기 메인 서버와 통신으로 연결되는 사용자 단말기와, 상기 메인 서버와 통신으로 연결되어 대중교통 정보를 제공하는 대중교통 안내 서버로 이루어지고,
사용자는 상기 사용자 단말기를 통하여 화상통신으로 접속하여 상기 메인 서버에서 제공하는 인공지능 아바타를 통하여 유실물 안내 서비스를 제공받으며,
상기 메인 서버는 인공지능 아바타 서비스를 제공하기 위한 아바타 모듈과, 유실물 안내 서비스를 제공하는 안내 모듈과, 다수의 언어가 저장된 언어 모듈과, 사용자가 신고한 유실물의 정보가 저장되는 유실물 DB로 이루어지고,
상기 언어 모듈은 사용자의 언어를 특정하되, 음성인식 기술을 통하여 상기 사용자 단말기를 통하여 전송되는 사용자의 음성 정보에서 단어를 추출하고, 추출된 단어가 모두 포함된 언어를 사용자의 언어로 설정하며, 상기 아바타 모듈은 자연어 처리 기술 및 음성 발화 기술을 사용하여 상기 언어 모듈에서 설정한 언어로 사용자와 대화하고,
상기 아바타 모듈은 상기 안내 모듈에 설정된 응대 매뉴얼에 따라 사용자에게 유실물 안내 서비스를 제공하되, 상기 안내 모듈은 사용자로부터 잃어버린 물건, 장소 및 시간의 정보를 확인하며,
상기 언어 모듈은 상기 사용자 단말기로부터 수신한 사용자의 영상 및 음성 정보에서 사용자의 억양, 표정, 제스쳐를 분석하여 사용자가 긴급한 상황에 놓여 있다고 판단되는 경우, 물건을 잃어버린 장소에 대응되는 유실물 센터의 전화번호를 즉시 상기 사용자 단말기로 전송하는 것을 특징으로 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템.
It consists of a main server connected to each lost and found center by communication, a user terminal connected to the main server by communication, and a public transportation information server connected to the main server by communication to provide public transportation information,
The user accesses through video communication through the user terminal and is provided with a lost and found information service through the artificial intelligence avatar provided by the main server,
The main server is composed of an avatar module for providing an artificial intelligence avatar service, a guide module for providing a lost and found information service, a language module in which a plurality of languages are stored, and a lost and found DB in which information about lost and found items reported by a user is stored, ,
The language module specifies the user's language, extracts words from the user's voice information transmitted through the user terminal through voice recognition technology, sets a language including all the extracted words as the user's language, The avatar module uses natural language processing technology and speech utterance technology to communicate with the user in the language set in the language module,
The avatar module provides a lost and found information service to the user according to a response manual set in the guide module, wherein the guide module checks information on lost objects, places and times from the user,
The language module analyzes the user's accent, expression, and gesture from the user's video and audio information received from the user terminal. Lost and found report and guidance system using an AI avatar, characterized in that it is immediately transmitted to the user terminal.
 삭제delete 제1항에 있어서,
상기 아바타 모듈은 미리 설정된 분량의 멘트를 모델이 읽는 모습을 촬영한 영상, 음성 정보를 통하여 음성 정보에 대응되는 모델의 표정 및 입모양을 학습하고,
상기 모델의 형상 및 음성으로 아바타를 설정하는 것을 특징으로 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템.
The method of claim 1,
The avatar module learns the facial expression and mouth shape of the model corresponding to the voice information through the video and voice information captured by the model reading a preset amount of comments,
Lost and found report and guidance system using an AI avatar, characterized in that the avatar is set with the shape and voice of the model.
 삭제delete 삭제delete 제1항에 있어서,
상기 안내 모듈은 사용자가 물건을 잃어버린 시간으로부터 설정된 시간이 경과되지 않은 경우, 사용자로부터 교통 카드 정보를 확인하고,
상기 대중교통 안내 서버로부터 해당 교통 카드의 결제 정보를 통하여 사용자가 사용한 대중교통 차량을 특정하여 해당 대중교통 차량의 운전자에게 유실물의 정보를 전송하고,
상기 사용자 단말기로 해당 대중교통 차량의 실시간 위치, 해당 대중교통 차량 운전자의 전화번호 및 대중교통 차량의 위치에 대응되는 유실물 센터의 전화번호를 안내하는 것을 특징으로 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템.
The method of claim 1,
The guide module checks the traffic card information from the user when the set time has not elapsed from the time the user lost the item,
The public transport information server specifies the public transport vehicle used by the user through the payment information of the corresponding transport card, and transmits the information of the lost object to the driver of the public transport vehicle;
Lost and found report and guidance system using an AI avatar, characterized in that the user terminal informs the user terminal of the real-time location of the public transportation vehicle, the phone number of the public transportation vehicle driver, and the phone number of the lost and found center corresponding to the location of the public transportation vehicle .
 제1항에 있어서,
상기 안내 모듈은 사용자가 물건을 잃어버린 시간으로부터 설정된 시간이 경과한 경우,
상기 메인 서버에 구비되는 검색 모듈을 통하여 각 유실물 센터의 센터 DB에 저장된 유실물 정보와 사용자가 설정한 유실물 정보를 비교하여 유사한 유실물을 찾아 상기 사용자 단말기로 전송하는 것을 특징으로 하는 AI 아바타를 이용한 유실물 신고 및 안내 시스템.
The method of claim 1,
The guide module is when the set time elapses from the time the user lost the item,
Lost and found report using an AI avatar, characterized in that the search module provided in the main server compares the lost and found information stored in the center DB of each lost and found center with the lost and found information set by the user to find similar lost articles and transmits them to the user terminal and guidance systems.
 삭제delete 삭제delete 삭제delete 삭제delete
KR1020210077881A 2021-06-16 2021-06-16 reporting and guiding system for a lost article using AI avatar KR102376209B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210077881A KR102376209B1 (en) 2021-06-16 2021-06-16 reporting and guiding system for a lost article using AI avatar
KR1020210185567A KR102429540B1 (en) 2021-06-16 2021-12-23 reporting and guiding system for a lost article using AI avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077881A KR102376209B1 (en) 2021-06-16 2021-06-16 reporting and guiding system for a lost article using AI avatar

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210185567A Division KR102429540B1 (en) 2021-06-16 2021-12-23 reporting and guiding system for a lost article using AI avatar

Publications (1)

Publication Number Publication Date
KR102376209B1 true KR102376209B1 (en) 2022-03-21

Family

ID=80937361

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210077881A KR102376209B1 (en) 2021-06-16 2021-06-16 reporting and guiding system for a lost article using AI avatar
KR1020210185567A KR102429540B1 (en) 2021-06-16 2021-12-23 reporting and guiding system for a lost article using AI avatar

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210185567A KR102429540B1 (en) 2021-06-16 2021-12-23 reporting and guiding system for a lost article using AI avatar

Country Status (1)

Country Link
KR (2) KR102376209B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100094212A (en) * 2009-02-18 2010-08-26 삼성전자주식회사 Facial gesture cloning apparatus
KR101037434B1 (en) 2009-06-15 2011-05-30 전자부품연구원 method for finding service
KR20130067828A (en) * 2011-12-14 2013-06-25 건국대학교 산학협력단 Apparatus and method for providing route using virtual world
KR20140000453A (en) * 2012-06-22 2014-01-03 주식회사 한비즈컨버전스 System and method for safety of lost article using human network
JP2019219706A (en) * 2018-06-15 2019-12-26 Ｍａｍｏｒｉｏ株式会社 Lost property information audio answering system, method and program
KR102168301B1 (en) * 2020-04-16 2020-10-21 주식회사 넷브리지 Hybrid management system for hotel room

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110133930A (en) * 2010-06-07 2011-12-14 나승민 Reporting and acquiring for lost article using a mobile phone
KR101274223B1 (en) * 2010-07-05 2013-06-14 주식회사 한비즈컨버전스 Service Method and System for Finding Missing Article in using Taxi
KR101385798B1 (en) * 2013-10-04 2014-04-16 안양시 System for lost article chase

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100094212A (en) * 2009-02-18 2010-08-26 삼성전자주식회사 Facial gesture cloning apparatus
KR101037434B1 (en) 2009-06-15 2011-05-30 전자부품연구원 method for finding service
KR20130067828A (en) * 2011-12-14 2013-06-25 건국대학교 산학협력단 Apparatus and method for providing route using virtual world
KR20140000453A (en) * 2012-06-22 2014-01-03 주식회사 한비즈컨버전스 System and method for safety of lost article using human network
JP2019219706A (en) * 2018-06-15 2019-12-26 Ｍａｍｏｒｉｏ株式会社 Lost property information audio answering system, method and program
KR102168301B1 (en) * 2020-04-16 2020-10-21 주식회사 넷브리지 Hybrid management system for hotel room

Also Published As

Publication number Publication date
KR102429540B1 (en) 2022-08-05

Similar Documents

Publication Publication Date Title
US10853629B2 (en) Method for identifying a user entering an autonomous vehicle
CN110472870A (en) A kind of cashier service regulation detection system based on artificial intelligence
US11386703B2 (en) Counter reception system and service robot
US11605234B2 (en) Vehicle identification method and system for providing authentication and notification
US10867606B2 (en) Systems and methods for performing task using simple code
US20180130114A1 (en) Item recognition
US20220058760A1 (en) Information processing apparatus, information processing method, and storage medium
JP2014160394A (en) Service provision system
CN110929108A (en) Inquiring method and system for railway passenger transport service and robot
KR102333757B1 (en) Artificial intelligence-based customized service provision system
KR102376209B1 (en) reporting and guiding system for a lost article using AI avatar
US20190108697A1 (en) Method for the checking of access authorizations by means of an access control system
KR20170093494A (en) Method and system for providing customized news by public display
KR101464137B1 (en) Commute management server and Commute management system using the same
JPWO2016125203A1 (en) Server and information providing system
JP2018110023A (en) Target detection method
US20220222449A1 (en) Presentation transcripts
KR20200095057A (en) Amusement execution system
US20220319232A1 (en) Apparatus and method for providing missing child search service based on face recognition using deep-learning
KR20160100740A (en) Missing child location tracking system and method thereof
CN111241885A (en) User identification method and device
JP7237871B2 (en) Target detection method
CN113362540A (en) Traffic ticket business processing device, system and method based on multimode interaction
JP2017010581A (en) Computer device, service provision system, service provision method, and program
CN113377471A (en) Artificial intelligence interaction method, system, computer equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant