KR102636705B1 - Masking processing server which is able to mask personal information included in voice data, and the operating method thereof - Google Patents
Masking processing server which is able to mask personal information included in voice data, and the operating method thereof Download PDFInfo
- Publication number
- KR102636705B1 KR102636705B1 KR1020220005638A KR20220005638A KR102636705B1 KR 102636705 B1 KR102636705 B1 KR 102636705B1 KR 1020220005638 A KR1020220005638 A KR 1020220005638A KR 20220005638 A KR20220005638 A KR 20220005638A KR 102636705 B1 KR102636705 B1 KR 102636705B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice data
- string
- original
- password
- timestamp
- Prior art date
Links
- 230000000873 masking effect Effects 0.000 title claims abstract description 107
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 238000011017 operating method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 105
- 230000014509 gene expression Effects 0.000 claims description 59
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000012790 confirmation Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
- G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2151—Time stamp
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Storage Device Security (AREA)
Abstract
마스킹 처리 서버 및 그 동작 방법이 개시된다. 본 발명은 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버 및 그 동작 방법을 제시함으로써, 음성 데이터에 포함된 개인 정보가 타인에게 유출되는 것을 방지할 수 있다.A masking processing server and its operating method are disclosed. The present invention can prevent personal information included in voice data from being leaked to others by providing a masking processing server capable of masking personal information included in voice data and an operation method thereof.
Description
본 발명은 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버 및 그 동작 방법에 대한 것이다.The present invention relates to a masking processing server capable of masking personal information included in voice data and a method of operating the same.
최근, 마이크로폰이 탑재된 스마트폰이나 태블릿 pc 등과 같은 모바일 단말이 널리 확산되면서, 다양한 경로를 통해 방대한 양의 음성 데이터가 수집되고 있다.Recently, as mobile terminals such as smartphones and tablet PCs equipped with microphones have become widespread, a vast amount of voice data is being collected through various channels.
예컨대, 모바일 단말에서 지원하는 음성 녹음 기능을 이용하여, 통화나 회의 내용을 녹음함으로써, 음성 데이터를 수집해두는 경우가 많다.For example, voice data is often collected by recording calls or meetings using the voice recording function supported by mobile terminals.
한편, 이렇게 수집된 음성 데이터에는, 주민등록번호나 전화번호 등과 같은 개인 정보가 포함되어 있을 수 있는데, 개인 정보가 무분별하게 타인에게 유출된다면 범죄에 악용될 수 있다는 점에서, 개인 정보가 유출되지 않도록 주의해야 한다.Meanwhile, the voice data collected in this way may contain personal information such as resident registration numbers or phone numbers, but if personal information is indiscriminately leaked to others, it can be misused for crimes, so care must be taken to prevent personal information from being leaked. do.
이와 관련해서, 기존에는, 음성 데이터에 포함되어 있는 개인 정보의 유출을 방지하기 위해서, 사람이 직접 음성 데이터에 포함된 개인 정보를 식별하여, 음성 데이터에 포함된 개인 정보를 일일이 마스킹 처리하는 경우가 많았다.In relation to this, in the past, in order to prevent the leakage of personal information contained in voice data, there were cases where a person directly identified personal information contained in voice data and individually masked the personal information contained in voice data. There were a lot.
하지만, 이러한 기존의 방식은 많은 시간이 소요될 뿐만 아니라, 음성 데이터에 포함되어 있는 개인 정보를 사람이 미처 식별하지 못하여 마스킹 처리되지 않은 경우, 음성 데이터에 포함되어 있는 개인 정보가 쉽게 타인에게 유출될 수 있다는 문제점이 있었다.However, not only does this existing method take a lot of time, but if the personal information contained in the voice data is not properly identified and masked, the personal information contained in the voice data can easily be leaked to others. There was a problem.
만약, 음성 데이터에 포함된 개인 정보를 식별하여 마스킹 처리할 수 있는 기술이 도입된다면, 보다 효율적으로, 음성 데이터에 포함된 개인 정보가 타인에게 유출되는 것을 방지할 수 있을 것이다.If technology is introduced to identify and mask personal information contained in voice data, it will be possible to more efficiently prevent personal information contained in voice data from being leaked to others.
따라서, 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 기술에 대한 연구가 필요하다.Therefore, research is needed on technology that can mask personal information included in voice data.
본 발명은 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버 및 그 동작 방법을 제시함으로써, 음성 데이터에 포함된 개인 정보가 타인에게 유출되는 것을 방지하고자 한다. The present invention seeks to prevent personal information included in voice data from being leaked to others by providing a masking processing server capable of masking personal information included in voice data and an operation method thereof.
본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버는 개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식(regular expression)들이 저장되어 있는 정규 표현식 저장부, 제1 사용자의 제1 전자 단말로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹(masking) 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성하는 변환 텍스트 생성부, 상기 변환 텍스트가 생성되면, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인하는 문자열 확인부, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성하는 마스킹 처리부 및 상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 상기 제1 전자 단말로 전송하는 대체 음성 데이터 전송부를 포함한다.A masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention stores a plurality of different regular expressions that are preset to correspond to the notation format of the personal information. Regular expression storage unit, when original voice data is received from the first electronic terminal of the first user and a request for masking processing of personal information included in the original voice data is received, a pre-built voice recognition model is used Based on this, a converted text generator that generates a converted text for the original voice data by converting the original voice data into text. When the converted text is generated, among the converted texts, a converted text generator is stored in the regular expression storage unit. A string confirmation unit for checking whether a string having a notation format corresponding to the plurality of regular expressions exists, a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit among the converted text. When it is confirmed that at least one first string exists, the personal information is masked by replacing the voice section corresponding to the at least one first string in the original voice data with a preset masking sound. It includes a masking processing unit that generates replacement voice data, and a replacement voice data transmission unit that transmits the replacement voice data to the first electronic terminal when the replacement voice data is generated.
또한, 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법은 개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식들이 저장되어 있는 정규 표현식 저장부를 유지하는 단계, 제1 사용자의 제1 전자 단말로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성하는 단계, 상기 변환 텍스트가 생성되면, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인하는 단계, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성하는 단계 및 상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 상기 제1 전자 단말로 전송하는 단계를 포함한다.In addition, the operating method of the masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention stores a plurality of different regular expressions that are preset to correspond to the notation format of the personal information. Maintaining a regular expression storage unit, when original voice data is received from a first electronic terminal of a first user and a request for masking processing for personal information included in the original voice data is received, a pre-built voice recognition model Based on this, converting the original voice data into text, thereby generating a converted text for the original voice data; when the converted text is generated, among the converted texts, the plurality of words stored in the regular expression storage unit Checking whether a string having a notation format corresponding to the regular expressions exists, converting the converted text into a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit. , If it is confirmed that at least one first string exists, replacement voice data in which personal information is masked by replacing the voice section corresponding to the at least one first string in the original voice data with a preset masking sound. Generating and, once the replacement voice data is generated, transmitting the replacement voice data to the first electronic terminal.
본 발명은 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버 및 그 동작 방법을 제시함으로써, 음성 데이터에 포함된 개인 정보가 타인에게 유출되는 것을 방지할 수 있다.The present invention can prevent personal information included in voice data from being leaked to others by providing a masking processing server capable of masking personal information included in voice data and an operation method thereof.
도 1은 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법을 도시한 순서도이다.Figure 1 is a diagram showing the structure of a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the operation of a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention.
Figure 3 is a flowchart showing the operation method of a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. In describing each drawing, similar reference numerals are used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, are within the scope of common knowledge in the technical field to which the present invention pertains. It has the same meaning as generally understood by those who have it.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary. Additionally, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more subcomponents, and the electrical, electronic, and mechanical functions performed by each component may be electronic. It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, and ASICs (Application Specific Integrated Circuits), and may be implemented separately or by integrating two or more into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.Meanwhile, the blocks in the attached block diagram or the steps in the flow chart are computer program instructions that are mounted on the processor or memory of equipment capable of data processing, such as general-purpose computers, special-purpose computers, portable laptop computers, and network computers, and perform designated functions. It can be interpreted to mean. Because these computer program instructions can be stored in a memory provided in a computer device or in a computer-readable memory, the functions described in the blocks of a block diagram or the steps of a flow diagram can be produced as a manufactured product containing instruction means to perform them. It could be. In addition, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). Additionally, it should be noted that in some alternative embodiments, it is possible for functions mentioned in blocks or steps to be executed in a different order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 구조를 도시한 도면이다.Figure 1 is a diagram showing the structure of a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 마스킹 처리 서버(110)는 정규 표현식 저장부(111), 변환 텍스트 생성부(112), 문자열 확인부(113), 마스킹 처리부(114) 및 대체 음성 데이터 전송부(115)를 포함한다.Referring to FIG. 1, the
정규 표현식 저장부(111)에는 개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식(regular expression)들이 저장되어 있다.The regular
여기서, 정규 표현식이란 '111 2222 3333'이나 '123456 4567890'과 같이, 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어를 의미한다.Here, regular expression refers to a formal language used to express a set of strings with specific rules, such as '111 2222 3333' or '123456 4567890'.
예컨대, 정규 표현식 저장부(111)에는 하기의 표 1과 같은 개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식들이 저장되어 있을 수 있다. For example, the regular
변환 텍스트 생성부(112)는 제1 사용자(141)의 제1 전자 단말(151)로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹(masking) 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성한다.The
이때, 본 발명의 일실시예에 따르면, 변환 텍스트 생성부(112)는 타임스탬프 할당부(116) 및 변환 텍스트 생성 처리부(117)를 포함할 수 있다.At this time, according to one embodiment of the present invention, the converted
타임스탬프 할당부(116)는 제1 전자 단말(151)로부터, 상기 원본 음성 데이터가 수신되면서, 상기 마스킹 처리 요청이 수신되면, 상기 원본 음성 데이터에 대해, 사전 설정된 제1 시간 간격마다 타임스탬프(timestamp)를 할당한다.When the original voice data is received from the first
변환 텍스트 생성 처리부(117)는 상기 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 변환 텍스트를 생성하되, 상기 원본 음성 데이터가 텍스트로 변환되기 시작하면, 상기 원본 음성 데이터에서 타임스탬프가 할당된 지점에 대한 텍스트가 생성될 때마다, 상기 원본 음성 데이터에 할당된 타임스탬프와 동일한 타임스탬프를 텍스트에 할당함으로써, 타임스탬프가 할당된 상기 변환 텍스트를 생성한다.The converted text
이하에서는, 도 2를 참조하여 타임스탬프 할당부(116) 및 변환 텍스트 생성 처리부(117)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, the operations of the
먼저, 마스킹 처리 서버(110)에 제1 사용자(141)의 제1 전자 단말(151)로부터, '음성 데이터 1'이 수신되면서, '음성 데이터 1'에 포함된 개인 정보에 대한 마스킹 처리 요청이 수신되었다고 가정하자.First, when 'Voice Data 1' is received from the first
이때, 사전 설정된 제1 시간을 '0.5초'라고 하고, '음성 데이터 1'이 도 2의 도면부호 210으로 표시된 그림과 같다고 하는 경우, 타임스탬프 할당부(116)는 도 2에 도시된 그림과 같이, '음성 데이터 1(210)'에 대해, '0.5초' 간격마다 타임스탬프(211)를 할당할 수 있다.At this time, if the preset first time is '0.5 seconds' and 'voice data 1' is the same as the picture indicated by reference numeral 210 in FIG. 2, the
그러면, 변환 텍스트 생성 처리부(117)는 사전 구축된 음성 인식 모델을 기초로, '음성 데이터 1(210)'을 텍스트로 변환함으로써, '음성 데이터 1(210)'에 대한 변환 텍스트를 생성할 수 있다.Then, the converted text
이때, 상기 음성 인식 모델을 기초로, '음성 데이터 1(210)'이 텍스트로 변환됨으로써 생성되는 상기 변환 텍스트가 도 2의 도면부호 220으로 표시된 그림과 같다고 하는 경우, 변환 텍스트 생성 처리부(117)는 '음성 데이터 1(210)'이 텍스트로 변환되기 시작하면, '음성 데이터 1(210)'에서 타임스탬프(211)가 할당된 지점에 대한 텍스트가 생성될 때마다, '음성 데이터 1(210)'에 할당된 타임스탬프(211)와 동일한 타임스탬프를 텍스트에 할당함으로써, 타임스탬프가 할당된 변환 텍스트(220)를 생성할 수 있다.At this time, if the converted text generated by converting 'voice data 1 (210)' into text based on the speech recognition model is the same as the figure indicated by reference numeral 220 in FIG. 2, the converted
이렇게, 변환 텍스트 생성부(112)에 의해 상기 변환 텍스트가 생성되면, 문자열 확인부(113)는 상기 변환 텍스트 중, 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인한다.In this way, when the converted text is generated by the converted
예컨대, 도 2에 도시된 예와 같이, 변환 텍스트 생성부(112)에 의해 변환 텍스트(220)가 생성되었다고 하는 경우, 문자열 확인부(113)는 변환 텍스트(220) 중, 상기 표 1과 같은 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인할 수 있다.For example, as in the example shown in FIG. 2, when the converted text 220 is generated by the
관련해서, 상기 표 1과 같은 정규 표현식 저장부(111)를 참조하여, 변환 텍스트(220)와 상기 복수의 정규 표현식들을 서로 비교해보면, 변환 텍스트(220) 중 도면부호 221로 표시되어 있는 문자열은 '휴대폰번호 표기 형식'에 대응되는 표기 형식을 갖고 있고, 도면부호 222로 표시되어 있는 문자열은 '전화번호 표기 형식'에 대응되는 표기 형식을 갖고 있는 것으로 확인할 수 있다.In relation to this, when comparing the converted text 220 and the plurality of regular expressions with reference to the regular
따라서, 문자열 확인부(113)는 변환 텍스트(220) 중, 상기 표 1과 같은 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 문자열(221)과 문자열(222)이 존재하는 것으로 확인할 수 있다.Therefore, the
이렇게, 문자열 확인부(113)에 의해, 상기 변환 텍스트 중, 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 마스킹 처리부(114)는 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성한다.In this way, the
대체 음성 데이터 전송부(115)는 마스킹 처리부(114)에 의해 상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 제1 전자 단말(151)로 전송한다.When the replacement voice data is generated by the masking
이때, 본 발명의 일실시예에 따르면, 마스킹 처리부(114)는 타임스탬프 확인부(118), 음성 구간 추출부(119) 및 마스킹 처리 수행부(120)를 포함할 수 있다.At this time, according to an embodiment of the present invention, the masking
타임스탬프 확인부(118)는 문자열 확인부(113)에 의해, 상기 변환 텍스트 중, 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 상기 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 적어도 하나의 제1 문자열 각각에 대해, 각 문자열에서 최초로 존재하는 제1 타임스탬프와 마지막으로 존재하는 제2 타임스탬프를 확인한다.The
음성 구간 추출부(119)는 상기 적어도 하나의 제1 문자열 각각에 대해, 상기 제1 타임스탬프와 상기 제2 타임스탬프가 확인되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대한 상기 제1 타임스탬프와 상기 제2 타임스탬프 사이에 존재하는 음성 구간을, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간으로 추출한다.When the first timestamp and the second timestamp are confirmed for each of the at least one first string, the
마스킹 처리 수행부(120)는 음성 구간 추출부(119)에 의해 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간이 추출되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간을, 상기 마스킹 사운드로 대체함으로써, 상기 대체 음성 데이터를 생성한다.When a voice section corresponding to each of the at least one first string is extracted by the
이하에서는, 타임스탬프 확인부(118), 음성 구간 추출부(119), 마스킹 처리 수행부(120) 및 대체 음성 데이터 전송부(115)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, the operations of the
먼저, 도 2을 이용하여 설명한 전술한 예와 같이, 문자열 확인부(113)에 의해 변환 텍스트(220) 중, 상기 표 1과 같은 정규 표현식 저장부(111)에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 문자열(221)과 문자열(222)이 존재하는 것으로 확인되었다고 가정하자.First, as in the above-mentioned example explained using FIG. 2, the plurality of regular expressions stored in the regular
그러면, 타임스탬프 확인부(118)는 문자열(221)과 문자열(222)에 대해, 각 문자열에서 최초로 존재하는 제1 타임스탬프와 마지막으로 존재하는 제2 타임스탬프를 확인할 수 있다.Then, the
관련해서, 도 2를 참조하면, 문자열(221)에서 최초로 존재하는 제1 타임스탬프는 타임스탬프(223)이고, 마지막으로 존재하는 제2 타임스탬프는 타임스탬프(224)이며, 문자열(222)에서 최초로 존재하는 제1 타임스탬프는 타임스탬프(225)이고, 마지막으로 존재하는 제2 타임스탬프는 타임스탬프(226)이므로, 타임스탬프 확인부(118)는 문자열(221)에 대한 상기 제1 타임스탬프와 상기 제2 타임스탬프를, 타임스탬프(223)와 타임스탬프(224)인 것으로 확인할 수 있고, 문자열(222)에 대한 상기 제1 타임스탬프와 상기 제2 스탬프를, 타임스탬프(225)와 타임스탬프(226)인 것으로 확인할 수 있다.Relatedly, referring to Figure 2, the first timestamp that occurs first in string 221 is timestamp 223, the second timestamp that occurs last is timestamp 224, and in string 222 Since the first timestamp that exists first is the timestamp 225, and the second timestamp that exists last is the timestamp 226, the
그러면, 음성 구간 추출부(119)는 '음성 데이터 1(210)'에서, 타임스탬프(223)와 타임스탬프(224) 사이에 존재하는 음성 구간(212)을, 문자열(221)에 대응되는 음성 구간으로 추출할 수 있고, 타임스탬프(225)와 타임스탬프(226) 사이에 존재하는 음성 구간(213)을, 문자열(222)에 대응되는 음성 구간으로 추출할 수 있다.Then, the
그러고 나서, 마스킹 처리 수행부(120)는 '음성 데이터 1(210)'에서, 음성 구간(212)과 음성 구간(213)을 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성할 수 있다. 여기서, 사전 설정된 마스킹 사운드란 '삐-' 소리와 같은 소정의 노이즈 음원을 의미한다.Then, the masking
그러면, 대체 음성 데이터 전송부(115)는 상기 대체 음성 데이터를 제1 전자 단말(151)로 전송할 수 있다.Then, the replacement voice
본 발명의 일실시예에 따르면, 마스킹 처리 서버(110)는 인증 행렬 저장부(121), 이벤트 발생부(122), 비밀번호 설정 요청부(123), 연산 행렬 생성부(124), 해시 값 생성부(125) 및 저장 처리부(126)를 더 포함할 수 있다.According to one embodiment of the present invention, the masking
인증 행렬 저장부(121)에는 '1'과 '0'의 성분들로 구성된, 사전 설정된 n(n은 2 이상의 자연수임) x n 크기의 인증 행렬이 저장되어 있다.The authentication
예컨대, n을 '3'이라고 하는 경우, 인증 행렬 저장부(121)에는 ''과 같은 '3 x 3' 크기의 인증 행렬이 저장되어 있을 수 있다.For example, if n is '3', the authentication
이벤트 발생부(122)는 상기 대체 음성 데이터가 제1 전자 단말(151)로 전송되면, 상기 원본 음성 데이터를 보관하기 위한 보관 이벤트를 발생시킨다.When the replacement voice data is transmitted to the first
비밀번호 설정 요청부(123)는 이벤트 발생부(122)에 의해 상기 보관 이벤트가 발생되면, 제1 전자 단말(151)로, 상기 원본 음성 데이터에 대한 액세스를 가능하게 하기 위한 비밀번호를 설정할 것을 요청하는 비밀번호 설정 요청 메시지를 전송한다.When the storage event is generated by the
연산 행렬 생성부(124)는 상기 비밀번호 설정 요청 메시지에 대응하여 제1 사용자(141)에 의해 제1 비밀번호가 설정됨에 따라, 제1 전자 단말(151)로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로(modulo) 연산을 수행함으로써, 제1 연산 값 x를 산출하고, 인증 행렬 저장부(121)에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 제1 열벡터와, x+1번째 행에 위치하는 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 n x n 크기의 제1 연산 행렬을 생성한다.When the first password is received from the first
여기서, 모듈로 연산은 피제수를 제수로 나누는 나눗셈을 수행하여 그에 대한 나머지(remainder)를 산출하는 연산을 의미한다.Here, the modulo operation refers to an operation that performs division by dividing the dividend by the divisor and calculates the remainder.
해시 값 생성부(125)는 상기 대체 음성 데이터를, 사전 설정된 해시 함수에 입력으로 인가하여 제1 해시 값을 생성한다.The
저장 처리부(126)는 상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터를 서로 대응시켜 원본 음성 보관용 데이터베이스(133)에 저장한다.The
이하에서는, 이벤트 발생부(122), 비밀번호 설정 요청부(123), 연산 행렬 생성부(124), 해시 값 생성부(125) 및 저장 처리부(126)의 동작을 예를 들어, 상세히 설명하기로 한다.Below, the operations of the
먼저, 전술한 예와 같이, 대체 음성 데이터 전송부(115)에 의해 상기 대체 음성 데이터가 제1 전자 단말(151)로 전송되었다고 가정하자.First, as in the above-described example, let us assume that the alternative voice data is transmitted to the first
이때, 이벤트 발생부(122)는 상기 원본 음성 데이터인 '음성 데이터 1'을 보관하기 위한 보관 이벤트를 발생시킬 수 있다.At this time, the
그러면, 비밀번호 설정 요청부(123)는 제1 전자 단말(151)로, '음성 데이터 1'에 대한 액세스를 가능하게 하기 위한 비밀번호를 설정할 것을 요청하는 비밀번호 설정 요청 메시지를 전송할 수 있다.Then, the password
이에 따라, 제1 전자 단말(151)에 마스킹 처리 서버(110)로부터, 상기 비밀번호 설정 요청 메시지가 수신되면, 제1 전자 단말(151)은 화면 상에 상기 비밀번호 설정 요청 메시지를 표시할 수 있다. 그러면, 제1 사용자(141)는 상기 비밀번호 설정 요청 메시지를 확인하여, 제1 비밀번호를 설정할 수 있다. 이때, 상기 제1 비밀번호가 '1230'이라고 하는 경우, 제1 전자 단말(151)은 마스킹 처리 서버(110)로 상기 제1 비밀번호인 '1230'을 전송할 수 있다.Accordingly, when the first
이렇게, 마스킹 처리 서버(110)에 제1 전자 단말(151)로부터, 상기 제1 비밀번호인 '1230'이 수신되면, 연산 행렬 생성부(124)는 '1230'에 대해 '3'을 제수로 하는 모듈로 연산을 수행함으로써, 제1 연산 값을 '0'과 같이 산출할 수 있다.In this way, when the
그러고 나서, 연산 행렬 생성부(124)는 인증 행렬 저장부(121)에 저장되어 있는 상기 인증 행렬인 ''로부터, '1'번째 열에 위치하는 제1 열벡터인 ''과, '1'번째 행에 위치하는 제1 행벡터인 ''을 추출한 후, 상기 제1 열벡터인 ''과 상기 제1 행벡터인 ''을 행렬 곱하여 '3 x 3' 크기의 제1 연산 행렬을 ''과 같이 생성할 수 있다.Then, the
그 이후, 해시 값 생성부(125)는 상기 대체 음성 데이터를, 사전 설정된 해시 함수에 입력으로 인가하여 '해시 값 1'을 생성할 수 있다.Afterwards, the
그러면, 저장 처리부(126)는 하기의 표 2와 같이, 상기 제1 연산 행렬인 '', '해시 값 1' 및 '음성 데이터 1'을 서로 대응시켜 원본 음성 보관용 데이터베이스(133)에 저장할 수 있다.Then, the
이때, 본 발명의 일실시예에 따르면, 마스킹 처리 서버(110)는 비밀번호 입력 요청부(127), 생성 처리부(128), 연산 행렬 확인부(129) 및 원본 음성 데이터 전송부(130)를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the masking
비밀번호 입력 요청부(127)는 저장 처리부(126)에 의해 상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터가 서로 대응되어 원본 음성 보관용 데이터베이스(133)에 저장된 이후, 제1 사용자(141)에게서 상기 대체 음성 데이터와 상기 제1 비밀번호를 제공받은 제2 사용자(142)의 제2 전자 단말(152)로부터, 상기 대체 음성 데이터에 대한 마스킹 해제 요청이 수신되면, 제2 전자 단말(152)로, 상기 대체 음성 데이터의 전송을 요청하면서, 상기 원본 음성 데이터에 대한 액세스를 위한 비밀번호를 입력할 것을 요청하는 비밀번호 입력 요청 메시지를 전송한다.The password
생성 처리부(128)는 상기 대체 음성 데이터의 전송 요청에 대응하여, 제2 전자 단말(152)로부터 상기 대체 음성 데이터가 수신되고, 제2 사용자(142)에 의해 제2 전자 단말(152)에 상기 제1 비밀번호가 입력됨에 따라, 제2 전자 단말(152)로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로 연산을 수행함으로써, 상기 제1 연산 값 x를 산출하고, 인증 행렬 저장부(121)에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 상기 제1 열벡터와, x+1번째 행에 위치하는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 상기 제1 연산 행렬을 생성하고, 상기 대체 음성 데이터를 상기 해시 함수에 입력으로 인가하여 상기 제1 해시 값을 생성한다.The
연산 행렬 확인부(129)는 상기 제1 연산 행렬과 상기 제1 해시 값이 생성되면, 원본 음성 보관용 데이터베이스(133) 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는지 여부를 확인한다.When the first operation matrix and the first hash value are generated, the operation
원본 음성 데이터 전송부(130)는 연산 행렬 생성부(124)에 의해 원본 음성 보관용 데이터베이스(133) 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는 것으로 확인되면, 원본 음성 보관용 데이터베이스(133)로부터, 상기 제1 해시 값에 대응되어 저장되어 있는 상기 원본 음성 데이터를 추출한 후, 상기 원본 음성 데이터를 제2 전자 단말(152)로 전송한다.The original voice
이하에서는, 비밀번호 입력 요청부(127), 생성 처리부(128), 연산 행렬 확인부(129) 및 원본 음성 데이터 전송부(130)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, the operations of the password
먼저, 전술한 예와 같이, 저장 처리부(126)에 의해 상기 표 2와 같이, 상기 제1 연산 행렬인 '', '해시 값 1' 및 '음성 데이터 1'이 서로 대응되어 원본 음성 보관용 데이터베이스(133)에 저장되었다고 하고, 그 이후, 제2 사용자(142)가 제1 사용자(141)로부터 상기 대체 음성 데이터와 상기 제1 비밀번호인 '1230'을 제공받은 상황이라고 가정하자.First, as in the above-mentioned example, the
이때, 제2 사용자(142)는 제2 전자 단말(152)을 이용하여 상기 대체 음성 데이터를 재생시킴으로써, 제1 사용자(141)로부터 제공받은 상기 대체 음성 데이터를 청취할 수 있을 것이다. 하지만, 상기 대체 음성 데이터는 개인 정보가 사전 설정된 마스킹 사운드로 마스킹 처리된 음성 데이터이기 때문에, 제2 사용자(142)는 상기 대체 음성 데이터에서 마스킹이 해제된 원본 음성 데이터를 청취하고 싶을 수 있을 것이다. 이 경우, 제2 사용자(142)는 제1 사용자(141)로부터 전달받은 상기 제1 비밀번호인 '1230'을 이용하여, 상기 대체 음성 데이터에 설정되어 있는 마스킹에 대한 해제 절차를 진행할 수 있는데, 구체적으로, 제2 사용자(142)는 제2 전자 단말(152)을 통해 마스킹 처리 서버(110)로 상기 대체 음성 데이터에 대한 마스킹 해제 요청을 전송할 수 있다.At this time, the
이로 인해, 제2 사용자(142)의 제2 전자 단말(152)로부터, 마스킹 처리 서버(110)에 상기 대체 음성 데이터에 대한 마스킹 해제 요청이 수신되었다고 하면, 비밀번호 입력 요청부(127)는 제2 전자 단말(152)로, 상기 대체 음성 데이터의 전송을 요청하면서, '음성 데이터 1'에 대한 액세스를 위한 비밀번호를 입력할 것을 요청하는 비밀번호 입력 요청 메시지를 전송할 수 있다.For this reason, if a request to unmask the replacement voice data is received from the second
이에 따라, 제2 전자 단말(152)에 마스킹 처리 서버(110)로부터, 상기 대체 음성 데이터의 전송 요청과 상기 비밀번호 입력 요청 메시지가 수신되면, 제2 전자 단말(152)은 마스킹 처리 서버(110)로 상기 대체 음성 데이터를 전송할 수 있고, 화면 상에 상기 비밀번호 입력 요청 메시지를 표시할 수 있다. 이때, 제2 사용자(142)는 상기 비밀번호 입력 요청 메시지를 확인하여, 제2 전자 단말(152)에 상기 제1 비밀번호인 '1230'을 입력할 수 있다. 그러면, 제2 전자 단말(152)은 마스킹 처리 서버(110)로 상기 제1 비밀번호인 '1230'을 전송할 수 있다.Accordingly, when the second
이러한 방식으로, 마스킹 처리 서버(110)에 제2 전자 단말(152)로부터, 상기 대체 음성 데이터와 상기 제1 비밀번호인 '1230'이 수신되면, 생성 처리부(128)는 '1230'에 대해 '3'을 제수로 하는 모듈로 연산을 수행함으로써, 상기 제1 연산 값인 '0'을 산출할 수 있고, 인증 행렬 저장부(121)에 저장되어 있는 상기 인증 행렬인 ''로부터, '1'번째 열에 위치하는 제1 열벡터인 ''과, '1'번째 행에 위치하는 제1 행벡터인 ''을 추출할 수 있다.In this way, when the
그러고 나서, 생성 처리부(128)는 상기 제1 열벡터인 ''과 상기 제1 행벡터인 ''을 행렬 곱하여 상기 제1 연산 행렬인 ''을 생성할 수 있고, 상기 대체 음성 데이터를 상기 해시 함수에 입력으로 인가하여 '해시 값 1'을 생성할 수 있다.Then, the
그러면, 연산 행렬 확인부(129)는 상기 표 2와 같은 원본 음성 보관용 데이터베이스(133) 상에, '해시 값 1'에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬인 ''과 일치하는지 여부를 확인할 수 있다.Then, the operation
관련해서, 상기 표 2와 같은 원본 음성 보관용 데이터베이스(133)에서는, '해시 값 1'에 대응되어 저장되어 있는 연산 행렬이 ''이므로, 연산 행렬 확인부(129)는 상기 표 2와 같은 원본 음성 보관용 데이터베이스(133) 상에, '해시 값 1'에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬인 ''과 일치하는 것으로 확인할 수 있다.In relation to this, in the original
그러면, 원본 음성 데이터 전송부(130)는 상기 표 2와 같은 원본 음성 보관용 데이터베이스(133)로부터 '해시 값 1'에 대응되어 저장되어 있는 '음성 데이터 1'을 추출한 후, '음성 데이터 1'을 제2 전자 단말(152)로 전송할 수 있다.Then, the original voice
이를 통해, 제2 사용자(142)는 마스킹 해제가 완료된 원본 음성 데이터인 '음성 데이터 1'을 획득할 수 있고, 제2 전자 단말(152)을 통해 원본 음성 데이터인 '음성 데이터 1'을 청취할 수 있다.Through this, the
이때, 본 발명의 일실시예에 따르면, 마스킹 처리 서버(110)는 이력 정보 생성부(131) 및 등록 요청부(132)를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the masking
이력 정보 생성부(131)는 원본 음성 데이터 전송부(130)에 의해 상기 원본 음성 데이터가 제2 전자 단말(152)로 전송되면, 상기 원본 음성 데이터가 제2 전자 단말(152)로 전송된 현재 시점에 대한 시간 정보를 생성하고, 제2 전자 단말(152)로부터, 제2 전자 단말(152)의 단말 식별 정보와, 제2 전자 단말(152)의 현재 위치에 대한 위치 정보를 수신하여, 상기 시간 정보, 상기 단말 식별 정보 및 상기 위치 정보로 구성된 마스킹 해제 이력 정보를 생성한다.When the original voice data is transmitted to the second
등록 요청부(132)는 이력 정보 생성부(131)에 의해 상기 마스킹 해제 이력 정보가 생성되면, 블록체인 네트워크(100)를 구성하고 있는 복수의 노드 장치들(101, 102, 103, 104, 105, 106) 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 트랜잭션을 전송하면서, 상기 트랜잭션의 블록체인 네트워크(100)로의 등록 요청을 전송한다.When the unmasking history information is generated by the history
이하에서는, 이력 정보 생성부(131) 및 등록 요청부(132)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, the operations of the history
먼저, 전술한 예와 같이, 원본 음성 데이터 전송부(130)에 의해 '음성 데이터 1'이 제2 전자 단말(152)로 전송되었다고 가정하자.First, let us assume that 'voice data 1' is transmitted to the second
그러면, 이력 정보 생성부(131)는 '음성 데이터 1'이 제2 전자 단말(152)로 전송된 현재 시점에 대한 시간 정보를 '시간 정보 1'과 같이 생성할 수 있고, 제2 전자 단말(152)로부터, 제2 전자 단말(152)의 단말 식별 정보인 '단말 식별 정보 1'과, 제2 전자 단말(152)의 현재 위치에 대한 위치 정보인 '위치 정보 1'을 수신할 수 있다.Then, the
그러고 나서, 이력 정보 생성부(131)는 '시간 정보 1', '단말 식별 정보 1' 및 '위치 정보 1'로 구성된 마스킹 해제 이력 정보를 생성할 수 있다.Then, the
그러면, 등록 요청부(132)는 블록체인 네트워크(100)를 구성하고 있는 복수의 노드 장치들(101, 102, 103, 104, 105, 106) 중 어느 하나인 제1 노드 장치를 랜덤하게 선택할 수 있다.Then, the
이때, 상기 제1 노드 장치를 노드 장치(101)라고 하는 경우, 등록 요청부(132)는 노드 장치(101)로, 상기 트랜잭션을 전송하면서, 상기 트랜잭션의 블록체인 네트워크(100)로의 등록 요청을 전송할 수 있다.At this time, when the first node device is called the
이때, 상기 제1 노드 장치는 마스킹 처리 서버(110)로부터 상기 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 블록체인 네트워크(100)를 통해 상기 제1 블록을, 복수의 노드 장치들(101, 102, 103, 104, 105, 106) 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파한다.At this time, when the first node device receives the transaction and the registration request from the masking
예컨대, 전술한 예와 같이, 상기 제1 노드 장치를 노드 장치(101)라고 하고, 등록 요청부(132)가 노드 장치(101)로 상기 트랜잭션을 전송하면서, 상기 트랜잭션의 블록체인 네트워크(100)로의 등록 요청을 전송함에 따라, 노드 장치(101)에, 상기 트랜잭션과 상기 등록 요청이 수신되었다고 하는 경우, 노드 장치(101)는 노드 장치(101)의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 블록체인 네트워크(100)를 통해 상기 제1 블록을, 복수의 노드 장치들(101, 102, 103, 104, 105, 106) 중 노드 장치(101)를 제외한 나머지 노드 장치들(102, 103, 104, 105, 106)로 전파할 수 있다.For example, as in the above-mentioned example, the first node device is called the
구체적으로, 노드 장치(101)는 마스킹 처리 서버(110)로부터 상기 트랜잭션과 상기 등록 요청이 수신되면, 상기 블록체인 데이터에 체인으로 연결되어 있는 이전 블록의 블록 헤더를 참조하여 상기 트랜잭션이 포함된 새로운 블록인 상기 제1 블록을 생성할 수 있다. 그러고 나서, 노드 장치(101)는 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후 블록체인 네트워크(100)를 통해 상기 제1 블록을 나머지 노드 장치들(102, 103, 104, 105, 106)로 전파할 수 있다.Specifically, when the
이렇게, 본 발명에 따른 마스킹 처리 서버(110)는 상기 원본 음성 데이터가 제2 전자 단말(152)로 전송 완료되면, 상기 마스킹 해제 이력 정보를 생성하여 블록체인 네트워크(100)에 등록해 둠으로써, 관리자가 상기 마스킹 해제 이력 정보를 확인하여, 상기 원본 음성 데이터가 제2 전자 단말(152)로 전송된 시점에 대한 시간 정보, 상기 원본 음성 데이터를 수신한 제2 전자 단말(152)의 단말 식별 정보와 위치 정보를 확인할 수 있도록 지원할 수 있다.In this way, when the original voice data is completely transmitted to the second
도 3은 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법을 도시한 순서도이다.Figure 3 is a flowchart showing the operation method of a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention.
단계(S310)에서는 개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식들이 저장되어 있는 정규 표현식 저장부를 유지한다.In step S310, a regular expression storage unit is maintained in which a plurality of different regular expressions preset to correspond to the notation format of personal information are stored.
단계(S320)에서는 제1 사용자의 제1 전자 단말로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성한다.In step S320, when original voice data is received from the first electronic terminal of the first user and a request for masking processing of personal information included in the original voice data is received, based on a pre-built voice recognition model, By converting the original voice data into text, converted text for the original voice data is generated.
단계(S330)에서는 상기 변환 텍스트가 생성되면, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인한다.In step S330, when the converted text is generated, it is checked whether a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit exists among the converted text.
단계(S340)에서는 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성한다.In step S340, if it is confirmed that at least one first string exists among the converted text as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage, the original Replacement voice data with personal information masked is generated by replacing the voice section corresponding to the at least one first string in voice data with a preset masking sound.
단계(S350)에서는 상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 상기 제1 전자 단말로 전송한다.In step S350, when the replacement voice data is generated, the replacement voice data is transmitted to the first electronic terminal.
이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 제1 전자 단말로부터, 상기 원본 음성 데이터가 수신되면서, 상기 마스킹 처리 요청이 수신되면, 상기 원본 음성 데이터에 대해, 사전 설정된 제1 시간 간격마다 타임스탬프를 할당하는 단계 및 상기 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 변환 텍스트를 생성하되, 상기 원본 음성 데이터가 텍스트로 변환되기 시작하면, 상기 원본 음성 데이터에서 타임스탬프가 할당된 지점에 대한 텍스트가 생성될 때마다, 상기 원본 음성 데이터에 할당된 타임스탬프와 동일한 타임스탬프를 텍스트에 할당함으로써, 타임스탬프가 할당된 상기 변환 텍스트를 생성하는 단계를 포함할 수 있고, 단계(S340)에서는 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 상기 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 적어도 하나의 제1 문자열 각각에 대해, 각 문자열에서 최초로 존재하는 제1 타임스탬프와 마지막으로 존재하는 제2 타임스탬프를 확인하는 단계, 상기 적어도 하나의 제1 문자열 각각에 대해, 상기 제1 타임스탬프와 상기 제2 타임스탬프가 확인되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대한 상기 제1 타임스탬프와 상기 제2 타임스탬프 사이에 존재하는 음성 구간을, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간으로 추출하는 단계 및 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간이 추출되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간을, 상기 마스킹 사운드로 대체함으로써, 상기 대체 음성 데이터를 생성하는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S320, when the original voice data is received from the first electronic terminal and the masking processing request is received, a preset first voice data is applied to the original voice data. Allocating a timestamp for each time interval and converting the original voice data into text based on the voice recognition model to generate the converted text, wherein when the original voice data begins to be converted into text, the original voice generating the converted text to which a timestamp is assigned, by assigning the same timestamp to the text as the timestamp assigned to the original speech data, whenever text is generated for a point in the data to which a timestamp is assigned. It can be done, and in step S340, the at least one first string is determined to exist as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit among the converted text. If confirmed, for each of the at least one first string, confirming a first timestamp that occurs first and a second timestamp that occurs last in each string, for each of the at least one first string, When the first timestamp and the second timestamp are confirmed, in the original voice data, a voice section existing between the first timestamp and the second timestamp for each of the at least one first string is identified, extracting a voice section corresponding to each of the at least one first string; and when the voice section corresponding to each of the at least one first string is extracted, from the original voice data, a voice section corresponding to each of the at least one first string It may include generating the replacement voice data by replacing the voice section with the masking sound.
또한, 본 발명의 일실시예에 따르면, 상기 마스킹 처리 서버의 동작 방법은 '1'과 '0'의 성분들로 구성된, 사전 설정된 n(n은 2 이상의 자연수임) x n 크기의 인증 행렬이 저장되어 있는 인증 행렬 저장부를 유지하는 단계, 상기 대체 음성 데이터가 상기 제1 전자 단말로 전송되면, 상기 원본 음성 데이터를 보관하기 위한 보관 이벤트를 발생시키는 단계, 상기 보관 이벤트가 발생되면, 상기 제1 전자 단말로, 상기 원본 음성 데이터에 대한 액세스를 가능하게 하기 위한 비밀번호를 설정할 것을 요청하는 비밀번호 설정 요청 메시지를 전송하는 단계, 상기 비밀번호 설정 요청 메시지에 대응하여 상기 제1 사용자에 의해 제1 비밀번호가 설정됨에 따라, 상기 제1 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로 연산을 수행함으로써, 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 제1 열벡터와, x+1번째 행에 위치하는 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 n x n 크기의 제1 연산 행렬을 생성하는 단계, 상기 대체 음성 데이터를, 사전 설정된 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하는 단계 및 상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터를 서로 대응시켜 원본 음성 보관용 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In addition, according to one embodiment of the present invention, the operating method of the masking processing server stores an authentication matrix of size n (where n is a natural number of 2 or more) x n, which is preset and composed of components of '1' and '0'. maintaining an authentication matrix storage unit, generating a storage event for storing the original voice data when the replacement voice data is transmitted to the first electronic terminal, and when the storage event occurs, the first electronic terminal Transmitting, to a terminal, a password setting request message requesting to set a password to enable access to the original voice data, wherein a first password is set by the first user in response to the password setting request message. Accordingly, when the first password is received from the first electronic terminal, a first operation value x is calculated by performing a modulo operation with n as a divisor on the first password, and stored in the authentication matrix storage. From the authentication matrix, the first column vector located in the x+1th column and the first row vector located in the x+1th row are extracted, and then the first column vector and the first row vector are multiplied by a matrix of n x n size. Generating a first operation matrix, applying the replacement voice data as an input to a preset hash function to generate a first hash value, and the first operation matrix, the first hash value, and the original voice data It may further include the step of matching each other and storing them in a database for archiving the original voice.
이때, 본 발명의 일실시예에 따르면, 상기 마스킹 처리 서버의 동작 방법은 상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터가 서로 대응되어 상기 원본 음성 보관용 데이터베이스에 저장된 이후, 상기 제1 사용자에게서 상기 대체 음성 데이터와 상기 제1 비밀번호를 제공받은 제2 사용자의 제2 전자 단말로부터, 상기 대체 음성 데이터에 대한 마스킹 해제 요청이 수신되면, 상기 제2 전자 단말로, 상기 대체 음성 데이터의 전송을 요청하면서, 상기 원본 음성 데이터에 대한 액세스를 위한 비밀번호를 입력할 것을 요청하는 비밀번호 입력 요청 메시지를 전송하는 단계, 상기 대체 음성 데이터의 전송 요청에 대응하여, 상기 제2 전자 단말로부터 상기 대체 음성 데이터가 수신되고, 상기 제2 사용자에 의해 상기 제2 전자 단말에 상기 제1 비밀번호가 입력됨에 따라, 상기 제2 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로 연산을 수행함으로써, 상기 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 상기 제1 열벡터와, x+1번째 행에 위치하는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 상기 제1 연산 행렬을 생성하고, 상기 대체 음성 데이터를 상기 해시 함수에 입력으로 인가하여 상기 제1 해시 값을 생성하는 단계, 상기 제1 연산 행렬과 상기 제1 해시 값이 생성되면, 상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는지 여부를 확인하는 단계 및 상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는 것으로 확인되면, 상기 원본 음성 보관용 데이터베이스로부터, 상기 제1 해시 값에 대응되어 저장되어 있는 상기 원본 음성 데이터를 추출한 후, 상기 원본 음성 데이터를 상기 제2 전자 단말로 전송하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the method of operating the masking processing server includes storing the first operation matrix, the first hash value, and the original voice data in the database for storing the original voice in correspondence with each other, When a request for unmasking the replacement voice data is received from a second electronic terminal of a second user who has received the replacement voice data and the first password from the first user, the replacement voice data is sent to the second electronic terminal. transmitting a password input request message requesting to enter a password for access to the original voice data while requesting transmission of the replacement voice data, in response to the request for transmission of the replacement voice data, As voice data is received and the first password is input into the second electronic terminal by the second user, when the first password is received from the second electronic terminal, n is divided by the first password. By performing a modulo operation, the first operation value x is calculated, and from the authentication matrix stored in the authentication matrix storage unit, the first column vector located in the x+1th column, and x+1 After extracting the first row vector located in the th row, the first operation matrix is generated by matrix multiplying the first column vector and the first row vector, and the replacement voice data is applied as an input to the hash function to generate the first operation matrix. 1 Step of generating a hash value, when the first operation matrix and the first hash value are generated, the operation matrix stored corresponding to the first hash value on the original voice storage database is the first operation matrix. Checking whether the matrix matches the original voice storage database, and if the operation matrix stored corresponding to the first hash value is confirmed to match the first operation matrix, the original voice storage database The method may further include extracting the original voice data stored in correspondence with the first hash value from the database and then transmitting the original voice data to the second electronic terminal.
이때, 본 발명의 일실시예에 따르면, 상기 마스킹 처리 서버의 동작 방법은 상기 원본 음성 데이터가 상기 제2 전자 단말로 전송되면, 상기 원본 음성 데이터가 상기 제2 전자 단말로 전송된 현재 시점에 대한 시간 정보를 생성하고, 상기 제2 전자 단말로부터, 상기 제2 전자 단말의 단말 식별 정보와, 상기 제2 전자 단말의 현재 위치에 대한 위치 정보를 수신하여, 상기 시간 정보, 상기 단말 식별 정보 및 상기 위치 정보로 구성된 마스킹 해제 이력 정보를 생성하는 단계 및 상기 마스킹 해제 이력 정보가 생성되면, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 트랜잭션을 전송하면서, 상기 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 단계를 더 포함할 수 있고, 상기 제1 노드 장치는 상기 마스킹 처리 서버로부터 상기 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제1 블록을, 상기 복수의 노드 장치들 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.At this time, according to one embodiment of the present invention, the operating method of the masking processing server is, when the original voice data is transmitted to the second electronic terminal, the current point in time at which the original voice data is transmitted to the second electronic terminal Generate time information, receive terminal identification information of the second electronic terminal, and location information about the current location of the second electronic terminal from the second electronic terminal, and receive the time information, the terminal identification information, and the A step of generating unmasking history information consisting of location information, and when the unmasking history information is generated, a first node device, which is one of a plurality of node devices constituting a blockchain network, is randomly selected, and the first node device is randomly selected. It may further include transmitting, to a 1 node device, a request for registration of the transaction to the blockchain network while transmitting the transaction, wherein the first node device receives the transaction and the registration request from the masking processing server. When received, a first block containing the transaction is generated based on a previous block chained to the blockchain data stored on the memory of the first node device, and the first block is converted into the blockchain data. After completing the storage of the first block by connecting it to a chain, the first block is propagated to the remaining node devices except the first node device among the plurality of node devices through the blockchain network. can do.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법은 도 1 내지 도 2를 이용하여 설명한 마스킹 처리 서버(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.Above, with reference to FIG. 3, a method of operating a masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention has been described. Here, the operating method of the masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention is the configuration of the operation of the
본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The operating method of the masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium to be executed through combination with a computer.
또한, 본 발명의 일실시예에 따른 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operating method of the masking processing server capable of masking personal information included in voice data according to an embodiment of the present invention is implemented in the form of program instructions that can be executed through various computer means and stored in a computer-readable medium. can be recorded The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those skilled in the art can make various modifications and variations from this description.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .
110: 음성 데이터에 포함된 개인 정보를 마스킹 처리할 수 있는 마스킹 처리 서버
111: 정규식 표현부 112: 변환 텍스트 생성부
113: 문자열 확인부 114: 마스킹 처리부
115: 대체 음성 데이터 전송부 116: 타임스탬프 할당부
117: 변환 텍스트 생성 처리부 118: 타임스탬프 확인부
119: 음성 구간 추출부 120: 마스킹 처리 수행부
121: 인증 행렬 저장부 122: 이벤트 발생부
123: 비밀번호 설정 요청부 124: 연산 행렬 생성부
125: 해시 값 생성부 126: 저장 처리부
127: 비밀번호 입력 요청부 128: 생성 처리부
129: 연산 행렬 확인부 130: 원본 음성 데이터 전송부
131: 이력 정보 생성부 132: 등록 요청부
133: 원본 음성 보관용 데이터베이스
100: 블록체인 네트워크
101, 102, 103, 104, 105, 106: 복수의 노드 장치들
141: 제1 사용자 142: 제2 사용자
151: 제1 전자 단말 152: 제2 전자 단말110: Masking processing server capable of masking personal information included in voice data
111: Regular expression expression unit 112: Conversion text generation unit
113: String confirmation unit 114: Masking processing unit
115: Alternative voice data transmission unit 116: Timestamp allocation unit
117: Converted text generation processing unit 118: Timestamp confirmation unit
119: Voice section extraction unit 120: Masking processing performing unit
121: Authentication matrix storage unit 122: Event generation unit
123: Password setting request unit 124: Operation matrix generation unit
125: Hash value generation unit 126: Storage processing unit
127: Password input request unit 128: Creation processing unit
129: Operation matrix confirmation unit 130: Original voice data transmission unit
131: History information generation unit 132: Registration request unit
133: Database for archiving original audio
100: Blockchain network
101, 102, 103, 104, 105, 106: multiple node devices
141: first user 142: second user
151: first electronic terminal 152: second electronic terminal
Claims (12)
개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식(regular expression)들이 저장되어 있는 정규 표현식 저장부;
제1 사용자의 제1 전자 단말로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹(masking) 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성하는 변환 텍스트 생성부;
상기 변환 텍스트가 생성되면, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인하는 문자열 확인부;
상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성하는 마스킹 처리부; 및
상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 상기 제1 전자 단말로 전송하는 대체 음성 데이터 전송부
를 포함하고,
상기 변환 텍스트 생성부는
상기 제1 전자 단말로부터, 상기 원본 음성 데이터가 수신되면서, 상기 마스킹 처리 요청이 수신되면, 상기 원본 음성 데이터에 대해, 사전 설정된 제1 시간 간격마다 타임스탬프(timestamp)를 할당하는 타임스탬프 할당부; 및
상기 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 변환 텍스트를 생성하되, 상기 원본 음성 데이터가 텍스트로 변환되기 시작하면, 상기 원본 음성 데이터에서 타임스탬프가 할당된 지점에 대한 텍스트가 생성될 때마다, 상기 원본 음성 데이터에 할당된 타임스탬프와 동일한 타임스탬프를 텍스트에 할당함으로써, 타임스탬프가 할당된 상기 변환 텍스트를 생성하는 변환 텍스트 생성 처리부
를 포함하고,
상기 마스킹 처리부는
상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 상기 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 적어도 하나의 제1 문자열 각각에 대해, 각 문자열에서 최초로 존재하는 제1 타임스탬프와 마지막으로 존재하는 제2 타임스탬프를 확인하는 타임스탬프 확인부;
상기 적어도 하나의 제1 문자열 각각에 대해, 상기 제1 타임스탬프와 상기 제2 타임스탬프가 확인되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대한 상기 제1 타임스탬프와 상기 제2 타임스탬프 사이에 존재하는 음성 구간을, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간으로 추출하는 음성 구간 추출부; 및
상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간이 추출되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간을, 상기 마스킹 사운드로 대체함으로써, 상기 대체 음성 데이터를 생성하는 마스킹 처리 수행부
를 포함하는 마스킹 처리 서버.In the masking processing server capable of masking personal information included in voice data,
a regular expression storage unit storing a plurality of different regular expressions preset to correspond to the notation format of personal information;
When original voice data is received from the first electronic terminal of the first user and a request for masking personal information included in the original voice data is received, based on a pre-built voice recognition model, the original voice data is received. a converted text generator that generates converted text for the original voice data by converting voice data into text;
When the converted text is generated, a string confirmation unit that checks whether a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit exists among the converted text.
Among the converted texts, if it is confirmed that at least one first string exists as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage, the at least one first string in the original voice data a masking processor that generates replacement voice data with masked personal information by replacing the voice section corresponding to one first string with a preset masking sound; and
When the replacement voice data is generated, a replacement voice data transmission unit transmits the replacement voice data to the first electronic terminal.
Including,
The converted text generator
When the original voice data is received from the first electronic terminal and the masking processing request is received, a timestamp allocator that allocates a timestamp to the original voice data at first preset time intervals; and
Based on the speech recognition model, the converted text is generated by converting the original speech data into text. When the original speech data begins to be converted into text, a time stamp is assigned to the point in the original speech data. A converted text generation processing unit that generates the converted text to which a timestamp is assigned by assigning a timestamp identical to the timestamp assigned to the original voice data to the text each time a text is generated.
Including,
The masking processing unit
Among the converted texts, if it is confirmed that the at least one first string exists as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage, the at least one first string For each string, a timestamp confirmation unit that checks the first timestamp that exists first and the second timestamp that exists last in each string;
For each of the at least one first string, if the first timestamp and the second timestamp are confirmed, in the original voice data, the first timestamp and the second timestamp for each of the at least one first string a voice section extractor that extracts a voice section existing between two timestamps as a voice section corresponding to each of the at least one first string; and
When the voice section corresponding to each of the at least one first string is extracted, the replacement voice data is generated by replacing the voice section corresponding to each of the at least one first string in the original voice data with the masking sound. Masking processing execution unit that generates
A masking processing server containing a .
'1'과 '0'의 성분들로 구성된, 사전 설정된 n(n은 2 이상의 자연수임) x n 크기의 인증 행렬이 저장되어 있는 인증 행렬 저장부;
상기 대체 음성 데이터가 상기 제1 전자 단말로 전송되면, 상기 원본 음성 데이터를 보관하기 위한 보관 이벤트를 발생시키는 이벤트 발생부;
상기 보관 이벤트가 발생되면, 상기 제1 전자 단말로, 상기 원본 음성 데이터에 대한 액세스를 가능하게 하기 위한 비밀번호를 설정할 것을 요청하는 비밀번호 설정 요청 메시지를 전송하는 비밀번호 설정 요청부;
상기 비밀번호 설정 요청 메시지에 대응하여 상기 제1 사용자에 의해 제1 비밀번호가 설정됨에 따라, 상기 제1 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로(modulo) 연산을 수행함으로써, 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 제1 열벡터와, x+1번째 행에 위치하는 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 n x n 크기의 제1 연산 행렬을 생성하는 연산 행렬 생성부;
상기 대체 음성 데이터를, 사전 설정된 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하는 해시 값 생성부; 및
상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터를 서로 대응시켜 원본 음성 보관용 데이터베이스에 저장하는 저장 처리부
를 더 포함하는 마스킹 처리 서버.According to paragraph 1,
An authentication matrix storage unit that stores an authentication matrix of size n (where n is a natural number greater than or equal to 2) x n, which is preset and composed of components of '1' and '0';
an event generator that generates a storage event to store the original voice data when the replacement voice data is transmitted to the first electronic terminal;
When the storage event occurs, a password setting request unit that transmits a password setting request message to the first electronic terminal requesting to set a password to enable access to the original voice data;
As the first password is set by the first user in response to the password setting request message, when the first password is received from the first electronic terminal, modulo ( modulo) operation, the first operation value x is calculated, and from the authentication matrix stored in the authentication matrix storage unit, a first column vector located in the an operation matrix generator that extracts a first row vector and then performs a matrix multiplication of the first column vector and the first row vector to generate a first operation matrix of nxn size;
a hash value generator that generates a first hash value by applying the replacement voice data as an input to a preset hash function; and
A storage processing unit that matches the first operation matrix, the first hash value, and the original voice data and stores them in a database for storing the original voice.
A masking processing server further comprising:
상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터가 서로 대응되어 상기 원본 음성 보관용 데이터베이스에 저장된 이후, 상기 제1 사용자에게서 상기 대체 음성 데이터와 상기 제1 비밀번호를 제공받은 제2 사용자의 제2 전자 단말로부터, 상기 대체 음성 데이터에 대한 마스킹 해제 요청이 수신되면, 상기 제2 전자 단말로, 상기 대체 음성 데이터의 전송을 요청하면서, 상기 원본 음성 데이터에 대한 액세스를 위한 비밀번호를 입력할 것을 요청하는 비밀번호 입력 요청 메시지를 전송하는 비밀번호 입력 요청부;
상기 대체 음성 데이터의 전송 요청에 대응하여, 상기 제2 전자 단말로부터 상기 대체 음성 데이터가 수신되고, 상기 제2 사용자에 의해 상기 제2 전자 단말에 상기 제1 비밀번호가 입력됨에 따라, 상기 제2 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로 연산을 수행함으로써, 상기 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 상기 제1 열벡터와, x+1번째 행에 위치하는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 상기 제1 연산 행렬을 생성하고, 상기 대체 음성 데이터를 상기 해시 함수에 입력으로 인가하여 상기 제1 해시 값을 생성하는 생성 처리부;
상기 제1 연산 행렬과 상기 제1 해시 값이 생성되면, 상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는지 여부를 확인하는 연산 행렬 확인부; 및
상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는 것으로 확인되면, 상기 원본 음성 보관용 데이터베이스로부터, 상기 제1 해시 값에 대응되어 저장되어 있는 상기 원본 음성 데이터를 추출한 후, 상기 원본 음성 데이터를 상기 제2 전자 단말로 전송하는 원본 음성 데이터 전송부
를 더 포함하는 마스킹 처리 서버.According to paragraph 3,
After the first operation matrix, the first hash value, and the original voice data correspond to each other and are stored in the original voice storage database, the second user receives the replacement voice data and the first password from the first user. When a request for unmasking the replacement voice data is received from the second electronic terminal, a password for access to the original voice data may be entered while requesting transmission of the replacement voice data to the second electronic terminal. a password input request unit that transmits a password input request message requesting a password;
In response to a request for transmission of the replacement voice data, the replacement voice data is received from the second electronic terminal, and the first password is entered into the second electronic terminal by the second user, and the second electronic terminal When the first password is received from the terminal, the first operation value x is calculated by performing a modulo operation with n as a divisor on the first password, and the authentication matrix stored in the authentication matrix storage unit. After extracting the first column vector located in the x+1th column and the first row vector located in the x+1th row, the first column vector and the first row vector are matrix multiplied to obtain the first operation matrix. a generation processing unit that generates the first hash value by applying the replacement voice data as input to the hash function;
When the first operation matrix and the first hash value are generated, it is checked whether the operation matrix stored corresponding to the first hash value matches the first operation matrix on the original voice storage database. Operation matrix confirmation unit; and
If the operation matrix stored in correspondence with the first hash value on the original voice storage database is confirmed to match the first operation matrix, from the original voice storage database, corresponding to the first hash value An original voice data transmission unit that extracts the stored original voice data and then transmits the original voice data to the second electronic terminal.
A masking processing server further comprising:
개인 정보의 표기 형식에 대응되는 것으로 사전 설정된 서로 다른 복수의 정규 표현식(regular expression)들이 저장되어 있는 정규 표현식 저장부를 유지하는 단계;
제1 사용자의 제1 전자 단말로부터, 원본 음성 데이터가 수신되면서, 상기 원본 음성 데이터에 포함된 개인 정보에 대한 마스킹(masking) 처리 요청이 수신되면, 사전 구축된 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 원본 음성 데이터에 대한 변환 텍스트를 생성하는 단계;
상기 변환 텍스트가 생성되면, 상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열이 존재하는지 여부를 확인하는 단계;
상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 원본 음성 데이터에서 상기 적어도 하나의 제1 문자열에 대응되는 음성 구간을, 사전 설정된 마스킹 사운드로 대체함으로써, 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성하는 단계; 및
상기 대체 음성 데이터가 생성되면, 상기 대체 음성 데이터를 상기 제1 전자 단말로 전송하는 단계
를 포함하고,
상기 원본 음성 데이터에 대한 변환 텍스트를 생성하는 단계는
상기 제1 전자 단말로부터, 상기 원본 음성 데이터가 수신되면서, 상기 마스킹 처리 요청이 수신되면, 상기 원본 음성 데이터에 대해, 사전 설정된 제1 시간 간격마다 타임스탬프(timestamp)를 할당하는 단계; 및
상기 음성 인식 모델을 기초로, 상기 원본 음성 데이터를 텍스트로 변환함으로써, 상기 변환 텍스트를 생성하되, 상기 원본 음성 데이터가 텍스트로 변환되기 시작하면, 상기 원본 음성 데이터에서 타임스탬프가 할당된 지점에 대한 텍스트가 생성될 때마다, 상기 원본 음성 데이터에 할당된 타임스탬프와 동일한 타임스탬프를 텍스트에 할당함으로써, 타임스탬프가 할당된 상기 변환 텍스트를 생성하는 단계
를 포함하고,
상기 개인 정보가 마스킹 처리된 대체 음성 데이터를 생성하는 단계는
상기 변환 텍스트 중, 상기 정규 표현식 저장부에 저장되어 있는 상기 복수의 정규 표현식들에 대응되는 표기 형식을 갖는 문자열로, 상기 적어도 하나의 제1 문자열이 존재하는 것으로 확인되면, 상기 적어도 하나의 제1 문자열 각각에 대해, 각 문자열에서 최초로 존재하는 제1 타임스탬프와 마지막으로 존재하는 제2 타임스탬프를 확인하는 단계;
상기 적어도 하나의 제1 문자열 각각에 대해, 상기 제1 타임스탬프와 상기 제2 타임스탬프가 확인되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대한 상기 제1 타임스탬프와 상기 제2 타임스탬프 사이에 존재하는 음성 구간을, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간으로 추출하는 단계; 및
상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간이 추출되면, 상기 원본 음성 데이터에서, 상기 적어도 하나의 제1 문자열 각각에 대응되는 음성 구간을, 상기 마스킹 사운드로 대체함으로써, 상기 대체 음성 데이터를 생성하는 단계
를 포함하는 마스킹 처리 서버의 동작 방법.In a method of operating a masking processing server capable of masking personal information included in voice data,
maintaining a regular expression storage unit in which a plurality of different regular expressions preset to correspond to the notation format of personal information are stored;
When original voice data is received from the first electronic terminal of the first user and a request for masking personal information included in the original voice data is received, based on a pre-built voice recognition model, the original voice data is received. generating converted text for the original voice data by converting the voice data into text;
When the converted text is generated, checking whether a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage unit exists among the converted text;
Among the converted texts, if it is confirmed that at least one first string exists as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage, the at least one first string in the original voice data Generating replacement voice data with masked personal information by replacing the voice section corresponding to one first character string with a preset masking sound; and
When the replacement voice data is generated, transmitting the replacement voice data to the first electronic terminal.
Including,
The step of generating converted text for the original voice data is
When the masking processing request is received while the original voice data is received from the first electronic terminal, allocating a timestamp to the original voice data at first preset time intervals; and
Based on the speech recognition model, the converted text is generated by converting the original speech data into text. When the original speech data begins to be converted into text, a time stamp is assigned to the point in the original speech data. Each time text is generated, assigning the text a timestamp equal to the timestamp assigned to the original speech data, thereby generating the converted text to which a timestamp is assigned.
Including,
The step of generating replacement voice data with the personal information masked is
Among the converted texts, if it is confirmed that the at least one first string exists as a string having a notation format corresponding to the plurality of regular expressions stored in the regular expression storage, the at least one first string For each string, checking a first timestamp that exists first and a second timestamp that exists last in each string;
For each of the at least one first string, if the first timestamp and the second timestamp are confirmed, in the original voice data, the first timestamp and the second timestamp for each of the at least one first string extracting a voice section existing between two timestamps as a voice section corresponding to each of the at least one first string; and
When the voice section corresponding to each of the at least one first string is extracted, the replacement voice data is generated by replacing the voice section corresponding to each of the at least one first string in the original voice data with the masking sound. steps to create
Method of operation of a masking processing server including.
'1'과 '0'의 성분들로 구성된, 사전 설정된 n(n은 2 이상의 자연수임) x n 크기의 인증 행렬이 저장되어 있는 인증 행렬 저장부를 유지하는 단계;
상기 대체 음성 데이터가 상기 제1 전자 단말로 전송되면, 상기 원본 음성 데이터를 보관하기 위한 보관 이벤트를 발생시키는 단계;
상기 보관 이벤트가 발생되면, 상기 제1 전자 단말로, 상기 원본 음성 데이터에 대한 액세스를 가능하게 하기 위한 비밀번호를 설정할 것을 요청하는 비밀번호 설정 요청 메시지를 전송하는 단계;
상기 비밀번호 설정 요청 메시지에 대응하여 상기 제1 사용자에 의해 제1 비밀번호가 설정됨에 따라, 상기 제1 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로(modulo) 연산을 수행함으로써, 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 제1 열벡터와, x+1번째 행에 위치하는 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 n x n 크기의 제1 연산 행렬을 생성하는 단계;
상기 대체 음성 데이터를, 사전 설정된 해시 함수에 입력으로 인가하여 제1 해시 값을 생성하는 단계; 및
상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터를 서로 대응시켜 원본 음성 보관용 데이터베이스에 저장하는 단계
를 더 포함하는 마스킹 처리 서버의 동작 방법.According to clause 6,
maintaining an authentication matrix storage unit in which an authentication matrix of size n (where n is a natural number equal to or greater than 2) x n, which is preset and composed of components of '1' and '0', is stored;
When the replacement voice data is transmitted to the first electronic terminal, generating a storage event to store the original voice data;
When the storage event occurs, transmitting a password setting request message to the first electronic terminal requesting to set a password to enable access to the original voice data;
As the first password is set by the first user in response to the password setting request message, when the first password is received from the first electronic terminal, modulo ( modulo) operation, the first operation value x is calculated, and from the authentication matrix stored in the authentication matrix storage unit, a first column vector located in the extracting a first row vector and then multiplying the first column vector and the first row vector by a matrix to generate a first operation matrix of nxn size;
Generating a first hash value by applying the replacement voice data as an input to a preset hash function; and
Corresponding the first operation matrix, the first hash value, and the original voice data and storing them in an original voice storage database
A method of operating a masking processing server further comprising:
상기 제1 연산 행렬, 상기 제1 해시 값 및 상기 원본 음성 데이터가 서로 대응되어 상기 원본 음성 보관용 데이터베이스에 저장된 이후, 상기 제1 사용자에게서 상기 대체 음성 데이터와 상기 제1 비밀번호를 제공받은 제2 사용자의 제2 전자 단말로부터, 상기 대체 음성 데이터에 대한 마스킹 해제 요청이 수신되면, 상기 제2 전자 단말로, 상기 대체 음성 데이터의 전송을 요청하면서, 상기 원본 음성 데이터에 대한 액세스를 위한 비밀번호를 입력할 것을 요청하는 비밀번호 입력 요청 메시지를 전송하는 단계;
상기 대체 음성 데이터의 전송 요청에 대응하여, 상기 제2 전자 단말로부터 상기 대체 음성 데이터가 수신되고, 상기 제2 사용자에 의해 상기 제2 전자 단말에 상기 제1 비밀번호가 입력됨에 따라, 상기 제2 전자 단말로부터 상기 제1 비밀번호가 수신되면, 상기 제1 비밀번호에 대해 n을 제수로 하는 모듈로 연산을 수행함으로써, 상기 제1 연산 값 x를 산출하고, 상기 인증 행렬 저장부에 저장되어 있는 상기 인증 행렬로부터, x+1번째 열에 위치하는 상기 제1 열벡터와, x+1번째 행에 위치하는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터를 행렬 곱하여 상기 제1 연산 행렬을 생성하고, 상기 대체 음성 데이터를 상기 해시 함수에 입력으로 인가하여 상기 제1 해시 값을 생성하는 단계;
상기 제1 연산 행렬과 상기 제1 해시 값이 생성되면, 상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는지 여부를 확인하는 단계; 및
상기 원본 음성 보관용 데이터베이스 상에, 상기 제1 해시 값에 대응되어 저장되어 있는 연산 행렬이 상기 제1 연산 행렬과 일치하는 것으로 확인되면, 상기 원본 음성 보관용 데이터베이스로부터, 상기 제1 해시 값에 대응되어 저장되어 있는 상기 원본 음성 데이터를 추출한 후, 상기 원본 음성 데이터를 상기 제2 전자 단말로 전송하는 단계
를 더 포함하는 마스킹 처리 서버의 동작 방법.According to clause 8,
After the first operation matrix, the first hash value, and the original voice data correspond to each other and are stored in the original voice storage database, the second user receives the replacement voice data and the first password from the first user. When a request for unmasking the replacement voice data is received from the second electronic terminal, a password for access to the original voice data may be entered while requesting transmission of the replacement voice data to the second electronic terminal. transmitting a password input request message requesting a password;
In response to a request for transmission of the replacement voice data, the replacement voice data is received from the second electronic terminal, and the first password is entered into the second electronic terminal by the second user, and the second electronic terminal When the first password is received from the terminal, the first operation value x is calculated by performing a modulo operation with n as a divisor on the first password, and the authentication matrix stored in the authentication matrix storage unit. After extracting the first column vector located in the x+1th column and the first row vector located in the x+1th row, the first column vector and the first row vector are matrix multiplied to obtain the first operation matrix. generating the first hash value by applying the replacement voice data as input to the hash function;
When the first operation matrix and the first hash value are generated, it is checked whether the operation matrix stored corresponding to the first hash value matches the first operation matrix on the original voice storage database. step; and
If the operation matrix stored in correspondence with the first hash value on the original voice storage database is confirmed to match the first operation matrix, from the original voice storage database, corresponding to the first hash value extracting the original voice data that has been stored and transmitting the original voice data to the second electronic terminal.
A method of operating a masking processing server further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220005638A KR102636705B1 (en) | 2022-01-14 | 2022-01-14 | Masking processing server which is able to mask personal information included in voice data, and the operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220005638A KR102636705B1 (en) | 2022-01-14 | 2022-01-14 | Masking processing server which is able to mask personal information included in voice data, and the operating method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230109865A KR20230109865A (en) | 2023-07-21 |
| KR102636705B1 true KR102636705B1 (en) | 2024-02-14 |
Family
ID=87429980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220005638A KR102636705B1 (en) | 2022-01-14 | 2022-01-14 | Masking processing server which is able to mask personal information included in voice data, and the operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102636705B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016507110A (en) | 2013-09-12 | 2016-03-07 | ジーシーオーディー イノベーション コーポレーション リミテッドＧｃｏｄ Ｉｎｎｏｖａｔｉｏｎ Ｃｏ．，Ｌｔｄ． | Security authentication method and apparatus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190058066A (en) * | 2017-11-21 | 2019-05-29 | 주식회사 케이티 | Method and Apparatus for Managing of Consulting Data |
| KR102356623B1 (en) * | 2019-02-01 | 2022-01-28 | 삼성전자주식회사 | Virtual assistant electronic device and control method thereof |
| KR102392300B1 (en) * | 2020-06-03 | 2022-04-29 | 주식회사 마인드웨어p스 | System for providing voice information processing service based on personal information protection |
-
2022
- 2022-01-14 KR KR1020220005638A patent/KR102636705B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016507110A (en) | 2013-09-12 | 2016-03-07 | ジーシーオーディー イノベーション コーポレーション リミテッドＧｃｏｄ Ｉｎｎｏｖａｔｉｏｎ Ｃｏ．，Ｌｔｄ． | Security authentication method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230109865A (en) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11196540B2 (en) | End-to-end secure operations from a natural language expression | |
| TWI536365B (en) | Voice print identification | |
| CN110162662B (en) | Verification method, device and equipment for data records in block chain type account book | |
| CN113726751B (en) | Weight management method, device and equipment in block chain type account book | |
| US11126751B2 (en) | Index creation for data records | |
| US20180121666A1 (en) | Terminal device and computer program | |
| KR20200143197A (en) | Data management device that enables distributed encryption management of data based on blockchain and operating method thereof | |
| KR101914416B1 (en) | System for providing security service based on cloud computing | |
| KR102636705B1 (en) | Masking processing server which is able to mask personal information included in voice data, and the operating method thereof | |
| KR20140044962A (en) | Lock releasing method of electronic device, apparatus thereof, and medium storing program source thereof | |
| JPWO2016129188A1 (en) | Speech recognition processing apparatus, speech recognition processing method, and program | |
| CN110636042B (en) | Method, device and equipment for updating verified block height of server | |
| CN112597912A (en) | Conference content recording method, device, equipment and storage medium | |
| CN111291336A (en) | Game registration method and device in game platform | |
| JP5184071B2 (en) | Transcription text creation support device, transcription text creation support program, and transcription text creation support method | |
| KR102300439B1 (en) | Font verification server to verify whether the font applied to a document is authorized and operating method thereof | |
| KR102574293B1 (en) | Blockchain-based author information management server that enables storage and inquiry of author information for the electronic document through interworking with the two-dimensional code inserted into the electronic document, and operating method thereof | |
| KR20220032161A (en) | Usability information collecting server for editing functions supported by electronic document creation programs and operating method thereof | |
| KR102513228B1 (en) | Electronic apparatus that can automatically convert and migrate the display format of data according to data conversion rules and the operating method thereof | |
| CN112307010B (en) | Data storage method, device and equipment | |
| KR102394483B1 (en) | Service providing server for providing an error determination service for judging whether there is an error in the electronic document and operating method thereof | |
| KR102215600B1 (en) | Public data providing apparatus providing public data available as annotations inserted into documents through differential authentication processing based on security level and operating method thereof | |
| KR102535682B1 (en) | Web site confirmation server that performs confirmation of whether a web site is a normal web site based on the two-dimensional code and operating method thereof | |
| US11658981B1 (en) | Internet access management service server capable of providing internet access management service based on terminal grouping and operating method thereof | |
| TW201911076A (en) | Privacy management system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |