KR102027880B1 - 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법 - Google Patents

3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법 Download PDF

Info

Publication number
KR102027880B1
KR102027880B1 KR1020170124032A KR20170124032A KR102027880B1 KR 102027880 B1 KR102027880 B1 KR 102027880B1 KR 1020170124032 A KR1020170124032 A KR 1020170124032A KR 20170124032 A KR20170124032 A KR 20170124032A KR 102027880 B1 KR102027880 B1 KR 102027880B1
Authority
KR
South Korea
Prior art keywords
model
depth image
query
original
similarity
Prior art date
Application number
KR1020170124032A
Other languages
English (en)
Other versions
KR20190035146A (ko
Inventor
김종원
홍일우
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020170124032A priority Critical patent/KR102027880B1/ko
Publication of KR20190035146A publication Critical patent/KR20190035146A/ko
Application granted granted Critical
Publication of KR102027880B1 publication Critical patent/KR102027880B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특정 3D 모델 간의 유사성 검토를 통해 저작권을 침해 여부를 판단하기 위한 것으로서, 구체적으로는 인공지능이 원본 3D 모델과 그 원본 3D 모델을 변형시킨 변형 3D 모델의 특징을 깊이 이미지(depth image)를 통해 딥러닝 모델로 사전 학습하고, 유사성 여부가 문제되는 질의(query) 3D 모델로부터 추출한 깊이 이미지를 통해 학습된 3D 모델과 질의 3D 모델간의 유사성 인식 결과를 도출하는 방법에 관한 것이다.
본 발명은 「질의(query) 3D 모델이 특정 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며, 상기 (a) 사전 학습단계는, (a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계; (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계; (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및 (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고, 상기 (b) 유사성 인식단계는, (b-1) 질의 3D 모델을 입력받는 단계; (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계; (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및 (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법」을 제공한다.

Description

3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법{Deep learning based 3D model Similarity evaluation method using depth image}
본 발명은 특정 3D 모델 간의 유사성 검토를 통해 저작권을 침해 여부를 판단하기 위한 것으로서, 구체적으로는 인공지능이 원본 3D 모델과 그 원본 3D 모델을 변형시킨 변형 3D 모델의 특징을 깊이 이미지(depth image)를 통해 딥러닝 모델로 사전 학습하고, 저작권 침해 여부가 문제되는 질의(query) 3D 모델로부터 추출한 깊이 이미지를 통해 학습된 3D 모델과 질의 3D 모델간의 유사성 인식 결과를 도출하는 방법에 관한 것이다.
최근에 3D 모델링, 3D 프린팅, 3D 스캐닝 등과 같은 기술의 발전으로 인하여 3D 모델이 다양한 방식으로 사회에서 활용되고 있다. 3D모델의 많은 응용과 더불어 3D 모델에 관한 저작권문제가 야기되고 있다. 원본 3D 모델의 디자인을 변형시키거나 혹은 그대로 불법적으로 배포하는 일들이 발생한다. 그러나, 온라인 상에서 3D 모델 파일이 배포되었을 경우 그 불법성(저작권 침해)에 대해 사람이 하나 하나 판단하는 방식은 많은 시간과 자본이 소요되므로 그러한 판단을 자동으로 할 수 있는 방법이 필요하다.
최근에 인터넷으로부터 쏟아져 나오는 대량의 데이터들과 강력한 GPU의 병렬연산 능력으로 인하여 딥러닝 기술이 활성화되고 있으며, 그중 CNN(Convolutional Neural Network) 기술이 컴퓨터비전, 음성인식 등 다양한 분야에서 최고 수준의 성능을 보여주고 있다.
1. 공개특허 10-2017-0082025 "기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법" 2. 공개특허 10-2011-0062870 "3차원 모델 데이터 검색 장치" 3. 공개특허 10-2017-0089752 "분할 기법을 이용한 3차원 메쉬 모델 워터마킹 방법 및 장치"
본 발명은 3D 모델의 복제물, 특히 다양하게 변형되어 불법 유통되는 3D 모델을 인공지능의 딥러닝에 의해 인지함으로써, 3D 모델의 원본 또는 변형물(2차적 저작물)에 대한 복제, 전송 등에 의한 저작권 침해를 적발하고 방지할 수 있도록 함에 그 목적이 있다.
전술한 과제 해결을 위해, 본 발명은 「질의(query) 3D 모델이 특정 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며, 상기 (a) 사전 학습단계는, (a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계; (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계; (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및 (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고, 상기 (b) 유사성 인식단계는, (b-1) 질의 3D 모델을 입력받는 단계; (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계; (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및 (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법」을 제공한다.
상기 (a-1)단계는 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시키도록 구성할 수 있다.
상기 (a-2)단계와 (b-2)단계는, 임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하도록 구성할 수 있다.
이 경우 상기 (a-3)단계와 (b-3)단계는, 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다.
또한, 상기 (a-4)단계는, 생성된 깊이 이미지 마다 식별수단을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하도록 구성할 수 있으며, 상기 (b-4)단계는, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하도록 구성할 수 있다.
본 발명에 따르면 다음과 같은 효과가 기대된다.
1. 인공지능의 딥러닝 기술을 적용하므로, 원본 3D 모델을 다양하게 변형시킨 3D 모델에 대해서 인간의 지각(知覺)보다 빠르고 정확하게 유사성을 판단할 수 있다.
2. 인공지능이 원본 3D 모델에서 변형된 변형 3D 모델을 다양하게 사전 학습할수록 온라인 상에서 불법 유통되는 변형 3D 모델에 대한 유사성 판단이 정확하게 이루어질 수 있다.
3. 3D 모델의 크기를 정규화 함으로써 변형된 3D 모델의 크기 변화가 커도 인식결과에 영향이 없도록 할 수 있다(크기 변화에 강함).
4. 원본 3D 모델과 변형 3D 모델을 가상으로 감싸는 다면체의 각 꼭짓점에서 3D 모델의 중심방향으로 촬영한 깊이 이미지를 추출하여 학습하므로, 3D 모델의 회전 변화가 커도 인식결과에 영향이 없도록 할 수 있다(회전 변화에 강함).
[도 1]은 본 발명이 제공하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법(이하 '본 발명 방법')에 대한 개략적인 흐름도이다.
[도 2]는 본 발명 방법의 흐름을 이미지로 표현한 것이다.
[도 3]은 원본 3D모델로부터 변형된 3D모델을 도시한 것이다.
[도 4]는 3D 모델에서 깊이 이미지를 추출할 때 사용가능한 다면체의 예를 도시한 것이다.
[도 5]는 본 발명 방법을 통해 질의 3D 모델을 원본 3D 모델의 변형물로 인식하였을 때의 데모를 보여준다.
본 발명은 「질의(query) 3D 모델이 특정 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며, 상기 (a) 사전 학습단계는, (a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계; (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계; (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및 (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고, 상기 (b) 유사성 인식단계는, (b-1) 질의 3D 모델을 입력받는 단계; (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계; (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및 (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법」을 제공한다.
[도 1]은 본 발명이 제공하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법(이하 '본 발명 방법')에 대한 개략적인 흐름도이고, [도 2]는 본 발명 방법의 흐름을 이미지로 표현한 것이다.
본 발명 방법은 전술한 바와 같이 (a) 사전 학습단계 및 (b) 유사성 인식단계로 나누어 진다. 본 발명 방법은 저작권이 있는 3D 모델이 불법으로 변행, 배포되었을 때 이를 자동으로 인식하는 방법에 관한 것으로서, 인공지능의 딥러닝 기술을 적용하기 위하여 원본 3D 모델로부터 가능하게 생성될 수 있는 불법 변형물을 다양하게 생성시킨 후, 변형 3D 모델을 여러 시야각에서 촬영한 2D 깊이 이미지로 표현하여 딥러닝 알고리즘으로 학습시킨다. 질의 3D 모델이 있을 경우 이를 깊이 이미지로 표현한 다음 학습된 딥러닝 알고리즘에 입력하여 출력한 유사값에 근거하여 불법 변형 여부를 인식한다.
이하에서는 첨부된 도면과 함께 본 발명의 각 단계를 상세히 설명하기로 한다.
Ⅰ. (a) 사전 학습단계
본 사전 학습단계는 인공지능이 저작권 있는 원본 3D 모델을 기반으로 한 다양한 변형 3D 모델의 특성을 깊이 이미지를 통해 딥러닝하는 단계이다.
1. (a-1)단계
본 (a-1)단계는 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계이다.
3D 모델에 대한 저작권 침해는 원본의 복제, 전송 등에 의해 이루어질 수도 있으나, 원본을 개변한 2차적 저작물의 복제, 전송 등에 이루어지는 경우도 많다. 본 단계는 원본 3D 모델을 변형시켜 도출 가능한 다양한 변형 3D 모델을 생성함으로써, 발생할 수 있는 변형 3D 모델에 대해 인공지능이 미리 학습할 수 있는 자료를 만들어 제공하는 단계라 할 수도 있다.
본 (a-1)단계는 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시킬 수 있으며, 상기 변형 3D 모델을 다양하게 생성할수록 인공지능의 딥러닝 데이터가 많아지면서, 본 발명 방법에 의한 유사성 판단의 신뢰성이 점차 향상된다. [도 3]은 원본 3D모델로부터 변형된 3D모델을 도시한 것이다.
2. (a-2)단계
본 (a-2)단계는 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계이다.
본 (a-2)단계에서는, 임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하도록 구성할 수 있다.
이와 같이 3D 모델의 크기를 정규화 함으로써 변형된 3D 모델의 크기 변화가 커도 인식결과에 영향이 없도록 할 수 있다.
3. (a-3)단계
본 (a-3)단계는 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계이다.
상기 (a-2)단계를 통해 정규화된 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다. 상기 깊이 이미지(depth image)는 카메라의 시점에서 물체의 거리값을 지닌 데이터이다. 3D 모델에 씌운 다면체의 각 꼭짓점에 가상 카메라를 설치하고, 상기 3D 모델의 중심(3차원 좌표계의 원점)을 향하여 깊이 이미지를 촬영할 수 있다.
상기 다면체는 정다면체, 준정다면체 등을 적용할 수 있으며, 정규화된 하나의 3D 모델에 2 이상의 가상 다면체를 씌우고 깊이 이미지들을 추출할 수도 있다. [도 3]은 3D 모델에서 깊이 이미지를 추출할 때 사용가능한 다면체의 예를 도시한 것이다.
4. (a-4)단계
본 (a-4)단계는 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계이다.
또한, 상기 (a-4)단계는, 생성된 깊이 이미지 마다 식별수단(label)을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하도록 구성할 수 있다. CNN 알고리즘으로는 AlexNet, VGG, GoogLeNet 등을 사용할 수 있다.
Ⅱ. (b) 유사성 인식단계
1. (b-1)단계
본 (b-1)단계는 질의(query) 3D 모델을 입력받는 단계이다. 상기 질의 3D 모델은 유사성 판단 대상이 되는 것으로서, 본 발명에 적용되는 인공지능은 상기 질의 3D 모델을 외부로부터 제공받거나 온라인을 통해 자체적으로 수집할 수 있다.
2. (b-2)단계
본 (b-2)단계는 상기 질의 3D 모델의 크기를 정규화하는 단계이다.
본 (b-2)단계에서는, 전술한 (a-2)단계와 마찬가지로 임의로 설정한 3차원 좌표계에서 상기 질의 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 상기 3D 모델의 크기를 정규화하도록 구성할 수 있다.
3. (b-3)단계
본 (b-3)단계는 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계이다.
본 (b-3)단계도 전술한 (a-3)단계와 마찬가지로, 정규화된 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다. 상기 깊이 이미지(depth image)는 카메라의 시점에서 물체의 거리값을 지닌 데이터이다. 3D 모델에 씌운 다면체의 각 꼭짓점에 가상 카메라를 설치하고, 상기 3D 모델의 중심(3차원 좌표계의 원점)을 향하여 깊이 이미지를 촬영할 수 있다.
4. (b-4)단계
본 (b-4)단계는 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계이다.
상기 (b-4)단계에서는, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하도록 구성할 수 있다.
사전 학습단계에서 n개의 원본 3D 모델에 대해 각각의 변형 3D 모델을 생성시키고 딥러닝 방법으로 학습하였다면, 상기 딥러닝 알고리즘 함수를 f, 질의 3D 모델의 깊이 이미지를 d라 할 때, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하였을 때 나타나는 각 원본 3D 모델에 대해 유사값(p)이 나타나는 것은 아래의 [식 1]과 같이 표현할 수 있다.
[식 1]
Figure 112017093854922-pat00001
따라서, m개의 깊이 이미지가 입력되었을 때에는 n×m의 유사값 행렬이 생성되고, 그것의 평균을 구하면 원본 3D 모델 각각에 대한 1×n의 유사값 평균(P)이 생성된다. 상기 유사값 평균(P)은 아래의 [식 2]와 같이 나타낼 수 있다.
[식 2]
Figure 112017093854922-pat00002
상기 유사값 평균의 최대치(max(P))가 설정된 임계값 이상이면 질의 3D 모델은 학습된 원본 3D 모델과 실질적 유사성(저작권법상 '저작권 침해'가 성립하기 위한 표현의 유사성)이 있다는 것이므로 저작권 침해물로 판정할 수 있고,
상기 유사값 평균의 최대치(max(P))가 설정된 임계값 미만이면 질의 3D 모델은 학습된 원본 3D 모델들과 유사하지 않아 저작권 침해가 아닌 것으로 판정할 수 있다.
[도 5]는 본 발명 방법을 통해 질의 3D 모델을 원본 3D 모델의 변형물로 인식하였을 때의 데모를 보여준다.
본 발명은 위에서 언급한 바와 같이 첨부된 도면과 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다. 따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
해당 없음

Claims (6)

  1. 질의(query) 3D 모델이 원본 3D 모델과 유사한지 여부를 판단하는 방법으로서, 인공지능이 내장된 컴퓨터 장치에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며,
    상기 (a) 사전 학습단계는,
    (a-1) 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시키는 단계;
    (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계;
    (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및
    (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고,
    상기 (b) 유사성 인식단계는,
    (b-1) 질의 3D 모델을 입력받는 단계;
    (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계;
    (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및
    (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하고,
    상기 (a-2)단계와 (b-2)단계에서는,
    임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하고,
    상기 (a-3)단계와 (b-3)단계에서는,
    3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에서,
    상기 (a-4)단계는,
    생성된 깊이 이미지 마다 식별수단을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법.
  6. 제1항 또는 제5항에서,
    상기 (b-4)단계는,
    상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 유사성 판단 방법.
KR1020170124032A 2017-09-26 2017-09-26 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법 KR102027880B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170124032A KR102027880B1 (ko) 2017-09-26 2017-09-26 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124032A KR102027880B1 (ko) 2017-09-26 2017-09-26 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법

Publications (2)

Publication Number Publication Date
KR20190035146A KR20190035146A (ko) 2019-04-03
KR102027880B1 true KR102027880B1 (ko) 2019-10-02

Family

ID=66165566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124032A KR102027880B1 (ko) 2017-09-26 2017-09-26 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법

Country Status (1)

Country Link
KR (1) KR102027880B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280736B1 (ko) * 2019-12-09 2021-07-22 주식회사 디알엠인사이드 딥러닝 기반 사진저작물의 고속 식별을 지원하는 서비스 제공 장치 및 방법
KR102411522B1 (ko) * 2020-05-25 2022-06-20 정기매 컵 케이크의 주문 제작 방법, 장치 및 컴퓨터-판독가능 기록 매체
KR102420199B1 (ko) * 2021-11-19 2022-07-13 (주)에이아이딥 딥러닝을 이용한 이미지 저작권 판별 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529569A (zh) * 2016-10-11 2017-03-22 北京航空航天大学 基于深度学习的三维模型三角面特征学习分类方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626384B1 (ko) 2009-12-04 2016-06-13 한국전자통신연구원 3차원 모델 데이터 검색 장치 및 방법
KR101964282B1 (ko) * 2015-12-22 2019-04-01 연세대학교 산학협력단 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
KR101871065B1 (ko) 2016-01-27 2018-07-19 한국과학기술원 분할 기법을 이용한 3차원 메쉬 모델 워터마킹 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529569A (zh) * 2016-10-11 2017-03-22 北京航空航天大学 基于深度学习的三维模型三角面特征学习分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hegde, Vishakh, and Reza Zadeh. Fusionnet: 3d object classification using multiple data representations. arXiv preprint arXiv:1607.05695v4. 2016.11.27.*
Qi, Charles R., et al. Volumetric and multi-view cnns for object classification on 3d data. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.*

Also Published As

Publication number Publication date
KR20190035146A (ko) 2019-04-03

Similar Documents

Publication Publication Date Title
CN106778525B (zh) 身份认证方法和装置
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP5837508B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
KR102027880B1 (ko) 3d 모델 깊이 이미지를 이용한 딥러닝 기반의 3d 모델 유사성 판단 방법
CN106530200B (zh) 一种基于深度学习模型的隐写图像检测方法及系统
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
JP2018198053A (ja) 情報処理装置、情報処理方法、及びプログラム
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
EP3642756B1 (en) Detecting artificial facial images using facial landmarks
KR101829733B1 (ko) 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
US20170124382A1 (en) System and method for verification of three-dimensional (3d) object
Ajmera et al. 3D face recognition using kinect
Emam et al. A robust detection algorithm for image Copy-Move forgery in smooth regions
JP7017462B2 (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
Mun et al. A robust 3D mesh watermarking scheme against cropping
Werghi et al. The mesh-LBP: Computing local binary patterns on discrete manifolds
KR101557271B1 (ko) 영상 내 원 형상 검출에 따른 검출 원 형상의 근사화 방법
Li et al. 3D steganalysis using the extended local feature set
Molaei et al. A blind fragile watermarking method for 3D models based on geometric properties of triangles
KR102613387B1 (ko) 홍채 인식용 이미지 생성 장치 및 방법
CN116420176A (zh) 基于对象的图像表示来区分对象的不同配置状态的方法和设备
KR101483741B1 (ko) 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
Abraham Digital image forgery detection approaches: A review and analysis
Neto et al. Face recognition using 3dlbp method applied to depth maps obtained from kinect sensors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant