KR100920056B1 - Apparatus for capturing and editing pose data or motion data by constructing articulated figures and method thereof - Google Patents

Apparatus for capturing and editing pose data or motion data by constructing articulated figures and method thereof Download PDF

Info

Publication number
KR100920056B1
KR100920056B1 KR1020070122822A KR20070122822A KR100920056B1 KR 100920056 B1 KR100920056 B1 KR 100920056B1 KR 1020070122822 A KR1020070122822 A KR 1020070122822A KR 20070122822 A KR20070122822 A KR 20070122822A KR 100920056 B1 KR100920056 B1 KR 100920056B1
Authority
KR
South Korea
Prior art keywords
articulated body
posture
motion
prefabricated
joint
Prior art date
Application number
KR1020070122822A
Other languages
Korean (ko)
Other versions
KR20080051062A (en
Inventor
김수환
박민제
정일권
이인호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080051062A publication Critical patent/KR20080051062A/en
Application granted granted Critical
Publication of KR100920056B1 publication Critical patent/KR100920056B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

본 발명은 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법에 관한 것으로, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 실존 혹은 상상의 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 캡쳐를 위해 자세 데이터 혹은 모션 데이터를 각 관절에 장착된 센서를 통해 생성하고, 이렇게 생성된 조립식 다관절체의 동작을 컴퓨터의 디스플레이부를 통해 보여줄 뿐만 아니라 조립식 다관절체의 각 관절에 달려있는 모터를 통해서 재현해봄으로써 동작의 자연스러움의 정도를 확인하고 바로 편집할 수 있다. 본 발명에 의하면, 저가의 조립식 키트를 이용하여 다양한 구조의 다관절체의 자세 데이터 및 모션 데이터를 캡쳐하여 편집할 수 있으며, 특히 기존의 모션 캡쳐 방식을 적용하기 어려운 대상인 동물이나 다양한 상상 속 생명체의 조립식 다관절체를 제작하여 용이하게 자세 데이터 및 모션 데이터를 획득할 수 있을 뿐만 아니라, 필요할 때마다 다관절체를 분해하고 조립하여 쉽고 빠르게 또 다른 모션 데이터를 획득할 수 있는 장점이 있다.The present invention relates to a posture / motion capture and editing device using a prefabricated articulated body and a method thereof, and to an existing or imaginary prefabricated articulated body manufactured by assembling using a prefabricated kit including a dummy block having a sensor and a motor. In order to capture motion corresponding to the movement of each joint, posture data or motion data is generated through a sensor mounted on each joint, and the motion of the prefabricated articulated body is not only shown through the display of the computer, but also the angle of the prefabricated articulated body By reproducing through the motor attached to the joint, the degree of naturalness of the motion can be checked and edited immediately. According to the present invention, it is possible to capture and edit posture data and motion data of various articulated bodies having various structures by using a low-cost assembly kit, and in particular, a prefabricated type of an animal or various imaginary creatures that are difficult to apply the conventional motion capture method. Not only can the pose data and motion data be easily obtained by manufacturing the articulated body, but also the motion data can be easily and quickly obtained by disassembling and assembling the articulated body whenever necessary.

조립식 다관절체, 더미 블록, 모션 캡쳐, 모션 데이터, 자세 데이터Prefabricated Articulated Joint, Dummy Block, Motion Capture, Motion Data, Posture Data

Description

조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법{APPARATUS FOR CAPTURING AND EDITING POSE DATA OR MOTION DATA BY CONSTRUCTING ARTICULATED FIGURES AND METHOD THEREOF}Posture / motion capturing and editing device using prefabricated articulated artefact and method thereof {APPARATUS FOR CAPTURING AND EDITING POSE DATA OR MOTION DATA BY CONSTRUCTING ARTICULATED FIGURES AND METHOD THEREOF}

본 발명은 3D 다관절체 애니메이션에 관한 것이며, 더욱 상세히는 기존의 모션 캡쳐 방식의 단점을 보완하여 사용자가 인터액티브하게 다관절체의 자세 데이터 혹은 모션 데이터를 획득 및 편집할 수 있는 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법에 관한 것이다.The present invention relates to 3D articulated body animation, and more particularly, to supplement the shortcomings of the conventional motion capture method, a posture using a prefabricated articulated body that enables the user to interactively acquire and edit the articulated body data or motion data. / Motion capture and editing device and method thereof.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-003-02, 과제명: 실사 수준의 디지털 영상 콘텐츠 제작 소프트웨어 개발].The present invention is derived from a study conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. [Task Management Number: 2005-S-003-02, Title: Diligence-level Digital Video Contents] Authoring software development].

3D 다관절체 애니메이션은 기본적으로 매 프레임마다 각 관절의 위치 및 각도를 마우스와 키보드를 사용하여 입력하는 키프레이밍 방법을 사용해 왔다.3D articulated animation has basically used a keyframing method that uses the mouse and keyboard to input the position and angle of each joint every frame.

그러나 이러한 전통적인 애니메이션 방법은 고난위도의 기술을 필요로 할 뿐만 아니라 너무 많은 시간이 걸린다는 단점이 있다.However, these traditional animation methods not only require high-latency techniques but also take too much time.

이에, 더욱 자연스럽고 효율적인 3D 애니메이션 생성을 위해 연기자의 동작 을 직접 획득하는 모션 캡쳐 방식이 제안되었으며, 이러한 모션 캡쳐 방식은 크게 기계식, 자기식, 광학식으로 나뉜다.Therefore, a motion capture method for directly acquiring an actor's motion has been proposed for generating a more natural and efficient 3D animation. The motion capture method is largely divided into mechanical, magnetic, and optical methods.

상기 기계식 모션 캡쳐 방식은 장비의 가격이 상대적으로 저렴하고 초기 설치가 비교적 간편하며 빛, 금속체, 자성체 등 주변 환경의 영향을 받지 않는다는 장점이 있으나, 모션 캡쳐를 위한 장치를 착용한 연기자의 동작이 자연스럽지 못하다는 단점이 있다.The mechanical motion capture method has the advantage that the price of the equipment is relatively inexpensive, the initial installation is relatively simple, and it is not affected by the surrounding environment such as light, metal, or magnetic material. The disadvantage is that it is not natural.

상기 자기식 모션 캡쳐 방식은 적은 숫자의 센서로 모션 캡쳐가 가능하지만 금속 물체나 다른 자성에 영향을 줄 수 있는 자기장 등 외부적인 영향에 민감하다는 단점이 있다.The magnetic motion capture method is capable of capturing motion with a small number of sensors, but has a disadvantage in that it is sensitive to external influences such as a magnetic field that may affect a metal object or other magnetic properties.

상기 광학식 모션 캡쳐 방식은 가장 일반적으로 많이 사용되고 있으며, 어느 사물에도 센서 부착이 가능하므로 대상이 다양하고 동작에 제약이 없다는 장점이 있지만, 장비 자체가 고가이고 자외선과 빛에 민감하며, 적외선 카메라의 초기 설치가 어렵다는 단점이 있다.The optical motion capture method is most commonly used, and since it is possible to attach a sensor to any object, there are advantages that there are various objects and there are no restrictions on operation, but the equipment itself is expensive and sensitive to ultraviolet rays and light, It is difficult to install.

또한, 이러한 종래의 모션 캡쳐 방식은 기본적으로 연기자의 동작을 획득하는 과정 이외에 획득된 모션 데이터의 노이즈를 제거하고 다관절체의 구조에 맞게 가공하는 후처리 과정이 매우 길고 복잡한 것으로 알려져 있다.In addition, the conventional motion capture method is known to have a very long and complicated post-processing process for removing noise of the acquired motion data and processing the structure according to the structure of the articulated body, in addition to the process of acquiring an actor's motion.

본 발명은 상기한 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 실존 혹은 상상의 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 캡쳐를 위해 자세 데이터 혹은 모션 데이터를 각 관절에 장착된 센서를 통해 생성하고, 이렇게 생성된 조립식 다관절체의 동작을 컴퓨터의 디스플레이부를 통해 보여줄 뿐만 아니라 조립식 다관절체의 각 관절에 달려있는 모터를 통해서 재현해봄으로써 동작의 자연스러움의 정도를 확인하고 바로 편집할 수 있는 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법을 제공하는 것이다.The present invention is to solve the above-mentioned conventional problems, the object of the present invention is to assemble using the prefabricated kit including a dummy block provided with a sensor and a motor of each joint of the existing or imaginary prefabricated articulated body. In order to capture motion corresponding to movement, posture data or motion data is generated through sensors mounted on each joint, and the motion of the prefabricated articulated body is not only shown on the computer display but also depends on each joint of the prefabricated articulated body. The present invention provides a posture / motion capturing and editing device and method using a prefabricated articulated body that can be directly edited by reproducing it through a motor.

상기와 같은 본 발명의 목적을 달성하기 위하여 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치는, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체와; 상기 조립식 다관절체의 각 관절에 장착된 센서로부터 상기 조립식 다관절체의 자세 혹은 동작을 모션 캡쳐하고 편집하기 위한 자세 데이터 혹은 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 모션 캡쳐하고 편집된 상기 조립식 다관절체의 자세 혹은 동작을 재현하는 콘트롤 박스; 및 상기 콘트롤 박스에 의해 획득한 조립식 다관절체의 자세 데이터 혹은 모션 데이터를 디스플레이부를 통해 보여주면서 블렌딩이나 보간 방법을 이용하여 수정하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어하는 컴퓨터;로 구성된다.In order to achieve the object of the present invention as described above, the posture / motion capture and editing device using the prefabricated articulated body according to the present invention, prefabricated by fabricating using a prefabricated kit including a dummy block having a sensor and a motor Polyarticular body; Acquiring posture data or motion data for motion capturing and editing the posture or motion of the prefabricated articulated articulated body from a sensor mounted on each joint of the prefabricated articulated articulated body, driving a motor mounted to each joint to capture and edit motion A control box for reproducing the posture or motion of the assembled articulated body; And modifying by using a blending or interpolation method while showing posture data or motion data of the prefabricated articulated body obtained by the control box through a display unit, and finally generating a desired posture or motion of the prefabricated articulated articulated body. Computer for controlling the driving of the mounted motor.

상기와 같은 본 발명의 목적을 달성하기 위하여 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 방법은, 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체의 기본 자세를 설정하는 단계와; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 자세 데이터를 획득하는 단계; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 데이터를 획득하는 단계; 상기 자세 데이터 혹은 모션 데이터를 블렌딩이나 보간 방법을 이용하여 컴퓨터에서 일차적으로 수정하는 단계; 일차적으로 완성된 자세 데이터 혹은 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하는 단계; 및 상기 조립식 다관절체의 재현된 자세 혹은 동작을 대하여 수정하고 싶은 관절에 부착된 센서로부터 수정된 자세 데이터 혹은 모션 데이터를 획득하여 자세 혹은 동작을 편집하여 최종적으로 원하는 조립식 다관절체의 자세 혹은 동작을 생성하는 단계;로 이루어지는 것을 특징으로 한다.In order to achieve the object of the present invention as described above, the posture / motion capture and editing method using the prefabricated articulated body according to the present invention is a prefabricated by using a prefabricated kit including a dummy block having a sensor and a motor. Setting a basic posture of the articulated body; Acquiring posture data corresponding to movement of each joint of the prefabricated articulated body; Acquiring motion data corresponding to movement of each joint of the prefabricated articulated body; Primarily modifying the pose data or motion data in a computer using a blending or interpolation method; Reproducing firstly completed posture data or motion data using motors attached to each joint of the prefabricated articulated body; And editing the posture or motion by acquiring the corrected posture data or motion data from the sensor attached to the joint to be corrected for the reproduced posture or motion of the prefabricated articulated articulated body, and finally generating the desired posture or motion of the prefabricated articulated articulated body. It characterized by consisting of.

상술한 바와 같은 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법에 의하면, 저가의 조립식 키트를 이용하여 다양한 구조의 다관절체의 자세 데이터 및 모션 데이터를 캡쳐하여 편집할 수 있으며, 특히 기존의 모션 캡쳐 방식을 적용하기 어려운 대상인 동물이나 다양한 상상 속 생명체의 조립식 다관절체를 제작하여 용이하게 자세 데이터 및 모션 데이터를 획득할 수 있을 뿐만 아니라, 필요할 때마다 다관절체를 분해하고 조립하여 쉽고 빠르게 또 다른 모션 데이터를 획득할 수 있는 장점이 있다.According to the apparatus for posture / motion capture and editing using the prefabricated articulated body according to the present invention as described above, and a method thereof, it is possible to capture and edit the posture data and the motion data of the articulated body having various structures using a low cost prefabricated kit. In particular, it is possible to easily obtain posture data and motion data by making prefabricated articulated bodies of animals or various imaginary creatures that are difficult to apply conventional motion capture methods, and disassemble and assemble the articulated bodies whenever necessary. There is an advantage that can easily and quickly obtain another motion data.

이하, 본 발명의 실시예를 첨부한 도면을 참조하여 더욱 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

도 1과 도 2를 참조하면, 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치는 조립식 다관절체(10)와 콘트롤 박스(20), 및 디스플레이부(31)를 포함하는 컴퓨터(30)로 구성된다.1 and 2, a posture / motion capture and editing apparatus using a prefabricated articulated body according to the present invention includes a computer including a prefabricated articulated body 10, a control box 20, and a display unit 31 ( 30).

상기 조립식 다관절체(10)는 센서와 모터를 구비한 더미 블록(11a,11b)을 포함하는 조립식 키트(11)를 이용하여 조립하여 제작한다.The prefabricated articulated body 10 is manufactured by assembling using the prefabricated kit 11 including the dummy blocks 11a and 11b having a sensor and a motor.

상기 조립식 키트(11)는 여러 관절로 이루어진 사물, 사람, 손, 동물, 심지어 상상 속의 생명체 등과 같이 실존 혹은 상상의 조립식 다관절체(10)를 다양한 크기와 구조로 형성할 수 있는 뼈대나 몸체용 더미 블록(11a)과, 뼈대와 뼈대용 더미 블록(11a)을 서로 연결하거나 몸체와 뼈대용 더미 블록(11a)을 서로 연결하는 관절용 더미 블록(11b)을 포함한다.The prefabricated kit 11 is a skeleton or body dummy capable of forming an existing or imaginary prefabricated articulated body 10 having various sizes and structures, such as an object, a person, a hand, an animal, or even an imaginary creature made of various joints. And a block 11a and a joint dummy block 11b for connecting the skeleton and the dummy pile block 11a to each other or connecting the body and the dummy dummy block 11a to each other.

상기 관절용 더미 블록(11b)은 조립 제작되는 다관절체(10)의 각 관절의 움직임에 대응하는 자세 데이터 혹은 모션 데이터 획득을 위한 회전각을 측정할 수 있는 센서와 하기의 컴퓨터(30)의 구동 제어 신호를 받아 각 관절을 회전시켜 상기 다관절체(10)의 특정 자세 혹은 동작을 재현하기 위한 모터를 구비하고 있다.The joint dummy block 11b is a sensor capable of measuring a rotation angle for acquiring posture data or motion data corresponding to the movement of each joint of the articulated body 10 to be assembled and driven by the computer 30 below. Receiving a control signal to rotate each joint is provided with a motor for reproducing a specific posture or motion of the articulated body (10).

상기 더미 블록(11a,11b)은 다양한 형태의 구조를 만들 수 있도록 다양한 크기로 구성되며, 여러 개의 블록을 하나로 연결할 수 있는 허브도 다양한 형태로 형 성되어 있다.The dummy blocks 11a and 11b are configured in various sizes to form various types of structures, and the hubs for connecting several blocks into one are also formed in various shapes.

상기 콘트롤 박스(20)는 상기 조립식 다관절체(10)의 각 관절에 장착된 센서로부터 상기 조립식 다관절체(10)의 자세 혹은 동작을 모션 캡쳐하고 편집하기 위한 자세 데이터 혹은 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 모션 캡쳐하고 편집된 상기 조립식 다관절체(10)의 자세 혹은 동작을 재현한다.The control box 20 obtains posture data or motion data for motion capturing and editing the posture or motion of the prefabricated articulated body 10 from sensors mounted at each joint of the prefabricated articulated body 10, and Motion capture is performed by driving motors mounted on each joint, and the posture or motion of the prefabricated articulated body 10 is reproduced.

상기 콘트롤 박스(20)는 상기 조립식 다관절체(10)의 각 관절에 부착된 센서에 연결되는 입력 단자와, 각 관절에 부착된 모터에 연결되는 출력 단자를 구비하며, 하기의 컴퓨터(30)의 시리얼 포트를 통해 컴퓨터(30)와 통신한다.The control box 20 has an input terminal connected to a sensor attached to each joint of the prefabricated articulated body 10 and an output terminal connected to a motor attached to each joint. Communicate with computer 30 via a serial port.

상기 콘트롤 박스(20)는 '기본 자세 캡쳐 기능', '자세 캡쳐 기능', '모션 캡쳐 기능', '모션 플레이 기능' 등을 수행하여 상기한 자세 데이터 혹은 모션 데이터를 획득하거나 혹은 모션 캡쳐하고 편집된 상기 조립식 다관절체(10)의 자세 혹은 동작을 재현하며, 각 기능을 선택할 수 있는 조작 버튼을 구비한다.The control box 20 performs the 'basic posture capture function', 'posture capture function', 'motion capture function', 'motion play function', etc. to obtain the above-described posture data or motion data, or motion capture and edit Reproducing the posture or operation of the prefabricated articulated body 10, and is provided with an operation button to select each function.

상기 컴퓨터(30)는 상기 콘트롤 박스(20)에 의해 획득한 조립식 다관절체(10)의 자세 데이터 혹은 모션 데이터를 디스플레이부(31)를 통해 보여주면서 블렌딩이나 보간 방법을 이용하여 수정하여 최종적으로 원하는 조립식 다관절체(10)의 자세 혹은 동작을 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어한다.The computer 30 displays the posture data or motion data of the prefabricated articulated body 10 obtained by the control box 20 on the display unit 31 and finally modifies it by using a blending or interpolation method. The posture or motion of the prefabricated articulated body 10 is generated, and the driving of the motors mounted on the respective joints is controlled.

상기와 같이 구성되는 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치는 도 3에 나타낸 방법에 의해 다음과 같이 작동한다.The posture / motion capture and editing device using the prefabricated articulated body according to the present invention configured as described above operates as follows by the method shown in FIG.

도 3을 참조하면, 가장 먼저 센서와 모터를 구비한 더미 블록을 포함하는 조립식 키트를 이용하여 조립하여 제작한 조립식 다관절체(10)의 기본 자세를 설정한다(S10).Referring to FIG. 3, first, a basic posture of a prefabricated articulated body 10 manufactured by assembling using a prefabricated kit including a dummy block having a sensor and a motor is set (S10).

이때, 상기 기본 자세는 모든 관절을 구부리지 않고 완전히 편 자세로 정한다. 상기 다관절체(10)의 기본 자세를 정하기 위해서 먼저, 조립한 다관절체(10)와 똑같은 가상의 다관절체를 상기 컴퓨터(30)를 통해 생성한 다음. 상기 가상의 다관절체와 조립한 다관절체(10)를 앞에서 정한 기본 자세로 교정하고, 상기 콘트롤 박스(20)의 모든 입력단자를 'on'으로 셋팅하면 기본 자세를 정하기 위한 모든 준비는 끝난다. 이어서, 상기 콘트롤 박스(20)에 있는 '기본 자세 캡쳐' 버튼이 선택되면, 상기 콘트롤 박스(20)는 각 관절에 부착된 센서로부터 현재 회전각을 입력받아 저장하고, 이후부터는 상기 다관절체(10)의 자세와 모션은 각 관절에 부착된 회전각 센서로부터 기본 자세의 회전각에 대해서 상대적으로 얼마나 회전했는지를 읽어 들여 처리하게 된다.At this time, the basic posture is set to a completely flat posture without bending all the joints. In order to determine the basic posture of the articulated body (10), first, a virtual articulated body identical to the assembled articulated body (10) is generated through the computer (30). The virtual articulated body and the assembled articulated body 10 are calibrated to the basic postures defined above, and if all input terminals of the control box 20 are set to 'on', all preparations for the basic posture are completed. Subsequently, when the 'Basic posture capture' button in the control box 20 is selected, the control box 20 receives and stores a current rotation angle from a sensor attached to each joint, and thereafter, the articulated body 10 ) Posture and motion are read from the rotation angle sensor attached to each joint to read how much the rotation is relative to the rotation angle of the basic posture.

상기와 같이 기본 자세를 설정하고 나면, 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 자세 데이터 혹은 모션 데이터를 획득하며(S12), 상기 다관절체(10)의 자세 데이터 혹은 모션 데이터를 획득하는 과정은 상기 다관절체(10)의 기본 자세를 설정하는 경우와 비슷하다.After setting the basic posture as described above, the posture data or motion data corresponding to the movement of each joint of the prefabricated articulated body is obtained (S12), the process of obtaining the posture data or motion data of the articulated body (10) Is similar to the case of setting the basic posture of the articulated body (10).

이때, 상기 콘트롤 박스(20)는 상기 다관절체(10)의 각 관절이 원하는 자세로 굽혀지거나 펴진 상태에서 모든 입력단자를 'on'으로 셋팅하고, '자세 캡쳐' 버튼이 선택되면, 각 관절에 부착된 센서로부터 상기 기본 자세로부터 변화된 상대적인 회전각을 입력받아 이 회전각을 자세 데이터로 획득하여 상기 컴퓨터(30)로 전달하며, 이에 따라서 상기 컴퓨터(30)는 입력된 자세 데이터를 디스플레이부(31)에 표시하게 된다.In this case, the control box 20 sets all the input terminals to 'on' in a state where each joint of the articulated body 10 is bent or extended in a desired posture, and the 'posture capture' button is selected, Receives the relative rotation angle changed from the basic posture from the attached sensor and obtains the rotation angle as posture data and transmits it to the computer 30. Accordingly, the computer 30 transmits the input posture data to the display unit 31. ) Will be displayed.

상기 다관절체(10)의 모션 데이터를 획득하는 경우, 상기 콘트롤 박스(20)는 모든 입력단자를 'on'으로 셋팅하고, '모션 캡쳐' 버튼이 선택된 상태에서 상기 다관절체(10)이 사용자에 의해 원하는 동작으로 움직여질 때, 각 관절에 부착되어 있는 센서로부터 미리 설정된 시간 간격에 맞추어 각 관절의 상대 회전각을 측정하여 모션 데이터로 기록한 다음, '모션 캡쳐' 버튼이 다시 선택되면 모션 캡쳐 작업을 종료한 후, 획득된 모션 데이터를 상기 컴퓨터(30)로 전달하며, 이에 따라서 상기 컴퓨터(30)는 입력된 모션 데이터를 디스플레이부(31)에 반복적으로 표시하게 된다.When acquiring the motion data of the articulated body 10, the control box 20 sets all input terminals to 'on', and the articulated body 10 is connected to the user while the 'motion capture' button is selected. When moving to the desired motion by measuring the relative rotation angle of each joint at a predetermined time interval from the sensor attached to each joint, recorded as motion data, and then the motion capture operation is performed when the 'Motion Capture' button is selected again. After finishing, the acquired motion data is transferred to the computer 30, and accordingly, the computer 30 repeatedly displays the input motion data on the display unit 31.

또한, 상기 다관절체(10)의 모션 데이터를 획득하기 위하여 프레임별로 상기한 바와 같이 자세 데이터를 획득한 경우에는 상기 디스플레이부(31)를 통해 프레임별 자세 데이터를 확인하면서 연속적인 모션 데이터를 얻는다.In addition, when the posture data is acquired as described above for each frame in order to acquire the motion data of the articulated body 10, continuous motion data is obtained while checking the posture data for each frame through the display unit 31.

상기와 같이 자세 데이터 혹은 모션 데이터가 획득되고 난 후, 수정 작업이 필요하면(S14), 상기 자세 데이터 혹은 모션 데이터를 블렌딩이나 보간 방법을 이용하여 상기 컴퓨터(30)에서 일차적으로 수정하며(S16), 이에 따라서 부드럽고 연속적인 모션 데이터를 얻는다.After the posture data or motion data is acquired as described above, if a correction operation is required (S14), the posture data or motion data is first modified by the computer 30 using a blending or interpolation method (S16). Thus, smooth and continuous motion data is obtained.

이와 같이 수정 작업 후 일차적으로 자세 데이터 혹은 모션 데이터가 완성되거나, 상기와 같이 자세 데이터 혹은 모션 데이터가 획득되고 난 후 수정 작업이 필요하지 않으면, 다음으로 이 자세 데이터 혹은 모션 데이터를 상기 조립식 다관절체(10)의 각 관절에 부착된 모터를 이용하여 재현한다(S18).As described above, if posture data or motion data is completed first or if posture data or motion data is not required after the posture data or motion data is acquired as described above, the posture data or motion data is then transferred to the prefabricated articulated body ( Reproduced using the motor attached to each joint of 10) (S18).

원하는 최종 완성 데이터가 자세 데이터인 경우는 모션 데이터인 경우를 참조하면 되므로 이하에서는 최종 완성 데이터가 모션 데이터인 경우에 대해서만 재현 과정을 구체적으로 설명하기로 한다.Since the case where the desired final data is the attitude data is referred to as the motion data, the following describes the reproduction process in detail only when the final data is the motion data.

상기 콘트롤 박스(20)는 모든 출력단자를 'on'으로 셋팅하고, '모션 플레이' 버튼이 선택되면, 상기 컴퓨터(30) 상에서 일차적으로 완성된 모션 데이터대로 상기 콘트롤 박스(20)를 통해 각 모터에 제어 신호를 보내 동작을 반복적으로 재현한다. 이때, 사용자는 이 결과를 보고 동작의 자연스러움을 확인할 수 있을 뿐 아니라 마음에 들지 않을 경우 바로 수정할 수 있다.The control box 20 sets all output terminals to 'on', and when the 'motion play' button is selected, each motor through the control box 20 according to the motion data primarily completed on the computer 30. A control signal is sent to to repeat the operation. At this time, the user can not only check the naturalness of the operation by looking at the result, but also can immediately correct it if they do not like it.

끝으로, 상기한 바와 같이 자세 데이터 혹은 모션 데이터가 재현되고 난 후, 해당 데이터의 편집이 필요한 경우(S20)에는, 상기 조립식 다관절체(10)의 재현된 자세 혹은 동작을 대하여 수정하고 싶은 관절에 부착된 센서로부터 수정된 자세 데이터 혹은 모션 데이터를 획득하여 자세 혹은 동작을 편집하여 최종적으로 원하는 조립식 다관절체(10)의 자세 혹은 동작을 생성한다(S22).Finally, after the posture data or the motion data is reproduced as described above, if the editing of the data is necessary (S20), the joints to be corrected with respect to the reproduced posture or motion of the prefabricated articulated body (10). The modified posture data or motion data is acquired from the attached sensor, and the posture or motion is edited to finally generate the posture or motion of the desired prefabricated articulated body 10 (S22).

원하는 최종 완성 데이터가 자세 데이터인 경우는 모션 데이터인 경우를 참조하면 되므로 이하에서는 최종 완성 데이터가 모션 데이터인 경우에 대해서만 편집 과정을 구체적으로 설명하기로 한다.Since the case where the desired final data is the attitude data is referred to as the motion data, the following describes the editing process only in the case where the final data is the motion data.

상기 콘트롤 박스(20)는 편집을 원하는 관절의 입력단자를 'on'으로 셋팅하고, 편집을 원하지 않는 관절의 출력단자를 'on'으로 셋팅한다. 그리고 '모션 캡쳐' 버튼과 '모션 플레이' 버튼을 함께 누르면 편집을 원하지 않는 관절은 일차적으로 완성된 모션을 재현하게 된다. 이때, 사용자에 의해 편집을 원하는 관절이 움직여지면 정해진 시간 간격으로 다시 모션 데이터를 입력받아 수정하게 되고, 이에 따라서 최종적으로 원하는 조립식 다관절체(10)의 동작이 생성된다.The control box 20 sets the input terminal of the joint to be edited to 'on' and the output terminal of the joint not to be edited to 'on'. If you press the 'Motion Capture' button and the 'Motion Play' button together, the joints that you do not want to edit will be reproduced first. In this case, when the joint desired to be edited by the user is moved, motion data is input again and modified at predetermined time intervals, and thus, an operation of the desired prefabricated articulated body 10 is finally generated.

이상에서 설명한 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치와 그 방법은 상기한 실시예에 따른 서비스에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.The posture / motion capturing and editing apparatus and method using the prefabricated articulated body according to the present invention described above are not limited to the service according to the above-described embodiment, and the scope of the present invention as claimed in the following claims Without a doubt, those skilled in the art to which the present invention pertains will have a technical spirit of the present invention to the extent that it can be variously modified.

도 1은 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 장치의 구성도.1 is a block diagram of a posture / motion capture and editing apparatus using a prefabricated articulated body according to the present invention.

도 2는 도 1의 조립식 다관절체를 제작하기 위해 사용되는 다양한 크기와 구조의 더미 블록을 포함하는 조립식 키트를 나타낸 실시예.Figure 2 is an embodiment showing a prefabricated kit including a dummy block of various sizes and structures used to manufacture the prefabricated articulated body of Figure 1;

도 3은 본 발명에 따른 조립식 다관절체를 이용한 자세/모션 캡쳐 및 편집 방법을 나타낸 플로차트.Figure 3 is a flow chart showing a posture / motion capture and editing method using a prefabricated articulated body according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 조립식 다관절체 11: 조립식 키트10: prefabricated articulated body 11: prefabricated kit

11a,11b: 더미 블록 20: 콘트롤 박스11a, 11b: dummy block 20: control box

30: 컴퓨터 31: 디스플레이부30: computer 31: display unit

Claims (12)

특정 모델의 관절 단위로 제작되어 센서와 모터를 구비한 더미 블록을 조립하여 제작한 조립식 다관절체와;A prefabricated articulated body manufactured by assembling a dummy block including a sensor and a motor, which is manufactured in a unit of a specific model; 상기 조립식 다관절체의 각 관절에 장착된 센서로부터 상기 조립식 다관절체의 자세를 캡쳐하여 자세 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 상기 조립식 다관절체의 자세를 재현하는 콘트롤 박스; 및A control box for capturing the posture of the prefabricated articulated body from a sensor mounted on each joint of the prefabricated articulated body, obtaining posture data, and driving a motor mounted to each joint to reproduce the posture of the prefabricated articulated body; And 상기 콘트롤 박스에 의해 획득한 조립식 다관절체의 자세 데이터를 표현하는 디스플레이부를 포함하며, 사용자에 의한 블렌딩이나 보간에 대응하여 상기 자세 데이터를 편집하여 최종적으로 조립식 다관절체의 자세에 관련된 데이터를 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어하는 컴퓨터And a display unit for expressing posture data of the prefabricated articulated body obtained by the control box, and editing the posture data in response to blending or interpolation by a user to finally generate data related to the posture of the prefabricated articulated body. Computer for controlling the driving of the motor mounted on each joint 로 구성되는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 장치.Posture capture and editing device using a prefabricated articulated body, characterized in that consisting of. 제 1 항에 있어서, 상기 콘트롤 박스는 상기 조립식 다관절체의 각 관절에 부착된 센서에 연결되는 입력 단자와, 각 관절에 부착된 모터에 연결되는 출력 단자를 구비하며, 상기 컴퓨터의 시리얼 포트를 통해 컴퓨터와 통신하는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 장치.The control box of claim 1, wherein the control box includes an input terminal connected to a sensor attached to each joint of the prefabricated articulated body, and an output terminal connected to a motor attached to each joint. Posture capture and editing device using a prefabricated articulated body characterized in that the communication with the computer. 제 1 항에 있어서, 상기 콘트롤 박스는 '기본 자세 캡쳐 기능', '자세 캡쳐 기능', '자세 재현 기능'을 수행하며, 각 해당 기능을 선택할 수 있는 조작 버튼을 구비하는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 장치.The prefabricated manifold according to claim 1, wherein the control box performs a basic posture capture function, a posture capture function, and a posture reproduction function, and includes an operation button for selecting each corresponding function. Posture capture and editing device using transfer. 특정 모델의 관절 단위로 제조되어 센서와 모터를 구비한 더미 블록을 조립하여 제작한 조립식 다관절체의 기본 자세를 설정하는 단계와;Setting a basic posture of a prefabricated articulated body manufactured by assembling a dummy block including a sensor and a motor, which is manufactured in a unit of a specific model; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 자세 데이터를 획득하는 단계; 및Acquiring posture data corresponding to movement of each joint of the prefabricated articulated body; And 획득된 자세 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현한 후, 최종적으로 원하는 조립식 다관절체의 자세에 관련된 데이터를 생성하는 단계Reproducing the acquired posture data using a motor attached to each joint of the prefabricated articulated body, and finally generating data related to the posture of a desired prefabricated articulated body 로 이루어지는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 방법.Posture capture and editing method using a prefabricated articulated body, characterized in that consisting of. 제 4 항에 있어서, 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 자세 데이터를 획득하고 난 후, 필요한 경우 상기 자세 데이터를 블렌딩이나 보간 방법을 이용하여 컴퓨터에서 일차적으로 수정한 다음, 일차적으로 완성된 자세 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 방법.The method of claim 4, wherein after acquiring posture data corresponding to movement of each joint of the prefabricated articulated body, the posture data is firstly modified by a computer using a blending or interpolation method, and then completed first. Posture capture and editing method using the prefabricated articulated body, characterized in that to reproduce the posture data using a motor attached to each joint of the prefabricated articulated body. 제 5 항에 있어서, 상기 일차적으로 완성된 자세 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하고 난 후, 편집이 필요한 경우 센서로부터 수정된 자세 데이터를 획득하여 자세를 편집하여 최종적으로 원하는 조립식 다관절체의 자세를 생성하는 것을 특징으로 하는 조립식 다관절체를 이용한 자세 캡쳐 및 편집 방법.The posture of claim 5, wherein the first completed posture data is reproduced by using a motor attached to each joint of the prefabricated articulated body. Finally, the posture capture and editing method using the prefabricated articulated body, characterized in that for generating the posture of the desired prefabricated articulated body. 특정 모델의 관절 단위로 제작되어 센서와 모터를 구비한 더미 블록을 조립하여 제작한 조립식 다관절체와;A prefabricated articulated body manufactured by assembling a dummy block including a sensor and a motor, which is manufactured in a unit of a specific model; 상기 조립식 다관절체의 각 관절에 장착된 센서로부터 상기 조립식 다관절체의 동작을 모션 캡쳐하여 모션 데이터를 획득하고, 상기 각 관절에 장착된 모터를 구동하여 상기 조립식 다관절체의 동작을 재현하는 콘트롤 박스; 및A control box for capturing motion of the prefabricated articulated body from motion sensors mounted on each joint of the prefabricated articulated body to obtain motion data, and driving a motor mounted to each joint to reproduce the motion of the prefabricated articulated body; And 상기 콘트롤 박스에 의해 획득한 조립식 다관절체의 모션 데이터를 표현하는 디스플레이부를 포함하며, 사용자에 의한 블렌딩이나 보간에 대응하여 상기 모션 데이터를 편집하여 최종적으로 조립식 다관절체의 동작에 관련된 데이터를 생성하고, 상기 각 관절에 장착된 모터의 구동을 제어하는 컴퓨터A display unit expressing motion data of the prefabricated articulated body obtained by the control box, and editing the motion data in response to blending or interpolation by a user to finally generate data related to the operation of the prefabricated articulated body, Computer for controlling the driving of the motor mounted on each joint 로 구성되는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.Motion capture and editing device using a prefabricated articulated body, characterized in that consisting of. 제 7 항에 있어서, 상기 콘트롤 박스는 상기 조립식 다관절체의 각 관절에 부착된 센서에 연결되는 입력 단자와, 각 관절에 부착된 모터에 연결되는 출력 단자를 구비하며, 상기 컴퓨터의 시리얼 포트를 통해 컴퓨터와 통신하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.8. The control box of claim 7, wherein the control box has an input terminal connected to a sensor attached to each joint of the prefabricated articulated body, and an output terminal connected to a motor attached to each joint, Motion capture and editing device using a prefabricated articulated body characterized in that the communication with the computer. 제 7 항에 있어서, 상기 콘트롤 박스는 '기본 자세 캡쳐 기능', '모션 캡쳐 기능', '모션 플레이 기능'을 수행하며, 각 해당 기능을 선택할 수 있는 조작 버튼을 구비하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 장치.8. The prefabricated cannula according to claim 7, wherein the control box performs a 'basic posture capture function', a 'motion capture function', and a 'motion play function', and includes an operation button for selecting each corresponding function. Motion capture and editing device using transfer. 특정 모델의 관절 단위로 제조되어 센서와 모터를 구비한 더미 블록을 조립하여 제작한 조립식 다관절체의 기본 자세를 설정하는 단계와;Setting a basic posture of a prefabricated articulated body manufactured by assembling a dummy block including a sensor and a motor, which is manufactured in a unit of a specific model; 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 데이터를 획득하는 단계; 및Acquiring motion data corresponding to movement of each joint of the prefabricated articulated body; And 획득된 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현한 후, 최종적으로 원하는 조립식 다관절체의 동작에 관련된 데이터를 생성하는 단계Reproducing the obtained motion data using a motor attached to each joint of the prefabricated articulated body, and finally generating data related to the operation of the desired prefabricated articulated body 로 이루어지는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.Motion capture and editing method using a prefabricated articulated body, characterized in that consisting of. 제 10 항에 있어서, 상기 조립식 다관절체의 각 관절의 움직임에 대응하는 모션 데이터를 획득하고 난 후, 필요한 경우 상기 모션 데이터를 블렌딩이나 보간 방법을 이용하여 컴퓨터에서 일차적으로 수정한 다음, 일차적으로 완성된 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.11. The method of claim 10, after acquiring motion data corresponding to the movement of each joint of the prefabricated articulated body, if necessary, first modifying the motion data in a computer using a blending or interpolation method, and then completing the first operation. Motion capture and editing method using a prefabricated articulated body, characterized in that the reproduced motion data using a motor attached to each joint of the prefabricated articulated body. 제 11 항에 있어서, 상기 일차적으로 완성된 모션 데이터를 상기 조립식 다관절체의 각 관절에 부착된 모터를 이용하여 재현하고 난 후, 편집이 필요한 경우 센서로부터 수정된 모션 데이터를 획득하여 동작을 편집하여 최종적으로 원하는 조립식 다관절체의 동작을 생성하는 것을 특징으로 하는 조립식 다관절체를 이용한 모션 캡쳐 및 편집 방법.The method of claim 11, wherein after the first completed motion data is reproduced by using a motor attached to each joint of the prefabricated articulated body, the motion is edited by acquiring the corrected motion data from the sensor when editing is required. Finally, the motion capture and editing method using the prefabricated articulated body, characterized in that for generating the desired motion of the prefabricated articulated body.
KR1020070122822A 2006-12-04 2007-11-29 Apparatus for capturing and editing pose data or motion data by constructing articulated figures and method thereof KR100920056B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121382 2006-12-04
KR20060121382 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051062A KR20080051062A (en) 2008-06-10
KR100920056B1 true KR100920056B1 (en) 2009-10-07

Family

ID=39806196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070122822A KR100920056B1 (en) 2006-12-04 2007-11-29 Apparatus for capturing and editing pose data or motion data by constructing articulated figures and method thereof

Country Status (1)

Country Link
KR (1) KR100920056B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109470263A (en) * 2018-09-30 2019-03-15 北京诺亦腾科技有限公司 Motion capture method, electronic equipment and computer storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305473A (en) * 1995-05-11 1996-11-22 Hitachi Ltd Three-dimensional data input system
JP2003178325A (en) 2001-12-12 2003-06-27 Oas Kk Three-dimensional coordinate input system and program for preparing action pattern
JP2003231077A (en) 2002-02-12 2003-08-19 Univ Tokyo Motion producing method for human type link system
KR20050009937A (en) * 2003-07-18 2005-01-26 정보통신연구진흥원 Production method for model animation using active motion control system and apparatus therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305473A (en) * 1995-05-11 1996-11-22 Hitachi Ltd Three-dimensional data input system
JP2003178325A (en) 2001-12-12 2003-06-27 Oas Kk Three-dimensional coordinate input system and program for preparing action pattern
JP2003231077A (en) 2002-02-12 2003-08-19 Univ Tokyo Motion producing method for human type link system
KR20050009937A (en) * 2003-07-18 2005-01-26 정보통신연구진흥원 Production method for model animation using active motion control system and apparatus therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109470263A (en) * 2018-09-30 2019-03-15 北京诺亦腾科技有限公司 Motion capture method, electronic equipment and computer storage medium

Also Published As

Publication number Publication date
KR20080051062A (en) 2008-06-10

Similar Documents

Publication Publication Date Title
US11908057B2 (en) Image regularization and retargeting system
CN103258338A (en) Method and system for driving simulated virtual environments with real data
CN102831401B (en) To following the tracks of without specific markers target object, three-dimensional overlay and mutual method and system
CN113256821B (en) Three-dimensional virtual image lip shape generation method and device and electronic equipment
CN104484327A (en) Project environment display method
CN101901497A (en) The inverse kinematics of motion-captured characters
CN102811352A (en) Moving image generating method and moving image generating apparatus
Weller et al. Posey: instrumenting a poseable hub and strut construction toy
US10074205B2 (en) Machine creation of program with frame analysis method and apparatus
Jin et al. AniMesh: interleaved animation, modeling, and editing.
WO2014051584A1 (en) Character model animation using stored recordings of player movement interface data
KR100920056B1 (en) Apparatus for capturing and editing pose data or motion data by constructing articulated figures and method thereof
US8368700B1 (en) Animatronics animation method and apparatus
CN101989076A (en) Method for controlling shooting by three-dimensional software
CN110460794A (en) A kind of method and device of video record
CN110039546A (en) For controlling the method and robot of robot motion
CN109816744B (en) Neural network-based two-dimensional special effect picture generation method and device
Tejera et al. Animation control of surface motion capture
Hyneman et al. Human face project
Tejera et al. Space-time editing of 3d video sequences
US20220076409A1 (en) Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation
Luo A Voice Recognition Sensor and Voice Control System in an Intelligent Toy Robot System.
CN114100160A (en) Shadow play enhanced display method, system and readable storage medium
CN110675493B (en) Application method for funeral and interment sacrificial field and family tree display based on holographic technology
Izani et al. Keyframe animation and motion capture for creating animation: a survey and perception from industry people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120919

Year of fee payment: 19