WO2015174724A1 - 영상의 3차원 보정 장치 및 방법 - Google Patents

영상의 3차원 보정 장치 및 방법 Download PDF

Info

Publication number
WO2015174724A1
WO2015174724A1 PCT/KR2015/004762 KR2015004762W WO2015174724A1 WO 2015174724 A1 WO2015174724 A1 WO 2015174724A1 KR 2015004762 W KR2015004762 W KR 2015004762W WO 2015174724 A1 WO2015174724 A1 WO 2015174724A1
Authority
WO
WIPO (PCT)
Prior art keywords
template
image
candidate
real object
characteristic parameter
Prior art date
Application number
PCT/KR2015/004762
Other languages
English (en)
French (fr)
Inventor
곽진욱
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Publication of WO2015174724A1 publication Critical patent/WO2015174724A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • Embodiments of the present invention relate to an object recognition technology in an image using a camera.
  • CCTV Camera Television
  • video data is increasingly used to track the movement path of a suspect or a dragon vehicle.
  • Control using CCTV is mainly based on event analysis, which detects the size and movement of objects (objects such as people or vehicles) through video analysis of cameras installed at specific places. Is mainly done.
  • the image captured by the camera is two-dimensional while the actual photographed object is three-dimensional
  • information such as a viewing angle, a height, an angle of view, and the like of the currently installed camera is required to detect the three-dimensional object on the two-dimensional screen.
  • a system operator or the like inputs the above information by manually viewing the screen.
  • this is a task that requires a long experience and trial and error of the operator, which takes a very long time and has a limitation in accuracy because the whole process is performed by hand.
  • Embodiments of the present invention provide a means for effectively overlaying a three-dimensional template on an image such as a surveillance camera.
  • a template overlapping module for acquiring an image and generating an overlay image by superimposing a 3D template on the obtained image;
  • a template adjustment module for arranging a preset virtual object on the overlay image and adjusting characteristic parameters of the 3D template by comparing features of the arranged virtual object with the real object in the image.
  • the template superimposing module displays the one or more pre-stored candidate templates together with the obtained image on the screen, and selects the selected candidate template as the one of the one or more candidate templates displayed.
  • An overlay image may be generated by overlapping with.
  • the template superimposition module may extract the feature information of the image from the image and generate the overlay image by selecting a candidate template having the highest similarity with the extracted feature information among previously stored candidate templates.
  • the template superimposition module may select a candidate template having the highest similarity to the extracted feature information among previously stored candidate templates based on at least one of a photographing zone name of the camera photographing the image or a keyword stored in association with the camera. have.
  • the template adjustment module may arrange, on the overlay image, the candidate virtual object having the highest similarity to the real object among one or more candidate virtual objects previously stored.
  • the template adjustment module may select a candidate virtual object having the highest similarity with the real object by comparing the size of the real object input from the user with the size of the stored one or more candidate virtual objects.
  • the template adjustment module may select a candidate virtual object to be placed in the overlay image from among previously stored candidate virtual objects based on at least one of a photographing zone name of the camera photographing the image or a keyword stored in association with the camera.
  • the template adjustment module is configured to change the size of the real object in the image measured as the real object moves in the image, and the 3D template of the real object calculated at the same position as the real object. It is possible to compare the size change of and adjust the characteristic parameters of the three-dimensional template according to the comparison result.
  • the characteristic parameter may include one or more of a projection height, a projection direction, an inclination, an angle of view, and a focal position of the three-dimensional template.
  • the template adjustment module may adjust the characteristic parameter of the 3D template by reflecting the input value.
  • the method includes: obtaining an image and generating an overlay image by superimposing a 3D template on the obtained image; And arranging a preset virtual object on the overlay image, and adjusting a characteristic parameter of the 3D template by comparing features of the disposed virtual object and the real object in the image. This is provided.
  • the generating of the overlay image may include displaying one or more candidate templates stored in advance on the screen together with the obtained image; And as one candidate template of the one or more candidate templates displayed is selected, superimposing the selected candidate template on the image.
  • the adjusting of the characteristic parameter may include arranging candidate virtual objects having the highest similarity to the real object among one or more previously stored candidate virtual objects on the overlay image.
  • the generating of the overlay image may include extracting feature information of the image from the image, and selecting the candidate template having the highest similarity with the extracted feature information among previously stored candidate templates to generate the overlay image.
  • the template superimposition module may select a candidate template having the highest similarity to the extracted feature information among previously stored candidate templates based on at least one of a photographing zone name of the camera photographing the image or a keyword stored in association with the camera. have.
  • the adjusting of the characteristic parameter may select a candidate virtual object having the highest similarity with the real object by comparing the size of the real object input from the user with the size of the stored one or more candidate virtual objects.
  • the adjusting of the characteristic parameter may include selecting a candidate virtual object to be placed in the overlay image among previously stored candidate virtual objects based on at least one of a photographing zone name of the camera photographing the image or a keyword stored in association with the camera. Can be.
  • the adjusting of the characteristic parameter may include: changing the size of the real object in the image measured as the real object moves in the image, and the 3 of the real object calculated at the same position as the real object.
  • the change in size on the dimensional template may be compared, and the characteristic parameter of the 3D template may be adjusted according to the comparison result.
  • the characteristic parameter may include one or more of a projection height, a projection direction, a tilt angle of view, and a focal position of the three-dimensional template.
  • the characteristic parameter of the 3D template when the characteristic parameter correction value of the 3D template is input from the user, the characteristic parameter of the 3D template may be adjusted by reflecting the input value.
  • three-dimensional templates of various types and shapes are stored in advance and photographed quickly and easily by superimposing them on the actual image using a template determined to be appropriate among the stored templates according to the characteristics of the photographed image.
  • Three-dimensional image correction of the image may be performed.
  • FIG. 1 is a block diagram illustrating a three-dimensional correction apparatus 100 for an image according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view for explaining a three-dimensional template according to an embodiment of the present invention
  • FIG. 3 is an exemplary view illustrating an example in which the 3D template illustrated in FIG. 2 is superimposed on an image.
  • FIG. 4 illustrates an example of arranging a virtual object in the overlay image shown in FIG. 3.
  • FIG. 5 is an exemplary diagram for explaining a process of adjusting characteristic parameters of a 3D template in the template adjusting module 106 according to an embodiment of the present invention.
  • 6 and 7 are exemplary views for explaining a process for calculating a characteristic value of a camera according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method 3D correction 800 of an image according to an embodiment of the present invention.
  • 3D correction apparatus 100 for an image according to an embodiment of the present invention is an apparatus for calculating the position in the three-dimensional space of the object (subject) in the two-dimensional image by superimposing the three-dimensional template on the two-dimensional image to be.
  • the 3D image correction apparatus 100 of an image according to an embodiment of the present invention is included as an element inside a camera device such as a surveillance camera, or is configured as a separate device from the surveillance camera and the like so as to be connected to the surveillance camera. Can be.
  • the 3D image correction apparatus 100 of an image according to an embodiment of the present invention includes a data storage module 102, a template superimposition module 104, and a template adjustment module 106.
  • the data storage module 102 is a space for storing one or more three-dimensional templates and one or more virtual objects to be overlaid on images captured from a surveillance camera or the like.
  • the three-dimensional template is a guideline for calculating the position in the three-dimensional space of the object located in the image, as shown in FIG. It can be configured to include a grid (grid).
  • Each grid of the 3D template corresponds to a space of the same size in a real space even though the grids of the 3D template appear to be different in size on a 2D screen. It is possible to calculate the size and position in the actual space of. 3 illustrates an example in which the 3D template illustrated in FIG. 2 is superimposed on an image.
  • the data storage module 102 may store one or more different three-dimensional templates.
  • the data storage module 102 may store three-dimensional templates having different shapes according to characteristics of a space such as a flat, a road, an intersection, an entrance, an office, a corridor, and the like.
  • the virtual object is a kind of virtual object to be superimposed and displayed together with the three-dimensional template in the image, and has a shape of a person (man, woman, child, etc.), a vehicle (such as a van, bus, passenger car, etc.), a roadside tree, or a street lamp. Can be.
  • the data storage module 102 may store size information (height, width, etc.) of each object together with the virtual object.
  • the virtual object is used to correct the three-dimensional template through comparison with the real object in the image. 4 illustrates an example of arranging virtual objects (trees, people, cars, etc.) in the overlay image shown in FIG. 3.
  • the template superimposition module 104 obtains an image from a camera or the like and generates an overlay image by superimposing a 3D template on the obtained image.
  • the template superposition module 104 stores and manages information of one or more three-dimensional templates (candidate templates) to be superimposed on an image in the data storage module 102 and, together with the obtained images, the one or more three.
  • the dimensional template can be displayed on the screen. Then, the user selects any one of the displayed 3D templates, and the template overlap module 104 may generate an overlay image by superimposing the selected candidate template on the image.
  • the template superimposition module 104 derives the acquired characteristics of the image (the presence or absence of a horizon in the image, the position of the main feature lines and the connection relations, etc.), and automatically generates an optimal three-dimensional template for the derived characteristics. It may be configured to select. To this end, the template overlapping module 104 may use various algorithms for deriving characteristic information in an image. In addition, for this purpose, the template superimposition module 104 may include an algorithm for recognizing an object in the screen and its type (car, person, etc.) in order to accurately recognize the position and connection relationship of the main feature lines in the image.
  • the template superimposition module 104 may select an optimal three-dimensional template by using the information of the camera photographing the image.
  • the camera that captured the image has a name (POSCO Crossroad, Namsan 1 Tunnel, etc.) for the shooting zone or shooting zone, or a keyword that can recognize the shape of the shooting zone separately (entrance, crossroad, etc.).
  • a conference room, a corridor, etc. may be added, the template overlapping module 104 may be used to select an optimal template from previously stored templates.
  • the template adjustment module 106 arranges a virtual object on the overlay image generated by the template overlap module 104, and compares the characteristic parameter of the three-dimensional template with a feature of the virtual object and the real object. Adjust it.
  • the characteristic parameter is information including one or more of a projection height, a projection direction, an inclination, an angle of view, and a focal position of the three-dimensional template.
  • the template adjustment module 106 may select a candidate virtual object having the highest similarity to the size of the real object in the image among the one or more virtual objects stored in the data storage module 102 and place the candidate virtual object on the overlay image.
  • the template adjustment module 106 may receive the size information (key or width, etc.) of the real object in the image from the user. For example, when a woman having a height of 160 centimeters exists on the screen, the template adjusting module 106 may place a virtual object having the same key as the female in the overlay image.
  • the template adjustment module 106 may automatically place the optimal virtual object on the overlay image according to the characteristics of the image.
  • a vehicle when the image is an intersection, a vehicle may be disposed, and in the case of a corridor or an entrance, a person may be disposed as a virtual object.
  • the characteristics of such an image can be found by using the name or keyword of the camera photographing the image as described above.
  • the size of the virtual object in the image depends on the position of the virtual object in the image and the information obtained from the superimposed three-dimensional template. For example, even if a virtual object of the same size, the virtual object of the position determined to be far from the camera on the three-dimensional template is smaller on the screen than the virtual object of the position determined to be closer than that.
  • the template adjustment module 106 adjusts the characteristic parameter of the 3D template by comparing the virtual object with the virtual object in the image.
  • the template adjustment module 106 is configured to change the size of the real object in the image measured as the real object moves in the image, and the real object of the real object calculated at the same position as the real object.
  • the change in size on the 3D template is compared and the characteristic parameter of the 3D template is adjusted according to the comparison result. That is, in the present invention, the characteristic of the real object or the virtual object means the degree of change in size when the object moves in the image. If this is explained in more detail as follows.
  • FIG. 5 is an exemplary diagram for describing a process of adjusting characteristic parameters of a 3D template in the template adjusting module 106 according to an embodiment of the present invention.
  • 502 represents a real object in the image
  • 504 represents a virtual object.
  • the height (key) changed from h1 to h1 'as a real object (e.g., a person) in the image moved from position A to position B, the height of the virtual object 504 at the same position.
  • (key) is changed from h2 to h2 '.
  • the size of the virtual object in the image is determined according to the characteristic parameter of the three-dimensional template superimposed on the image.
  • the characteristic parameter of the superimposed three-dimensional template does not match the actual space.
  • the characteristic parameter is adjusted by changing one or more of the projection height, the projection direction, the tilt, the angle of view, and the focal position. This adjustment is repeated until the change due to the movement of the real object in the image becomes the same as the virtual object.
  • the template adjustment module 106 may receive a correction value for the characteristic parameter from a user and reflect it in the characteristic parameter adjustment.
  • the template adjustment module 106 may provide an interface for the user to intuitively adjust the template using a keyboard, a mouse, or a screen touch. As such, when the template adjustment module 106 uses the correction value input from the user together with the change of the size of the object in the image, the accuracy of the characteristic parameter can be further increased.
  • the installation characteristic value of the camera can be calculated from the object in the image. 6 and 7 illustrate this. As shown, there are two objects on the screen, object A and object B, object A is located on a centerline (indicated by a dotted line) from the camera, and object B is located at an angle x from object A Assume that
  • the installation position cl of the camera may be calculated as follows.
  • the camera installation height ch may be calculated as follows.
  • the angle of view cv and installation angle ct of the camera can be calculated as follows.
  • FIG. 8 is a flowchart illustrating a three-dimensional correction method 800 of an image according to an embodiment of the present invention.
  • the template superimposition module 104 receives a 3D template to which an image is to be superimposed from a user or the like.
  • the template superimposition module 102 may provide an appropriate interface for allowing a user to visually view a pre-stored template and select a template suitable for an image.
  • the template overlapping module 104 may display one or more candidate templates stored in advance on the screen together with the obtained image, and allow one candidate template of the displayed one or more candidate templates to be selected.
  • step 804 the template superimposition module 104 determines whether input for setting values (characteristic parameters, etc.) for the selected template is required, and if so, receives the input from the user in step 806.
  • the template adjustment module 106 receives a virtual object to be placed in the image from a user or the like.
  • the virtual object may be a candidate virtual object having the highest similarity to the real object among one or more previously stored candidate virtual objects.
  • step 810 the template adjustment module 106 determines whether an input for setting values (such as the height or length of the object) for the selected virtual object is required, and if determined necessary, inputs it from the user in step 812. Receive.
  • an input for setting values such as the height or length of the object
  • the template adjustment module 106 determines whether the features of the virtual object and the real object match through the feature comparison between the virtual object disposed in the image and the real object in the image. As described above, the template adjustment module 106 is configured to calculate the size change of the real object in the image measured as the real object moves in the image, and the real object calculated at the same position as the real object. It is possible to compare the change of the size on the three-dimensional template of, and to adjust the characteristic parameter of the three-dimensional template according to the comparison result.
  • step 816 the template adjustment module 106 adjusts the characteristic parameters of the template until the characteristics match.
  • step 818 the template adjustment module 106 determines whether a request for adding a virtual object is received from the user, and if there is a request for adding a virtual object, repeats step 808 or less on the newly selected virtual object.
  • an embodiment of the present invention may include a computer readable recording medium including a program for performing the methods described herein on a computer.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the media may be those specially designed and constructed for the purposes of the present invention, or those conventionally available in the field of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like.
  • Hardware devices specifically configured to store and execute program instructions are included.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

Abstract

영상의 3차원 보정 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치는 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성하는 템플릿 중첩 모듈; 및 상기 오버레이 영상에 기 설정된 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정하는 템플릿 조정 모듈을 포함한다.

Description

영상의 3차원 보정 장치 및 방법
본 발명의 실시예들은 카메라를 이용한 영상 내 객체 인식 기술과 관련된다.
CCTV(Closed-Circuit Television) 등의 감시 카메라가 일반화되면서, 용의자 또는 용의 차량 등의 이동 경로를 추적하기 위하여 비디오 데이터를 이용하는 경우가 증가하고 있다. CCTV를 활용한 관제는 주로 특정 장소에 설치된 카메라의 감시 영상 분석(Video Analysis)을 통해 영상 내 객체(사람, 또는 차량 등의 물체)의 크기 및 움직임을 감지하는, 이벤트에 기초한(Event Driven) 관제가 주로 이루어진다.
카메라 등을 통하여 촬영되는 영상은 2차원인 반면 실제 촬영되는 피사체는 3차원이므로, 2차원 화면 상에서 3차원 객체를 감지하기 위해서는 현재 설치된 카메라의 시야각, 높이, 화각 등의 정보가 필요하다. 이를 위하여, 종래에는 시스템 운영자 등이 수작업으로 화면을 보면서 상기 정보들을 입력하였다. 그러나 이는 운영자의 오랜 경험 및 시행 착오가 필요한 작업이어서 작업 시간이 매우 오래 소요됨은 물론 전 과정이 수작업으로 이루어지므로 정확도에 있어서도 한계가 있었다.
본 발명의 실시예들은 감시 카메라 등의 영상에 3차원 템플릿을 효과적으로 오버레이하기 위한 수단을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성하는 템플릿 중첩 모듈; 및 상기 오버레이 영상에 기 설정된 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정하는 템플릿 조정 모듈을 포함하는 영상의 3차원 보정 장치가 제공된다.
상기 템플릿 중첩 모듈은, 획득된 상기 영상과 함께 상기 하나 이상의 기 저장된 후보 템플릿을 화면 상에 디스플레이하며, 디스플레이된 상기 하나 이상의 후보 템플릿 중 어느 하나의 후보 템플릿이 선택됨에 따라, 선택된 후보 템플릿을 상기 영상에 중첩하여 오버레이 영상을 생성할 수 있다.
상기 템플릿 중첩 모듈은, 상기 영상으로부터 상기 영상의 특징 정보를 추출하고, 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하여 상기 오버레이 영상을 생성할 수 있다.
상기 템플릿 중첩 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택할 수 있다.
상기 템플릿 조정 모듈은, 기 저장된 하나 이상의 후보 가상 객체 중 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 상기 오버레이 영상에 배치할 수 있다.
상기 템플릿 조정 모듈은, 사용자로부터 입력된 상기 실 객체의 크기와 저장된 상기 하나 이상의 후보 가상 객체의 크기를 비교함으로써 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 선택할 수 있다.
상기 템플릿 조정 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 가상 객체 중 상기 오버레이 영상에 배치할 후보 가상 객체를 선택할 수 있다.
상기 템플릿 조정 모듈은, 상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화, 및 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정할 수 있다.
상기 특성 파라미터는, 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기, 화각 및 초점 위치 중 하나 이상을 포함할 수 있다.
상기 템플릿 조정 모듈은, 사용자로부터 상기 3차원 템플릿의 특성 파라미터 보정값이 입력되는 경우, 입력된 상기 입력값을 반영하여 상기 3차원 템플릿의 특성 파라미터를 조정할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성하는 단계; 및 상기 오버레이 영상에 기 설정된 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정하는 단계를 포함하는 영상의 3차원 보정 방법이 제공된다.
상기 오버레이 영상을 생성하는 단계는, 기 저장된 하나 이상의 후보 템플릿을 획득된 상기 영상과 함께 화면 상에 디스플레이하는 단계; 및 디스플레이된 상기 하나 이상의 후보 템플릿 중 어느 하나의 후보 템플릿이 선택됨에 따라, 선택된 후보 템플릿을 상기 영상에 중첩하는 단계를 더 포함할 수 있다.
상기 특성 파라미터를 조정하는 단계는, 기 저장된 하나 이상의 후보 가상 객체 중 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 상기 오버레이 영상에 배치할 수 있다.
상기 오버레이 영상을 생성하는 단계는, 상기 영상으로부터 상기 영상의 특징 정보를 추출하고, 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하여 상기 오버레이 영상을 생성할 수 있다.
상기 템플릿 중첩 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택할 수 있다.
상기 특성 파라미터를 조정하는 단계는, 사용자로부터 입력된 상기 실 객체의 크기와 저장된 상기 하나 이상의 후보 가상 객체의 크기를 비교함으로써 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 선택할 수 있다.
상기 특성 파라미터를 조정하는 단계는, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 가상 객체 중 상기 오버레이 영상에 배치할 후보 가상 객체를 선택할 수 있다.
상기 특성 파라미터를 조정하는 단계는, 상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화, 및 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정할 수 있다.
상기 특성 파라미터는, 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기 화각 및 초점 위치 중 하나 이상을 포함할 수 있다.
상기 특성 파라미터를 조정하는 단계는, 사용자로부터 상기 3차원 템플릿의 특성 파라미터 보정값이 입력되는 경우, 입력된 상기 입력값을 반영하여 상기 3차원 템플릿의 특성 파라미터를 조정할 수 있다.
본 발명의 실시예들에 따르면, 다양한 종류 및 형태의 3차원 템플릿을 미리 저장하여 두었다가, 촬영되는 영상의 특징에 따라 저장된 템플릿 중 적절하다고 판단되는 템플릿을 이용하여 실제 영상에 중첩함으로써 빠르고 용이하게 촬영 영상의 3차원 영상 보정 작업을 수행할 수 있다.
또한, 본 발명의 실시예들에 따르면 기 저장된 가상 객체를 상기 3차원 템플릿에 배치하고, 상기 가상 객체와 영상 내 실 객체 간의 특징 비교를 통해 상기 오버레이된 3차원 템플릿의 파라미터를 보정하여 줌으로써 3차원 영상 보정의 정확도를 향상시킬 수 있게 된다.
아울러, 본 발명의 실시예들에 따를 경우, 객체의 거리 변화 뿐만 아니라 카메라의 시야각 변화에 따른 객체의 크기 변화까지 보정이 가능하게 되는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치(100)를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 3차원 템플릿을 설명하기 위한 예시도
도 3은 도 2에 도시된 3차원 템플릿이 영상에 중첩된 예를 나타낸 예시도
도 4는 도 3에 도시된 오버레이 영상에 가상 객체를 배치한 예를 나타낸 예시도
도 5는 본 발명의 일 실시예에 다른 템플릿 조정 모듈(106)에서의 3차원 템플릿의 특성 파라미터를 조정하는 과정을 설명하기 위한 예시도
도 6 및 도 7은 본 발명의 일 실시예에 따른 카메라의 특성값을 계산하기 위한 과정을 설명하기 위한 예시도
도 8은 본 발명의 일 실시예에 따른 영상의 3차원 보정 방법(800)을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치(100)를 설명하기 위한 블록도이다. 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치(100)는 2차원 영상에 3차원 템플릿을 중첩함으로써 상기 2차원 영상 내의 객체(피사체)의 3차원 공간상의 위치를 계산할 수 있도록 하기 위한 장치이다. 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치(100)는 감시 카메라 등의 카메라 장치 내부의 일 요소로 포함되거나, 또는 감시 카메라 등과는 별도의 장치로 구성되어 상기 감시 카메라와 연결되도록 구성될 수 있다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 3차원 보정 장치(100)는 데이터 저장 모듈(102), 템플릿 중첩 모듈(104) 및 템플릿 조정 모듈(106)을 포함한다.
데이터 저장 모듈(102)은 감시 카메라 등으로부터 촬영된 영상에 중첩(overlay)될 하나 이상의 3차원 템플릿 및 하나 이상의 가상 객체를 저장하는 공간이다.
본 발명의 일 실시예에서, 3차원 템플릿은 영상 내에 위치한 객체의 3차원 공간상의 위치를 계산하기 위한 일종의 가이드 라인으로서, 도 2에 도시된 바와 같이 화면 상의 바닥 또는 벽면 등을 표현하기 위한 복수 개의 격자(grid)를 포함하여 구성될 수 있다. 상기 3차원 템플릿을 구성하는 각각의 격자들은 2차원 화면 상에서는 그 크기가 모두 다른 것으로 보이더라도 실제 공간 내에서는 동일한 크기의 공간에 해당하는 바, 영상에 중첩된 상기 3차원 템플릿을 이용하면 화면 상 객체의 실제 공간 상에서의 크기 및 위치를 계산할 수 있게 된다. 도 3은 도 2에 도시된 3차원 템플릿이 영상에 중첩된 예를 나타낸 것이다.
데이터 저장 모듈(102)은 서로 다른 하나 이상의 3차원 템플릿을 저장할 수 있다. 예를 들어, 데이터 저장 모듈(102)는 평지, 도로, 교차로, 출입구, 사무실, 복도 등 공간의 특성에 따라 서로 다른 형태를 가진 3차원 템플릿을 저장해 둘 수 있다.
또한, 가상 객체는 영상 내에 3차원 템플릿과 함께 중첩되어 표시되기 위한 일종의 가상 물체로서, 사람(남자, 여자, 아이 등), 차량(승합차, 버스, 승용차 등), 가로수, 가로등 등의 형상을 가질 수 있다. 데이터 저장 모듈(102)은 상기 가상 객체와 함께 각 객체의 크기 정보(높이, 넓이 등)을 함께 저장할 수 있다. 상기 가상 객체는 영상 내 실 객체와의 비교를 통해 상기 3차원 템플릿을 보정하는 데 이용된다. 도 4는 도 3에 도시된 오버레이 영상에 가상 객체(나무, 사람, 자동차 등)를 배치한 예를 나타낸 것이다.
템플릿 중첩 모듈(104)은 카메라 등으로부터 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성한다.
일 실시예에서, 템플릿 중첩 모듈(104)은 영상에 중첩될 하나 이상의 3차원 템플릿(후보 템플릿)의 정보를 데이터 저장 모듈(102)에 저장 및 관리하고, 획득된 상기 영상과 함께 상기 하나 이상의 3차원 템플릿을 화면 상에 디스플레이할 수 있다. 그러면 사용자는 상기 디스플레이된 3차원 템플릿 중 어느 하나를 선택하며, 템플릿 중첩 모듈(104)은 선택된 후보 템플릿을 상기 영상에 중첩하여 오버레이 영상을 생성할 수 있다.
다른 실시예에서 템플릿 중첩 모듈(104)은 획득된 상기 영상의 특성(화상 내 지평선 존재 유무, 주요 특징 선의 위치 및 연결 관계 등)을 도출하고, 도출된 특성에 맞는 최적의 3차원 템플릿을 자동으로 선택하도록 구성될 수도 있다. 이를 위하여, 템플릿 중첩 모듈(104)은 영상 내 특성 정보를 도출할 수 있는 다양한 알고리즘을 이용할 수 있다. 또한, 이를 위하여 템플릿 중첩 모듈(104)은 영상 내 주요 특징선의 위치 및 연결 관계를 정확하게 인식하기 위하여, 화면 내의 객체 및 그 유형(자동차, 사람 등)을 인식하는 알고리즘을 포함할 수 있다.
또한, 템플릿 중첩 모듈(104)은 영상을 촬영한 카메라의 정보를 이용하여 최적의 3차원 템플릿을 선택할 수도 있다. 예를 들어, 영상을 촬영한 카메라에 촬영 구역 또는 촬영 지역 등에 대한 명칭(포스코 사거리, 남산1호터널 등)이 부가되어 있거나, 이와 별도로 촬영 구역의 형태를 인식할 수 있는 키워드 등(출입구, 사거리, 회의실, 복도 등)이 부가되어 있는 경우, 템플릿 중첩 모듈(104)은 이를 기초로 기 저장된 템플릿 중 최적의 템플릿을 선택하는 데 이용할 수 있다.
템플릿 조정 모듈(106)은 템플릿 중첩 모듈(104)에서 생성된 상기 오버레이 영상에 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정한다.
본 발명의 실시예에서, 상기 특성 파라미터란 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기, 화각 및 초점 위치 중 하나 이상을 포함하는 정보로서, 주로 상기 3차원 템플릿의 지면 부분을 실제 영상의 지면과 일치시키는 데 필요한 정보를 의미한다. 상기 특성 파라미터는 영상을 촬영한 카메라 등의 설치 높이, 렌즈 종류(초점거리 등), 틸트각 등에 따라 달라지게 되므로, 상기 3차원 템플릿의 특성 파라미터가 계산되면 이로부터 카메라의 설치 높이, 각도 피사체로부터의 거리, 화각 등의 정보를 계산할 수 있게 된다.
구체적으로, 템플릿 조정 모듈(106)은, 데이터 저장 모듈(102)에 저장된 하나 이상의 가상 객체 중 영상 내 실 객체의 크기와 유사도가 가장 높은 후보 가상 객체를 선택하여 오버레이 영상에 배치할 수 있다. 이를 위하여 템플릿 조정 모듈(106)은 사용자로부터 상기 영상 내 실 객체의 크기 정보(키 또는 넓이 등)을 입력받을 수 있다. 예를 들어, 화면 상에 키 160센티미터의 여성이 존재하는 경우, 템플릿 조정 모듈(106)은 상기 여성과 동일한 키를 가지는 가상 객체를 오버레이 영상에 배치할 수 있다. 또한, 템플릿 조정 모듈(106)은 상기 영상의 특성에 따라 자동으로 최적의 가상 객체를 오버레이 영상에 배치할 수 있다. 예를 들어 상기 영상이 교차로일 경우 차량을, 복도 또는 출입구의 경우에는 사람을 가상 객체로 배치할 수 있다. 이와 같은 영상의 특성은 전술한 바와 같은 영상을 촬영한 카메라의 명칭 또는 키워드 등을 이용하여 알아낼 수 있다.
상기 가상 객체의 영상 내에서의 크기는 영상 내 상기 가상 객체의 위치 및 중첩된 3차원 템플릿으로부터 획득된 정보에 따라 달라지게 된다. 예를 들어 동일한 크기의 가상 객체라도 3차원 템플릿 상에서 카메라에서 멀리 떨어진 거리에 있는 것으로 판단되는 위치의 가상 객체는 그보다 가까운 거리에 있는 것으로 판단되는 위치의 가상 객체보다 화면상의 크기가 작아지게 된다.
*상기와 같이 오버레이 영상 내에 가상 객체가 배치되면, 템플릿 조정 모듈(106)은 영상 내 실 객체와 가상 객체를 비교함으로써 상기 3차원 템플릿의 특성 파라미터를 조정한다. 구체적으로, 템플릿 조정 모듈(106)은 상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화 및, 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정하게 된다. 즉, 본 발명에서 실 객체 또는 가상 객체의 특징이란 해당 객체가 영상 내에서 이동할 때의 크기 변화의 정도를 의미한다. 이를 좀 더 구체적으로 설명하면 다음과 같다.
도 5는 본 발명의 일 실시예에 다른 템플릿 조정 모듈(106)에서의 3차원 템플릿의 특성 파라미터를 조정하는 과정을 설명하기 위한 예시도이다. 도시된 예에서 502는 영상 내 실 객체를, 504는 가상 객체를 각각 나타낸다. 도시된 바와 같이, 영상 내의 실 객체(예를 들어, 사람)이 위치 A에서 위치 B로 이동함에 따라 그 높이(키)가 h1에서 h1'로 변경되었다고, 같은 위치에서 가상 객체 504의 경우 그 높이(키)가 h2에서 h2'로 변경되었다고 가정하자. 전술한 바와 같이, 가상 객체의 영상 내에서의 크기는 영상에 중첩된 3차원 템플릿의 특성 파라미터에 따라 결정된다. 따라서 만약 h1는 h2와 동일한데, h1'이 h2'와 동일하지 아니할 경우에는 중첩된 3차원 템플릿의 특성 파라미터가 실제 공간과 일치하지 않음을 의미하므로, 템플릿 조정 모듈(106)은 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기, 화각 및 초점 위치 중 하나 이상을 변경함으로써 상기 특성 파라미터를 조정하게 된다. 이와 같은 조정은 영상 내 실 객체의 이동에 따른 변화가 가상 객체와 동일해질 때까지 반복된다.
또한, 템플릿 조정 모듈(106)은 사용자로부터 상기 특성 파라미터에 대한 보정값을 입력받고 이를 상기 특성 파라미터 조정에 반영할 수 있다. 이를 위하여 템플릿 조정 모듈(106)은 사용자가 키보드, 마우스 또는 화면 터치 등을 이용하여 직관적으로 템플릿을 조정하기 위한 인터페이스를 제공할 수 있다. 이와 같이 템플릿 조정 모듈(106)에서 영상 내 객체의 크기 변화와 함께 사용자로부터 입력된 보정값을 사용할 경우 상기 특성 파라미터의 정확성을 한층 높일 수 있게 된다.
상기와 같이 3차원 템플릿이 조정되면, 영상 내 객체로부터 카메라의 설치 특성 값을 계산할 수 있다. 도 6 및 도 7은 이를 설명하기 위한 것이다. 도시된 바와 같이, 화면상에 객체 A 및 객체 B의 두 객체가 존재하고, 객체 A는 카메라로부터 연결되는 중심선(점선으로 표시) 상에 위치하며, 객체 B는 객체 A와 각도 x 만큼 떨어진 곳에 위치한다고 가정하자.
객체 A와 객체 B의 거리를 y, 객체 B와 중심선과의 거리를 z라 하면, 카메라의 설치 위치(cl)은 다음과 같이 계산될 수 있다.
cl = z / tan(x) + y
객체 A의 화면상의 크기를 ah, 객체B의 화면상의 크기를 bh라 하면, 카메라 설치 높이(ch)는 다음과 같이 계산될 수 있다.
ch = (bh - ah) * cl / y
이로부터 카메라의 화각(cv) 및 설치각(ct)은 다음과 같이 계산될 수 있다.
cv = arctan(ch / cl)
ct = 90 - arctan(ch / cl)
도 8은 본 발명의 일 실시예에 따른 영상의 3차원 보정 방법(800)을 설명하기 위한 흐름도이다.
단계 802에서, 템플릿 중첩 모듈(104)은 사용자 등으로부터 영상이 중첩할 3차원 템플릿을 선택받는다. 이를 위하여 템플릿 중첩 모듈(102)은 사용자가 시각적으로 기 저장된 템플릿을 열람하고 이 중 영상에 적합한 템플릿을 선택하도록 하기 위한 적절한 인터페이스를 제공할 수 있다. 예를 들어, 템플릿 중첩 모듈(104)은 기 저장된 하나 이상의 후보 템플릿을 획득된 상기 영상과 함께 화면 상에 디스플레이하고, 디스플레이된 상기 하나 이상의 후보 템플릿 중 어느 하나의 후보 템플릿이 선택되도록 할 수 있다.
단계 804에서, 템플릿 중첩 모듈(104)은 선택된 템플릿에 대한 설정값(특성 파라미터 등)에 대한 입력이 필요한지 여부를 판단하고, 만약 필요하다고 판단되는 경우에는 단계 806에서 사용자로부터 이를 입력받는다.
단계 808에서, 템플릿 조정 모듈(106)은 사용자 등으로부터 영상에 배치할 가상 객체를 입력받는다. 이때 상기 가상 객체는 기 저장된 하나 이상의 후보 가상 객체 중에서 상기 실 객체와 유사도가 가장 높은 후보 가상 객체일 수 있다.
단계 810에서, 템플릿 조정 모듈(106)은 선택된 가상 객체에 대한 설정값(객체의 높이 또는 길이 등)에 대한 입력이 필요한지 여부를 판단하고, 만약 필요하다고 판단되는 경우에는 단계 812에서 사용자로부터 이를 입력받는다.
단계 814에서, 템플릿 조정 모듈(106)은 영상 내에 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 가상 객체와 실 개체의 특징이 일치하는지의 여부를 판단한다. 전술한 바와 같이, 템플릿 조정 모듈(106)은 상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화, 및 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정할 수 있다.
만약 상기 814 단계의 판단 결과 실 객체와 가상 객체의 특징이 일치하지 않는 경우, 단계 816에서 템플릿 조정 모듈(106)은 상기 특징이 일치할 때 까지 템플릿의 특성 파라미터를 조절한다.
단계 818에서, 템플릿 조정 모듈(106)은 사용자로부터 가상 객체의 추가 요청이 수신되는지의 여부를 판단하고, 가상 객체의 추가 요청이 있는 경우 새로 선택된 가상 객체에 대하여 상기 808 단계 이하를 반복 수행한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
[부호의 설명]
100: 영상의 3차원 보정 장치
102: 데이터 저장 모듈
104: 템플릿 중첩 모듈
106: 템플릿 조정 모듈

Claims (20)

  1. 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성하는 템플릿 중첩 모듈; 및
    상기 오버레이 영상에 기 설정된 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정하는 템플릿 조정 모듈을 포함하는 영상의 3차원 보정 장치.
  2. 청구항 1에 있어서,
    상기 템플릿 중첩 모듈은,
    획득된 상기 영상과 함께 상기 하나 이상의 기 저장된 후보 템플릿을 화면 상에 디스플레이하며,
    디스플레이된 상기 하나 이상의 후보 템플릿 중 어느 하나의 후보 템플릿이 선택됨에 따라, 선택된 후보 템플릿을 상기 영상에 중첩하여 오버레이 영상을 생성하는, 영상의 3차원 보정 장치.
  3. 청구항 1에 있어서,
    상기 템플릿 중첩 모듈은, 상기 영상으로부터 상기 영상의 특징 정보를 추출하고, 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하여 상기 오버레이 영상을 생성하는, 영상의 3차원 보정 장치.
  4. 청구항 3에 있어서,
    상기 템플릿 중첩 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하는, 영상의 3차원 보정 장치.
  5. 청구항 1에 있어서,
    상기 템플릿 조정 모듈은, 기 저장된 하나 이상의 후보 가상 객체 중 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 상기 오버레이 영상에 배치하는, 영상의 3차원 보정 장치.
  6. 청구항 5에 있어서,
    상기 템플릿 조정 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 가상 객체 중 상기 오버레이 영상에 배치할 후보 가상 객체를 선택하는, 영상의 3차원 보정 장치.
  7. 청구항 5에 있어서,
    상기 템플릿 조정 모듈은, 사용자로부터 입력된 상기 실 객체의 크기와 저장된 상기 하나 이상의 후보 가상 객체의 크기를 비교함으로써 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 선택하는, 영상의 3차원 보정 장치.
  8. 청구항 5에 있어서,
    상기 템플릿 조정 모듈은, 상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화, 및 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정하는, 영상의 3차원 보정 장치.
  9. 청구항 8에 있어서,
    상기 특성 파라미터는, 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기, 화각 및 초점 위치 중 하나 이상을 포함하는, 영상의 3차원 보정 장치.
  10. 청구항 8에 있어서,
    상기 템플릿 조정 모듈은, 사용자로부터 상기 3차원 템플릿의 특성 파라미터 보정값이 입력되는 경우, 입력된 상기 입력값을 반영하여 상기 3차원 템플릿의 특성 파라미터를 조정하는, 영상의 3차원 보정 장치.
  11. 영상을 획득하고, 획득된 상기 영상에 3차원 템플릿을 중첩하여 오버레이 영상을 생성하는 단계; 및
    상기 오버레이 영상에 기 설정된 가상 객체를 배치하고, 배치된 상기 가상 객체와 상기 영상 내 실 객체와의 특징 비교를 통해 상기 3차원 템플릿의 특성 파라미터를 조정하는 단계를 포함하는 영상의 3차원 보정 방법.
  12. 청구항 11에 있어서,
    상기 오버레이 영상을 생성하는 단계는,
    기 저장된 하나 이상의 후보 템플릿을 획득된 상기 영상과 함께 화면 상에 디스플레이하는 단계; 및
    디스플레이된 상기 하나 이상의 후보 템플릿 중 어느 하나의 후보 템플릿이 선택됨에 따라, 선택된 후보 템플릿을 상기 영상에 중첩하는 단계를 더 포함하는, 영상의 3차원 보정 방법.
  13. 청구항 11에 있어서,
    상기 오버레이 영상을 생성하는 단계는,
    상기 영상으로부터 상기 영상의 특징 정보를 추출하고, 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하여 상기 오버레이 영상을 생성하는, 영상의 3차원 보정 방법.
  14. 청구항 11에 있어서,
    상기 템플릿 중첩 모듈은, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 템플릿 중 추출된 상기 특징 정보와 유사도가 가장 높은 후보 템플릿을 선택하는, 영상의 3차원 보정 방법.
  15. 청구항 11에 있어서,
    상기 특성 파라미터를 조정하는 단계는, 기 저장된 하나 이상의 후보 가상 객체 중 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 상기 오버레이 영상에 배치하는, 영상의 3차원 보정 방법.
  16. 청구항 15에 있어서,
    상기 특성 파라미터를 조정하는 단계는, 상기 영상을 촬영한 카메라의 촬영 구역 명칭 또는 상기 카메라와 연관되어 저장된 키워드 중 하나 이상에 기초하여 기 저장된 후보 가상 객체 중 상기 오버레이 영상에 배치할 후보 가상 객체를 선택하는, 영상의 3차원 보정 방법.
  17. 청구항 15에 있어서,
    상기 특성 파라미터를 조정하는 단계는, 사용자로부터 입력된 상기 실 객체의 크기와 저장된 상기 하나 이상의 후보 가상 객체의 크기를 비교함으로써 상기 실 객체와 유사도가 가장 높은 후보 가상 객체를 선택하는, 영상의 3차원 보정 방법.
  18. 청구항 15에 있어서,
    상기 특성 파라미터를 조정하는 단계는,
    상기 실 객체가 상기 영상 내에서 이동함에 따라 측정되는 상기 실 객체의 상기 영상 내에서의 크기 변화, 및 상기 실 객체와 동일 위치에서 계산되는 상기 실 객체의 상기 3차원 템플릿 상에서의 크기 변화를 비교하고, 상기 비교 결과에 따라 상기 3차원 템플릿의 특성 파라미터를 조정하는, 영상의 3차원 보정 방법.
  19. 청구항 18에 있어서,
    상기 특성 파라미터는, 상기 3차원 템플릿의 투사 높이, 투사 방향, 기울기 화각 및 초점 위치 중 하나 이상을 포함하는, 영상의 3차원 보정 방법.
  20. 청구항 18에 있어서,
    상기 특성 파라미터를 조정하는 단계는, 사용자로부터 상기 3차원 템플릿의 특성 파라미터 보정값이 입력되는 경우, 입력된 상기 입력값을 반영하여 상기 3차원 템플릿의 특성 파라미터를 조정하는, 영상의 3차원 보정 방법.
PCT/KR2015/004762 2014-05-15 2015-05-12 영상의 3차원 보정 장치 및 방법 WO2015174724A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140058335A KR102264111B1 (ko) 2014-05-15 2014-05-15 영상의 3차원 보정 장치 및 방법
KR10-2014-0058335 2014-05-15

Publications (1)

Publication Number Publication Date
WO2015174724A1 true WO2015174724A1 (ko) 2015-11-19

Family

ID=54480207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004762 WO2015174724A1 (ko) 2014-05-15 2015-05-12 영상의 3차원 보정 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102264111B1 (ko)
WO (1) WO2015174724A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969682A (zh) * 2019-11-27 2020-04-07 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107462392A (zh) * 2017-09-01 2017-12-12 南京航空航天大学 基于虚拟模板的高精度自动标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997084B1 (ko) * 2010-06-22 2010-11-29 (주)올포랜드 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체
US20110254840A1 (en) * 2010-04-20 2011-10-20 Halstead Rodd M Automatic generation of 3d models from packaged goods product images
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법
KR20130103150A (ko) * 2012-03-09 2013-09-23 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
KR20130110339A (ko) * 2012-03-29 2013-10-10 한국과학기술원 3차원 입체영상 생성 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863507B1 (ko) 2007-05-02 2008-10-15 한국도로공사 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법
KR101168599B1 (ko) * 2010-09-10 2012-07-30 주식회사 인스프리트 거리 구간 별 가상객체를 표시하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254840A1 (en) * 2010-04-20 2011-10-20 Halstead Rodd M Automatic generation of 3d models from packaged goods product images
KR100997084B1 (ko) * 2010-06-22 2010-11-29 (주)올포랜드 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법
KR20130103150A (ko) * 2012-03-09 2013-09-23 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
KR20130110339A (ko) * 2012-03-29 2013-10-10 한국과학기술원 3차원 입체영상 생성 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969682A (zh) * 2019-11-27 2020-04-07 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质
CN110969682B (zh) * 2019-11-27 2021-03-02 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20150131543A (ko) 2015-11-25
KR102264111B1 (ko) 2021-06-10

Similar Documents

Publication Publication Date Title
KR101771652B1 (ko) 주차 관제 시스템
KR101393881B1 (ko) 차량의 주차구획 인식방법
WO2017078213A1 (ko) 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
WO2014051337A1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
WO2014069763A1 (ko) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
US20170300176A1 (en) Method of determining a touch position and touch projection system using the method
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
JP2014199546A (ja) 運転支援装置及び運転支援方法
KR101993378B1 (ko) 영상정보를 활용한 주차가능면 감지 및 안내 시스템 및 방법
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2015174724A1 (ko) 영상의 3차원 보정 장치 및 방법
WO2024019342A1 (ko) 인공지능 기반 유해 가스 누출 탐지 시스템 및 이의 동작 방법
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
JP2016092693A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US9948897B2 (en) Surveillance camera management device, surveillance camera management method, and program
JP2010218568A (ja) 通信車両表示装置
WO2023158149A1 (ko) 교통 신호 제어 시스템 및 그에 관한 방법
WO2020218716A1 (ko) 자동 주차 장치 및 자동 주차 방법
KR100505026B1 (ko) 인식 대상에 민감한 영상 처리 시스템
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
KR101425086B1 (ko) 불법 주정차 단속시스템 및 그 방법
WO2019103208A1 (ko) 다중 분산 영상 데이터 분석 장치
WO2018097356A1 (ko) 차량 주차보조 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15793009

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15793009

Country of ref document: EP

Kind code of ref document: A1