WO2022098025A1 - 수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템 - Google Patents

수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템 Download PDF

Info

Publication number
WO2022098025A1
WO2022098025A1 PCT/KR2021/015604 KR2021015604W WO2022098025A1 WO 2022098025 A1 WO2022098025 A1 WO 2022098025A1 KR 2021015604 W KR2021015604 W KR 2021015604W WO 2022098025 A1 WO2022098025 A1 WO 2022098025A1
Authority
WO
WIPO (PCT)
Prior art keywords
volume model
point
optical
acoustic
boundary surface
Prior art date
Application number
PCT/KR2021/015604
Other languages
English (en)
French (fr)
Inventor
김재선
유선철
김병진
김주환
성민성
이명석
송영운
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200146108A external-priority patent/KR102456515B1/ko
Priority claimed from KR1020200146109A external-priority patent/KR102456516B1/ko
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Publication of WO2022098025A1 publication Critical patent/WO2022098025A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a method and system for acquiring a three-dimensional volume model, and more particularly, to a method and system for acquiring a three-dimensional volume model for an underwater object using an optical camera and an imaging sonar.
  • SLAM Simultaneous Localization And Mapping
  • the imaging sonar is less sensitive to the measurement environment, such as light scattering or water turbidity, and the acoustic image provided by the imaging sonar provides perspective and azimuth information about the position of the imaged object.
  • the sound image is of low quality in black and white and does not provide information on the elevation of an object.
  • An embodiment of the present invention is to provide a method and system for improving accuracy by minimizing an error in obtaining a three-dimensional volume model for an underwater object.
  • a method for obtaining a three-dimensional volume model for an underwater object using an optical camera and an imaging sonar comprising: obtaining an optical volume model from an optical image generated using the optical camera; Obtaining a three-dimensional volume model for an underwater object, comprising: obtaining an acoustic volume model from an acoustic image generated using the imaging sonar; and calibrating the acoustic volume model based on information in the optical volume model method is provided.
  • any one point included in the acoustic volume model may be moved to a point on the adjacent optical volume model.
  • the one point may mean a point located in a region where reflection of the acoustic beam is difficult to occur when it is determined based on the optical volume model.
  • the one point may be moved to an intersection point where the reference point where the imaging sonar is located and a straight line connecting the one point and the optical volume model meet.
  • the one point when a plurality of the intersection points exist on the straight line, the one point may be moved to a point most adjacent to the one point among the plurality of intersection points.
  • the step of obtaining the acoustic volume model from the acoustic image generated using the imaging sonar is setting a first boundary surface including a point where the first reflection of the acoustic beam occurs based on the position of the imaging sonar. and setting a second boundary surface including a point at which the last reflection of the acoustic beam occurs based on the position of the imaging sonar, wherein the acoustic volume is based on the information of the optical volume model.
  • intersection point may mean a point located in a space between the first boundary surface and the second boundary surface.
  • the first point or the second point may be moved to an intersection point closest to the first point or the second point among the plurality of intersection points.
  • a method of obtaining a three-dimensional volume model for an underwater object using an optical camera and an imaging sonar comprising: obtaining an optical volume model from an optical image generated using the optical camera; ;
  • Obtaining a three-dimensional volume model for an underwater object comprising: obtaining an acoustic volume model from an acoustic image generated using the imaging sonar; and correcting the optical volume model based on information in the acoustic volume model method is provided.
  • any one point included in the optical volume model may be moved to a point on the adjacent acoustic volume model.
  • the one point may mean a point located in an area where light reflection is difficult to occur when it is determined based on the acoustic volume model.
  • the one point may be moved to an intersection point where the reference point at which the optical camera is located and a straight line connecting the one point and the acoustic volume model meet.
  • the step of obtaining the acoustic volume model from the acoustic image generated using the imaging sonar is setting a first boundary surface including a point where the first reflection of the acoustic beam occurs based on the position of the imaging sonar. and setting a second boundary surface including a point at which the last reflection of the acoustic beam occurs based on the position of the imaging sonar, wherein the optical volume is based on the information of the acoustic volume model.
  • a three-dimensional volume model acquisition system for acquiring a three-dimensional volume model of an underwater object using an optical camera and an imaging sonar, and an optical volume model from an optical image generated using the optical camera.
  • an optical volume model unit to obtain Based on the location of the imaging sonar from the sound image generated using the imaging sonar, the first boundary surface including the point at which the first reflection of the sound beam occurs, and the point at which the last reflection of the sound beam occurs an acoustic volume model unit to obtain an acoustic volume model including the included second interface, and correct the optical volume model based on information of the acoustic volume model, or the acoustic volume model based on information of the optical volume model
  • a three-dimensional volume model acquisition system for an underwater object is provided, including a correction unit for correcting .
  • the compensator may include a straight line connecting a first point or a second point located on the first boundary surface or a second boundary surface and a reference point located on the imaging sonar and the second point as an intersection point where the optical volume model meets. You can move one point or the second point.
  • the correction unit may include a straight line connecting any one point located inside the first boundary surface of the acoustic volume model or outside the second boundary surface of the optical volume model and a reference point at which the optical camera is located, and the Any one of the above points can be moved to the intersection point where the acoustic volume model meets.
  • the optical volume model may be obtained by estimating the three-dimensional coordinates of the point clouds constituting the surface of the underwater object using the optical image through a SLAM algorithm.
  • each of the first boundary surface and the second boundary surface may be formed to include a part of a spherical surface centered on a reference point where the imaging sonar is located.
  • first boundary surface and the second boundary surface may be continuously updated according to the advancement of the image sonar.
  • the method of obtaining a three-dimensional volume model according to an embodiment of the present invention may obtain a more accurate optical volume model by correcting an error included in the acoustic volume model using the optical volume model.
  • the method of obtaining a three-dimensional volume model according to an embodiment of the present invention may obtain a more accurate optical volume model by correcting an error included in the optical volume model using the acoustic volume model.
  • a more reliable acoustic volume model can be obtained by subdividing the space by considering not only the first boundary surface but also the second boundary surface in relation to the acoustic volume model. there is.
  • FIG. 1 is a flowchart illustrating each step of a method for obtaining a three-dimensional volume model according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a three-dimensional volume model acquisition system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of forming an optical volume model using a SLAM algorithm.
  • FIG. 4 is a diagram illustrating an optical volume model and an acoustic volume model obtained by the three-dimensional volume model acquisition system according to an embodiment of the present invention by superimposing them.
  • FIG. 5 is a flowchart illustrating detailed steps of obtaining an acoustic volume model in a method of obtaining a three-dimensional volume model according to an embodiment of the present invention.
  • 6 and 7 are diagrams for explaining acquiring an acoustic image using an imaging sonar.
  • FIG 8 is a view for explaining that the acoustic volume model unit of the 3D volume model acquisition system updates the acoustic volume model according to an embodiment of the present invention.
  • FIGS. 9 and 10 are diagrams for explaining an acoustic volume model acquired by a three-dimensional volume model acquisition system according to an embodiment of the present invention.
  • 11 is a view for explaining that the correction unit of the 3D volume model acquisition system corrects points included in the acoustic volume model according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a three-dimensional volume model acquisition system divided before and after correcting an acoustic volume model by a correction unit according to an embodiment of the present invention.
  • 13 is a view for explaining that the correction unit of the 3D volume model acquisition system corrects points included in the optical volume model according to an embodiment of the present invention.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic configuration, signal processing, and/or data processing, and the like. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical components.
  • 1 is a flowchart illustrating each step of a method for obtaining a three-dimensional volume model according to an embodiment of the present invention.
  • 2 is a block diagram illustrating a three-dimensional volume model acquisition system according to an embodiment of the present invention.
  • 3 is a diagram illustrating an example of forming an optical volume model using a SLAM algorithm.
  • 4 is a diagram illustrating an optical volume model and an acoustic volume model obtained by the three-dimensional volume model acquisition system according to an embodiment of the present invention by superimposing them.
  • a method of obtaining a three-dimensional volume model for an underwater object according to an embodiment of the present invention (hereinafter referred to as a 'method of obtaining a three-dimensional volume model') obtains a three-dimensional acoustic volume model from an acoustic image, and Improve the accuracy of the three-dimensional acoustic volume model by correcting it based on the optical image, or conversely, obtain a three-dimensional optical volume model from the optical image, and correct the three-dimensional optical volume model based on the acoustic image to improve the accuracy of the three-dimensional optical volume model way you can improve it.
  • each step of the method for obtaining a 3D volume model according to an embodiment of the present invention may be performed by the 3D volume model acquisition system 10 according to an embodiment of the present invention.
  • each step of the method for obtaining a three-dimensional volume model according to an embodiment of the present invention will be mainly described, but each step of the method for obtaining a three-dimensional volume model in the three-dimensional volume model acquisition system 10 is performed. The subject will also be described.
  • a method of acquiring a 3D volume model uses the optical volume model unit 20 of the 3D volume model acquisition system 10 to obtain an optical volume. and acquiring a model. (S10)
  • the optical volume model unit 20 may obtain a 3D optical volume model from the 2D optical image.
  • the two-dimensional optical image may be a high-definition optical image of RGB color captured by the optical camera to the underwater object (M) in the water.
  • the optical volume model unit 20 processes the optical image through an open source-based SLAM (Simultaneous Localization and Mapping) algorithm, thereby forming the surface of the underwater object M. It is possible to estimate the three-dimensional coordinates of the cloud (K).
  • SLAM Simultaneous Localization and Mapping
  • the SLAM algorithm is a computer vision (CV)-based simultaneous localization and mapping algorithm, without requiring any prior knowledge of the surrounding environment, and the camera's position and / Or, a technique for determining orientation and creating a geometrical model of the real surrounding environment. Since such a SLAM algorithm is a well-known technique in the field of location estimation, a detailed description thereof will be omitted herein.
  • CV computer vision
  • the optical volume model unit 20 may estimate a position related to the underwater object M using a large-scale direct SLAM (LSD-SLAM) algorithm. This is to estimate the position more quickly by using Semi-Dense without going through a process of detecting a feature point with respect to the optical image generated by the optical camera.
  • LSD-SLAM large-scale direct SLAM
  • the optical volume model may be shown in the form of a point cloud K along the surface of the underwater object M as shown in FIG. 4 .
  • the point cloud K may mean the surface of the underwater object M due to the perspective error of the optical volume model itself.
  • FIG. 5 is a flowchart illustrating detailed steps of obtaining an acoustic volume model in a method of obtaining a three-dimensional volume model according to an embodiment of the present invention.
  • 6 and 7 are diagrams for explaining acquiring an acoustic image using an imaging sonar.
  • 8 is a view for explaining that the acoustic volume model unit of the 3D volume model acquisition system updates the acoustic volume model according to an embodiment of the present invention.
  • 9 and 10 are diagrams for explaining an acoustic volume model obtained by a three-dimensional volume model acquisition system according to an embodiment of the present invention.
  • the acquiring method includes acquiring the acoustic volume model by using the acoustic volume model unit 30 of the three-dimensional volume model acquisition system 10 .
  • the acoustic volume model unit 30 may acquire the acoustic volume model by using the acoustic image generated using the imaging sonar.
  • the imaging sonar is equally spaced within the azimuth angle ⁇ , as shown in FIG. 6 .
  • Fire a sound beam of dogs (the elevation angle is )
  • the sound beam may be reflected by an underwater object (M), etc., by detecting the returned sound beam, it is possible to generate an acoustic image.
  • the range of the reflection point distance range of the acoustic beam that the imaging sonar can detect is (minimum reflection point distance) to maximum (minimum reflection point distance).
  • each pixel in an acoustic image may have different contrasts according to the intensity of the reflected and returned acoustic beam. That is, the i-th acoustic beam is If reflected from , the brightness value of the pixel corresponding to the i-th column and j-th row of the sound image increases as the intensity of the reflected sound beam becomes stronger, and finally An acoustic image of the size is created. (here, , , M is the number of samples)
  • each column of the acoustic image is composed of a black pixel (S1), a white or gray pixel (S2), and another black pixel (S3) from a position close to the imaging sonar. there is.
  • the first black pixel S1 corresponds to a space in which there is no sound beam reflected back because an object does not exist.
  • the white or gray pixel S2 corresponds to the space where the sound beam is reflected by the object or the seabed.
  • the last black pixel S3 corresponds to a space where the sound beam cannot reach because the object or the sea floor is blocked. Since light cannot reach the area S3 because it is blocked by the same object or the sea floor, the space S3 corresponds to a space where even an optical camera cannot be observed.
  • the i-th beam class can be calculated using Equation 1 below.
  • the process of obtaining a three-dimensional acoustic volume model from the acoustic image largely includes the steps of setting a first boundary surface A1 including a point at which the first reflection of the acoustic beam occurs based on the position of the imaging sonar (S21); , it can be divided into a step (S22) of setting the second boundary surface A2 including the point at which the last reflection of the acoustic beam occurs.
  • the acoustic volume model unit 30 first reflects the first reflection ( f.r) and a sphere containing the reflection point where the last reflection (l.r) occurred, a part of the acoustic volume model can be generated.
  • the spherical surface is centered on the reference point where the imaging sonar is located.
  • constructing the acoustic volume model assuming a sphere including the reflection point where the reflection occurs without specifying one coordinate specifying the position of the first or last reflection point is the reflection point. It is due to the characteristics of the imaging sonar that the information on the elevation angle of the is not known. That is, as shown in FIG. 9, even if the elevation angle of the reflection point is different, the distance to the reflection point ( or ) are the same, because they can be expressed as the same pixel on the sound image.
  • the first interface A1 and the second interface A2 may be formed.
  • the first boundary surface A1 is a spherical surface including the first reflection point. It is formed by connecting
  • the second boundary surface A2 is a spherical surface including the last reflection point. Of course, it is formed by connecting . It should be noted that one end surface of the above-described first boundary surface A1 and the second boundary surface A2 is illustrated in FIG. 8 .
  • the first interface A1 and the second interface A2 may be continuously updated.
  • the imaging sonar repeatedly radiates a sound beam while moving in the direction of the underwater object (M) to expand the detection range of spatial information.
  • the interface A2 may be repeatedly generated.
  • the acoustic volume model unit 30 cumulatively connects the individual first and second boundary surfaces A1 and A2 generated over time, and the first boundary surface A1 and the second boundary surface. (A2) can be newly updated. 8( a ) to (e) of FIG. 8 , the updating process of the first boundary surface A1 and the second boundary surface A2 is arranged in chronological order. By the above-described updating process of the boundary surfaces A1 and A2, the final first boundary surface A1 and the second boundary surface A2 can be determined as shown in FIG. 10, and an acoustic volume model including them can be generated. can
  • the first space S'1 existing inside the first boundary surface A1 is a space in which the reflection of the acoustic beam does not occur, and may be a space in which the underwater object M does not exist.
  • the second space S'2 existing between the first boundary surface A1 and the second boundary surface A2 is a space in which the underwater object M is likely to exist.
  • the underwater object M may not exist in the interior of the second space S'2, which is, as described above, that the boundary surfaces A1 and A2 of the acoustic volume model include the reflection point of the acoustic beam. This is because it consists of a comprehensive spherical surface.
  • the third space S'3 existing outside the second boundary surface A2 means a space that cannot be reached because the propagation of the acoustic beam is blocked by the underwater object M or the sea floor. Accordingly, the third space S'3 may mean a space occupied by the real underwater object M, or may mean an empty space beyond the underwater object M or a virtual space under the seabed.
  • the acoustic volume model acquisition system 10 in configuring the acoustic volume model, not only the first interface A1 including the point where the first reflection occurs, but also the last reflection f.r.
  • the second boundary surface A2 including the point where ?
  • 11 is a view for explaining that the correction unit of the 3D volume model acquisition system corrects points included in the optical volume model according to an embodiment of the present invention.
  • 12 is a diagram illustrating a three-dimensional volume model acquisition system divided before and after correcting an acoustic volume model by a correction unit according to an embodiment of the present invention.
  • 13 is a view for explaining that the correction unit of the 3D volume model acquisition system corrects points included in the optical volume model according to an embodiment of the present invention.
  • the method of obtaining a three-dimensional volume model includes the step of the correction unit 40 correcting the acoustic volume model based on the above-described optical volume model information.
  • the correction unit 40 of the 3D volume model acquisition system 10 may move any one point included in the acoustic volume model to a point on the adjacent optical volume model.
  • the points P1 and P2 moving to the points on the optical volume model are located in a region where the reflection of the acoustic beam is difficult to occur when judged based on the optical volume model. can mean
  • the second space S′2 existing between the first boundary surface A1 and the second boundary surface A2 is excessively wide. Able to know. In this way, when the second space S'2 is formed too wide, it means that the boundary of the underwater object M is specified indefinitely. This is because, as described above, the second space S'2 is an area of uncertain nature in which the underwater object M may exist, but may not exist.
  • the correction unit 40 of the acoustic volume model acquisition system compares the first boundary surface A1 and the second boundary surface A2 that are spaced apart from each other in this way, the underwater object M By moving to a point on the optical volume model that means the real boundary, it is possible to more reliably define the area of the second space S'2 of the acoustic volume model. As a result, as shown in (b) of FIG. 12 , the second region S′2 positioned closer to the actual boundary of the underwater object M can be obtained, and ultimately, the reliability of the acoustic volume model can be improved.
  • the reference point where the imaging sonar is located and the first point P1 on the first interface ) or the straight line (L1, L2) connecting the second point (P2) on the second interface and the point of intersection (K) where the optical volume model meets the first point (P1) or the second point (P2) can be moved there is.
  • the intersection point K means a point located in the space between the first boundary surface and the second boundary surface.
  • the first point and the second point are each directed toward the nearest intersection point among the plurality of intersection points K. can be moved individually.
  • the method of obtaining a 3D volume model includes the step of correcting the optical volume model based on the information of the acoustic volume model described above by the correction unit 40 .
  • the correction unit 40 of the 3D volume model acquisition system 10 may move any one point included in the optical volume model to a point on the adjacent acoustic volume model.
  • the points (P3, P4) moving to the points on the acoustic volume model refer to points located in an area where light reflection is difficult to occur when judged based on the acoustic volume model. can do.
  • the underwater object M may be an area inside the first boundary surface A1 of the acoustic volume model, that is, in the first space S′1, in which the underwater object M does not exist. . Therefore, among the point clouds K constituting the optical volume model, it can be determined that the third point P3 existing inside the first boundary A1 of the acoustic volume model is generated by the error of the optical volume model. In addition, by moving the third point P3 to an adjacent point on the acoustic volume model or excluding it from the optical volume model altogether, the accuracy of the optical volume model can be increased.
  • the outside of the second boundary surface A2, that is, the third space S'3, may be an area in which light cannot be reflected because light cannot reach by the underwater object M or the seabed. Therefore, since the fourth point P4 existing in the third space S'3 may also be generated by an error of the optical volume model, it may be moved to an adjacent point on the acoustic volume model or a point of the optical volume model. By excluding the cloud K, the accuracy of the optical volume model can be improved.
  • the third point P3 or the fourth point P4 may be moved to the intersection points P 3 and P 4 where the straight lines L2 and L3 connecting P4 and the acoustic volume model meet.
  • the point cloud is moved by considering the propagation path of light toward the optical camera as much as possible, there is an advantage in that the perspective error of the optical volume model can be effectively resolved.
  • the third point (P3) or the fourth point (P4) is selected only in any one of the X-axis, Y-axis and Z-axis directions. It can also be moved to a point on the acoustic volume model that meets it when moved. In the case of such a movement method, since only movement in one axial direction is considered, the amount of calculation related to movement is remarkably reduced and the time required to correct the optical volume model can be reduced.
  • the method of obtaining a 3D volume model may obtain a more accurate acoustic volume model by correcting uncertainty or altitude error included in the second space of the acoustic volume model using the optical volume model.
  • a more accurate optical volume model may be obtained by correcting a perspective error included in the optical volume model using the acoustic volume model.
  • the method of obtaining a three-dimensional volume model considers not only the first boundary surface A1 but also the second boundary surface A2 in relation to the acoustic volume model to subdivide the space to make it more underwater object It is possible to obtain an acoustic volume model located close to (M).

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

수중 물체에 대한 3차원 체적 모델을 획득하는 방법이 개시된다. 본 발명의 예시적인 실시예에 따른 수중 물체에 대한 3차원 체적 모델을 획득하는 방법은, 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법으로서, 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 단계, 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계 및 광학 체적 모델의 정보를 기초로 음향 체적 모델을 보정하는 단계를 포함한다.

Description

수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템
본 발명은 3차원 체적 모델을 획득하는 방법 및 시스템에 관한 것으로, 보다 상세하게는 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템에 관한 것이다.
일반적으로 수중 물체의 3차원 복원을 위해 광학 카메라로 SLAM (Simultaneous Localization And Mapping)을 수행한다.
이와 관련하여, 맑은 물에서 표적 물체 주변을 여러 각도에서 촬영하면 광학 카메라가 제공하는 RGB 색상의 고화질 광학 이미지로 정밀한 SLAM이 가능하다. 그러나 50m 이상 수심에서는 파란색 계열 태양의 빛만 도달하며, 70m 이상의 수심에서는 태양빛이 거의 도달하지 못한다. 따라서 별도의 조명 시스템이 없으면 광학 카메라의 사용이 제한된다.
또한 수중에는 해중설(Marine snow)라는 박테리아의 사체를 포함한 해양생물들의 사체 조각들은 해저로 천천히 침전하는데, 해저 근처에서는 이 해중설로 인해 시계가 탁해진다. 그리고 광학 이미지는 이미지 상의 물체에 대한 원근 정보는 제공하지 않기 때문에 광학 카메라와 물체 사이의 거리를 정확히 추정하기 위해서는 목표 물체를 여러 각도에서 촬영해야 한다. 그러나 GPS를 사용할 수 없는 해저에서 광학 카메라의 자세를 빈번히 바꾸게 되면 광학 카메라의 자세를 추정하는데 사용되는 자세 측정 센서의 오차가 누적되어 광학 카메라의 자세 정보가 부정확 해지므로 되도록 적은 방향에서 촬영하는 것이 바람직하다.
이와 비교하여, 이미징 소나는 빛의 산란이나 물의 탁도와 같은 측정 환경에 덜 민감하고, 이미징 소나가 제공하는 음향 이미지는 촬영된 물체의 위치에 대한 원근과 방위각 정보를 제공한다. 그러나 음향 이미지는 흑백의 저화질이고, 물체의 고도 (elevation) 정보는 제공하지 않는 단점이 있다.
따라서, 광학 카메라와 이미징 소나를 동시에 이용하되, 서로의 단점을 보완함으로써, 보다 정확하게 수중 물체를 3차원으로 복원하는 방법에 대한 연구가 필요한 실정이다.
본 발명의 일 실시예는 수중 물체에 대한 3차원 체적 모델을 획득함에 있어서, 오차를 최소화하여 정확성 높일 수 있는 방법 및 시스템을 제공하고자 한다.
본 발명의 일 측면에 따르면, 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법으로서, 상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 단계; 상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계 및 상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계를 포함하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법이 제공된다.
이 때, 상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계에서는, 상기 음향 체적 모델에 포함된 어느 한 점을 인접한 상기 광학 체적 모델 상의 점으로 이동시킬 수 있다.
이 때, 상기 어느 한 점은, 상기 광학 체적 모델을 기준으로 판단하였을 때 음향 빔의 반사가 발생되기 어려운 영역에 위치하는 점을 의미할 수 있다.
이 때, 상기 어느 한 점은, 상기 이미징 소나가 위치하는 기준점과 상기 어느 한 점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 이동될 수 있다.
이 때, 상기 직선 상에 복수개의 상기 교차점이 존재할 경우, 상기 어느 한 점은 상기 복수개의 교차점 중에서 상기 어느 한 점과 가장 인접한 점으로 이동될 수 있다.
이 때, 상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계는 상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점을 포함하는 제 1 경계면을 설정하는 단계 및 상기 이미징 소나의 위치를 기준으로 하였을 때, 상기 음향 빔의 마지막 반사가 발생되는 지점을 포함하는 제 2 경계면을 설정하는 단계를 포함하고, 상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계에서는, 상기 제 1 경계면 또는 제 2 경계면 상에 위치하는 제 1 점 또는 제 2 점과 상기 이미징 소나가 위치하는 기준점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 상기 제 1 점 또는 제 2 점을 이동시킬 수 있다.
이 때, 상기 교차점은 상기 제 1 경계면과 상기 제 2 경계면 사이의 공간에 위치하는 점을 의미할 수 있다.
이 때, 상기 교차점이 복수개인 경우, 상기 제 1 점 또는 제 2 점은 상기 복수개의 교차점 중 상기 제 1 점 또는 제 2 점과 가장 인접한 교차점으로 이동될 수 있다.
한편, 본 발명의 다른 측면에 따르면, 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법으로서, 상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 단계; 상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계 및 상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계를 포함하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법이 제공된다.
이 때, 상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계에서는, 상기 광학 체적 모델에 포함된 어느 한 점을 인접한 상기 음향 체적 모델 상의 점으로 이동시킬 수 있다.
이 때, 상기 어느 한 점은, 상기 음향 체적 모델을 기준으로 판단하였을 때 광 반사가 발생되기 어려운 영역에 위치하는 점을 의미할 수 있다.
이 때, 상기 어느 한 점은, 상기 광학 카메라가 위치하는 기준점과 상기 어느 한 점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 이동될 수 있다.
이 때, 상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계는 상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점을 포함하는 제 1 경계면을 설정하는 단계 및 상기 이미징 소나의 위치를 기준으로 하였을 때, 상기 음향 빔의 마지막 반사가 발생되는 지점을 포함하는 제 2 경계면을 설정하는 단계를 포함하고, 상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계에서는, 상기 광학 체적 모델 중에서 상기 음향 체적 모델의 제 1 경계면의 내측 또는 상기 제 2 경계면의 외측에 위치하는 어느 한 점과 상기 광학 카메라가 위치하는 기준점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 상기 어느 한 점을 이동시킬 수 있다.
본 발명의 또 다른 측면에 따르면, 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 3차원 체적 모델 획득 시스템으로서, 상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 광학 체적 모델부; 상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점이 포함된 제 1 경계면과, 상기 음향 빔의 마지막 반사가 발생되는 지점이 포함된 제 2 경계면을 포함하는 음향 체적 모델을 획득하는 음향 체적 모델부 및 상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하거나, 또는 상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 보정부를 포함하는, 수중 물체에 대한 3차원 체적 모델 획득 시스템이 제공된다.
이 때, 상기 보정부는, 상기 제 1 경계면 또는 제 2 경계면 상에 위치하는 제 1 점 또는 제 2 점과 상기 이미징 소나가 위치하는 기준점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 상기 제 1 점 또는 제 2 점을 이동시킬 수 있다.
이 때, 상기 보정부는, 상기 광학 체적 모델 중에서 상기 음향 체적 모델의 제 1 경계면의 내측 또는 상기 제 2 경계면의 외측에 위치하는 어느 한 점과 상기 광학 카메라가 위치하는 기준점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 상기 어느 한 점을 이동시킬 수 있다.
이 때, 상기 광학 체적 모델은 상기 광학 이미지를 SLAM 알고리즘을 통해 상기 수중 물체의 표면을 이루는 점구름의 3차원 좌표를 추정하여 획득될 수 있다.
이 때, 상기 제 1 경계면과 제 2 경계면은 각각 상기 이미징 소나가 위치하는 기준점을 중심으로 하는 구면의 일부를 포함하여 형성될 수 있다.
이 때, 상기 제 1 경계면과 제 2 경계면은 상기 이미지 소나의 전진에 따라 계속적으로 갱신될 수 있다.
본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 음향 체적 모델에 포함된 오차를 광학 체적 모델을 이용하여 보정함으로써 보다 정확한 광학 체적 모델을 획득할 수 있다.
본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 광학 체적 모델에 포함된 오차를 음향 체적 모델을 이용하여 보정함으로써 보다 정확한 광학 체적 모델을 획득할 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 음향 체적 모델과 관련하여 제 1 경계면 뿐만 아니라 제 2 경계면도 함께 고려하여 공간을 세분화함으로써 보다 신뢰성 높은 음향 체적 모델을 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법의 각 단계를 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템을 나타낸 블록도이다.
도 3은 SLAM 알고리즘을 이용하여 광학 체적 모델을 형성하는 것의 일 예시를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템에 의해 획득된 광학 체적 모델 및 음향 체적 모델을 중첩하여 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법 중 음향 체적 모델을 획득하는 단계의 세부 단계를 나타낸 순서도이다.
도 6 및 도 7은 이미징 소나를 이용하여 음향 이미지를 획득하는 것을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 음향 체적 모델부가 음향 체적 모델을 갱신하는 것을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템에 의해 획득된 음향 체적 모델을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 보정부가 음향 체적 모델에 포함된 점을 보정하는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템이 보정부에 의해서 음향 체적 모델을 보정하기 전과 후를 나누어 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 보정부가 광학 체적 모델에 포함된 점을 보정하는 것을 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법의 각 단계를 나타낸 순서도이다. 도 2는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템을 나타낸 블록도이다. 도 3은 SLAM 알고리즘을 이용하여 광학 체적 모델을 형성하는 것의 일 예시를 나타낸 도면이다. 도 4는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템에 의해 획득된 광학 체적 모델 및 음향 체적 모델을 중첩하여 나타낸 도면이다.
본 발명의 일 실시예에 따른 수중 물체에 대한 3차원 체적 모델을 획득하는 방법(이하, '3차원 체적 모델을 획득하는 방법'이라 함)은 음향 이미지로부터 3차원 음향 체적 모델을 획득하고, 이를 광학 이미지를 기초로 보정함으로써 상기 3차원 음향 체적 모델의 정확성을 향상시키거나, 반대로 광학 이미지로부터 3차원 광학 체적 모델을 획득하고, 이를 음향 이미지를 기초로 보정함으로써 상기 3차원 광학 체적 모델의 정확성을 향상시킬 수 있는 방법이다. 이 때, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템(10)에 의해서 각 단계가 수행될 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법의 각 단계 위주로 설명하되, 3차원 체적 모델 획득 시스템(10) 중에서 3차원 체적 모델을 획득하는 방법의 각 단계를 수행하는 주체에 대해서도 함께 기술하기로 한다.
먼저, 도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 3차원 체적 모델 획득 시스템(10)의 광학 체적 모델부(20)을 이용하여 광학 체적 모델을 획득하는 단계를 포함한다.(S10)
이 때, 광학 체적 모델부(20)는 2차원 광학 이미지로부터 3차원 광학 체적 모델을 획득할 수 있다. 여기서 상기 2차원 광학 이미지는 수중에서 광학 카메라가 수중 물체(M)를 대상으로 촬영한 RGB 색상의 고화질 광학 이미지 일 수 있다.
구체적으로, 광학 체적 모델부(20)는 광학 체적 모델의 획득과 관련하여, 오픈 소스 기반의 SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 광학 이미지를 처리함으로써, 수중 물체(M)의 표면을 이루는 점구름(K)의 3차원 좌표를 추정할 수 있다.
여기서, 도 3을 참조하면, SLAM 알고리즘은 컴퓨터 시각(Computer Vision, CV) 기반의 동시적 위치추정 및 지도작성 알고리즘으로서, 주변 환경의 어떠한 사전 지식도 요구하지 않고 실제 환경에 대한 카메라의 위치 및/또는 배향을 결정하고 실제 주변 환경의 기하학적 모델을 생성하기 위한 기술이다. 이러한 SLAM 알고리즘은 위치 추정 기술 분야의 공지의 기술이므로, 본 명세서에서는 자세한 설명을 생략하도록 한다.
이 때, 광학 체적 모델부(20)는 LSD-SLAM(Large-Scale Direct SLAM) 알고리즘을 이용하여 수중 물체(M)와 관련된 위치를 추정할 수 있다. 이는 광학 카메라에 의해 생성된 광학 이미지에 대하여 특징점(Feature Point)를 검출하는 과정을 거치지 않고 바로 Semi-Dense를 사용함으로써 보다 신속하게 위치를 추정하기 위함이다.
본 발명의 일 실시예에서, 광학 체적 모델은 도 4에 도시된 바와 같이 수중 물체(M)의 표면을 따라 점구름(K)의 형태로 도시될 수 있다. 그러나, 광학 체적 모델 자체가 가진 원근 오차에 의하여 점구름(K)을 구성하는 모든 점이 수중 물체(M)의 표면을 의미하는 것은 아님을 유념한다.
도 5는 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법 중 음향 체적 모델을 획득하는 단계의 세부 단계를 나타낸 순서도이다. 도 6 및 도 7은 이미징 소나를 이용하여 음향 이미지를 획득하는 것을 설명하기 위한 도면이다. 도 8은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 음향 체적 모델부가 음향 체적 모델을 갱신하는 것을 설명하기 위한 도면이다. 도 9 및 도 10은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템에 의해 획득된 음향 체적 모델을 설명하기 위한 도면이다.다음으로, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 3차원 체적 모델 획득 시스템(10)의 음향 체적 모델부(30)를 이용하여 음향 체적 모델을 획득하는 단계를 포함한다. (S20)
이 때, 음향 체적 모델부(30)는 이미징 소나를 이용하여 생성된 음향 이미지를 이용하여 음향 체적 모델을 획득할 수 있다.
본 발명의 일 실시예에서, 이미징 소나는 도 6에 도시된 바와 같이, 방위각 Θ 이내에서 균등한 간격으로
Figure PCTKR2021015604-appb-img-000001
개의 음향 빔을 발사하고(고도각은
Figure PCTKR2021015604-appb-img-000002
), 상기 음향 빔이 수중 물체(M) 등에 의해 반사되어 돌아온 음향 빔을 감지함으로써 음향 이미지를 생성할 수 있다. 여기서, 이미징 소나가 감지할 수 있는 음향 빔의 반사 지점 거리 범위는
Figure PCTKR2021015604-appb-img-000003
(최소 반사 지점 거리)에서 최대
Figure PCTKR2021015604-appb-img-000004
(최소 반사 지점 거리) 일 수 있다.
보다 상세하게, 도 7을 참조하면, 음향 이미지 내 각 픽셀은 반사되어 돌아온 음향 빔의 강도에 따라 각기 다른 명암이 표시될 수 있다. 즉, i 번째 음향 빔이 거리
Figure PCTKR2021015604-appb-img-000005
에서 반사된다면, 음향 이미지의 i 번째 열, j 번째 행에 해당하는 픽셀의 밝기 값은 반사돼 돌아온 음향 빔의 강도가 강할수록 높아지며, 최종적으로
Figure PCTKR2021015604-appb-img-000006
크기의 음향 이미지가 생성된다. (여기서,
Figure PCTKR2021015604-appb-img-000007
,
Figure PCTKR2021015604-appb-img-000008
, M은 샘플링 수)
이와 관련하여, 음향 이미지 내의 각 픽셀이 가지는 의미를 살펴보면 다음과 같다. 구체적으로, 음향 이미지는 세 종류의 영역으로 나눌 수 있다. 도 8의 (a)를 기준으로 살펴보면, 음향 이미지의 각 열은 이미징 소나로부터 가까운 위치에서부터 검은 픽셀(S1), 흰색 혹은 회색 픽셀(S2), 그리고 또다른 검은 픽셀(S3)로 구성됨을 알 수 있다.
이 때, 첫 검은 픽셀(S1)은 물체가 존재하지 않아 반사돼 돌아온 음향 빔이 없는 공간과 대응된다. 그리고 흰색 혹은 회색 픽셀(S2)은 물체나 해저면에 의해 음향 빔이 반사되는 공간과 대응된다. 마지막 검은 픽셀(S3)은 음향 빔이 물체나 해저면에 막혀 도달하지 못하는 공간과 대응된다. 이와 같은 영역(S3)은 빛 또한 같은 물체나 해저면에 의해 막혀 도달할 수 없으므로, 상기 공간(S3)은 광학 카메라도 관측될 수 없는 공간에 해당된다.
계속 도 8의 (a)를 참조하되 설명의 편의상 음향 이미지의 i 번째 열에 대해서만 살펴보면, i 번째 열에서 이미징 소나와 가장 가까운 지점(
Figure PCTKR2021015604-appb-img-000009
)에서 시작되어 가장 마지막으로 연속적인 검은 픽셀(
Figure PCTKR2021015604-appb-img-000010
,
Figure PCTKR2021015604-appb-img-000011
)은 i 번째 열에서 음향 빔의 첫 번째 반사(first reflection, 이하, 'f.r.')가 발생한 지점까지의 거리(
Figure PCTKR2021015604-appb-img-000012
)와 대응된다.
이와 유사하게, i 번째 열에서 이미징 소나와 가장 먼 지점(
Figure PCTKR2021015604-appb-img-000013
)에서 시작되어 가장 마지막으로 연속적인 검은 픽셀(
Figure PCTKR2021015604-appb-img-000014
,
Figure PCTKR2021015604-appb-img-000015
)은 음향 빔의 마지막 반사(last reflection, 이하, 'l.r.')가 발생한 지점까지의 거리(
Figure PCTKR2021015604-appb-img-000016
))와 대응된다. 이와 관련하여, i 번째 빔의
Figure PCTKR2021015604-appb-img-000017
과
Figure PCTKR2021015604-appb-img-000018
는 다음 수학식 1을 이용하여 계산될 수 있다.
[수학식 1]
Figure PCTKR2021015604-appb-img-000019
,
Figure PCTKR2021015604-appb-img-000020
다음으로, 음향 체적 모델부(30)가 음향 이미지로부터 3차원 음향 체적 모델을 획득하는 과정에 대하여 상세히 설명하기로 한다.
음향 이미지로부터 3차원 음향 체적 모델을 획득하는 과정은 크게 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점을 포함하는 제 1 경계면(A1)을 설정하는 단계(S21)와, 음향 빔의 마지막 반사가 발생되는 지점을 포함하는 제 2 경계면(A2)을 설정하는 단계(S22)로 구분할 수 있다.
제 1 경계면(A1) 또는 제 2 경계면(A2)을 설정하기 위하여, 음향 체적 모델부(30)는 먼저 음향 이미지의 i 번째 열(i 번째 음향 빔에 의한 음향 이미지)에 대하여, 첫 번째 반사(f.r)와 마지막 반사(l.r)가 발생한 반사 지점을 포함하는 구면을 상정하여 음향 체적 모델의 일부를 생성할 수 있다. 이 때, 상기 구면은 이미징 소나가 위치하는 기준점을 중심으로 한다.
이러한 음향 체적 모델의 일부를 음향 빔의 방위각(
Figure PCTKR2021015604-appb-img-000021
)과 고도각(s)을 고려하여 수학식으로 나타내면 다음과 같다.
[수학식 2]
첫 번째 반사 지점을 포함하는 구면 =
Figure PCTKR2021015604-appb-img-000022
마지막 반사 지점을 포함하는 구면 =
Figure PCTKR2021015604-appb-img-000023
Figure PCTKR2021015604-appb-img-000024
Figure PCTKR2021015604-appb-img-000025
,
Figure PCTKR2021015604-appb-img-000026
.
이와 같이, 본 발명의 일 실시예에서, 첫 번째 또는 마지막 반사 지점의 위치를 특정한 하나의 좌표를 특정하지 않고, 반사가 발생한 반사 지점을 포함하는 구면을 상정하여 음향 체적 모델을 구성하는 것은 반사 지점의 고도각에 대한 정보를 알 수 없는 이미징 소나의 특징에 기인한다. 즉, 도 9에 도시된 바와 같이 반사 지점의 고도각이 다르더라도 반사 지점까지의 거리(
Figure PCTKR2021015604-appb-img-000027
또는
Figure PCTKR2021015604-appb-img-000028
)가 동일하다면 이들은 음향 이미지 상에서 동일한 픽셀로서 표현될 수 있기 때문이다.
위와 같이 음향 이미지의 i 번째 열에 대하여 음향 체적 모델의 일부를 생성하는 작업을,
Figure PCTKR2021015604-appb-img-000029
개의 전체 음향 빔에 대하여 모두 수행한 후, 이들을 일체로 연결하면 제 1 경계면(A1)과 제 2 경계면(A2)이 형성될 수 있다. 여기서, 제 1 경계면(A1)은 첫 번째 반사 지점을 포함하는 구면
Figure PCTKR2021015604-appb-img-000030
을 연결하여 형성된 것이며, 제 2 경계면(A2)은 마지막 반사 지점을 포함하는 구면
Figure PCTKR2021015604-appb-img-000031
을 연결하여 형성된 것임은 물론이다. 도 8에는 상술한 제 1 경계면(A1)과 제 2 경계면(A2)의 일단면이 도시되어 있음을 유의해야 한다.
한편, 이미징 소나가 수중 물체(M) 방향으로 전진함에 따라, 제 1 경계면(A1)과 제 2 경계면(A2)은 계속적으로 갱신될 수 있다.
보다 상세하게, 이미징 소나는 공간 정보의 탐지 범위를 확장하기 위해서 수중 물체(M) 방향으로 이동하면서 반복하여 음향 빔을 방사하는데, 이러한 음향 빔의 방사시 마다 각기 다른 제 1 경계면(A1)과 제 2 경계면(A2)이 반복하여 생성될 수 있다.
이와 관련하여, 음향 체적 모델부(30)는 시간의 흐름에 따라 생성된 개별 제 1 경계면(A1)과 제 2 경계면(A2)을 누적적으로 연결하며, 제 1 경계면(A1)과 제 2 경계면(A2)을 새롭게 갱신할 수 있다. 도 8의 (a) 내지 (e)는 이러한 제 1 경계면(A1)과 제 2 경계면(A2)의 갱신 과정을 시간순으로 나열하고 있다. 상술한 경계면(A1, A2)의 갱신 과정에 의해, 도 10에 도시된 것처럼 최종적인 제 1 경계면(A1)과 제 2 경계면(A2)이 확정될 수 있으며, 이들을 포함하는 음향 체적 모델이 생성될 수 있다.
다음으로, 도 5를 참조하여, 제 1 경계면(A1)과 제 2 경계면(A2)에 의해 분할되는 음향 체적 모델 내 각 공간의 의미를 살펴본다. 이와 관련하여 본 명세서에서 경계면에 의해 분할되는 공간의 위치를 규정함에 있어서, 이미징 소나와 상대적으로 인접한 곳을 내측이라 규정하고, 이미징 소나와 먼 곳을 외측이라 규정함을 밝혀 둔다.
먼저, 제 1 경계면(A1) 내측에 존재하는 제 1 공간(S'1)은 음향 빔의 반사가 일어나지 않은 공간으로서, 수중 물체(M)가 존재하지 않는 공간일 수 있다.
그리고, 제 1 경계면(A1)과 제 2 경계면(A2) 사이에 존재하는 제 2 공간(S'2)은 수중 물체(M)가 존재할 가능성이 있는 공간이다. 이 때, 제 2 공간(S'2)의 내부에는 수중 물체(M)가 존재하지 않을 수도 있는데, 이것은 앞서 살펴본 바와 같이 음향 체적 모델의 경계면(A1, A2)은 음향 빔의 반사 지점을 포함하는 포괄적인 구면으로 이루어져 있기 때문이다.
마지막으로, 제 2 경계면(A2)의 외측에 존재하는 제 3 공간(S'3)은 음향 빔의 진행이 수중 물체(M) 또는 해저면 의해 가로막혀 도달할 수 없는 공간을 의미한다. 따라서, 제 3 공간(S'3)은 실제 수중 물체(M)가 차지하는 공간을 의미할 수도 있고, 수중 물체(M) 너머의 빈 공간 또는 해저면 아래의 가상의 공간을 의미할 수 있다.
이처럼 본 발명의 일 실시예에 따른 음향 체적 모델 획득 시스템(10)은 음향 체적 모델을 구성함에 있어서, 첫 번째 반사가 발생되는 지점을 포함하는 제 1 경계면(A1) 뿐만 아니라, 마지막 반사(f.r)가 발생되는 지점을 포함하는 제 2 경계면(A2)을 함께 고려함으로써, 음향 체적 모델 내 공간을 보다 세분화할 수 있는 장점이 있다.
도 11은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 보정부가 광학 체적 모델에 포함된 점을 보정하는 것을 설명하기 위한 도면이다. 도 12는 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템이 보정부에 의해서 음향 체적 모델을 보정하기 전과 후를 나누어 나타낸 도면이다. 도 13은 본 발명의 일 실시예에 따른 3차원 체적 모델 획득 시스템의 보정부가 광학 체적 모델에 포함된 점을 보정하는 것을 설명하기 위한 도면이다.
한편, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 보정부(40)가 상술한 광학 체적 모델의 정보를 기초로 음향 체적 모델을 보정하는 단계를 포함한다. (S30)
본 발명의 일 실시예에서, 3차원 체적 모델 획득 시스템(10)의 보정부(40)는 상기 음향 체적 모델에 포함된 어느 한 점을 인접한 상기 광학 체적 모델 상의 점으로 이동시킬 수 있다. 이 때, 음향 체적 모델에 포함된 점 중에서, 광학 체적 모델 상의 점으로 이동하는 점(P1, P2)은 광학 체적 모델을 기준으로 판단하였을 때, 음향 빔의 반사가 발생되기 어려운 영역에 위치하는 점을 의미할 수 있다.
보다 상세하게, 도 12의 (a)를 참조하면, 보정 전의 음향 체적 모델의 경우 제 1 경계면(A1)과 제 2 경계면(A2) 사이에 존재하는 제 2 공간(S'2)이 지나치게 넓은 것을 알 수 있다. 이와 같이 제 2 공간(S'2)이 지나치게 넓게 형성될 경우, 수중 물체(M)의 경계가 불확실하게 특정된 것을 의미한다. 왜냐하면 앞서 살펴본 바와 같이, 제 2 공간(S'2)은 수중 물체(M)가 존재할 수도 있으나, 존재하지 않을 수도 있는 불확실한 성격의 영역이기 때문이다.
따라서, 본 발명의 일 실시예에 따른 음향 체적 모델 획득 시스템의 보정부(40)는 이와 같이 서로 이격되어 위치하는 제 1 경계면(A1)과 제 2 경계면(A2)을, 수중 물체(M)의 실제 경계를 의미하는 광학 체적 모델 상의 점으로 이동시킴으로써, 음향 체적 모델의 제 2 공간(S'2)의 영역을 보다 확실하게 한정할 수 있다. 그 결과 도 12의 (b)와 같이 수중 물체(M)의 실제 경계와 보다 인접하여 위치하게 되는 제 2 영역(S'2)을 얻을 수 있으며, 궁극적으로 음향 체적 모델의 신뢰성을 높일 수 있다.
도 11을 참조하면, 음향 체적 모델의 불확실성에 기인한 제 1 점(P1)과 제 2 점(P2)을 이동시키는 구체적인 일례로서, 이미징 소나가 위치하는 기준점과 제 1 경계면 상의 제 1 점(P1) 또는 제 2 경계면 상의 제 2 점(P2)을 연결한 직선(L1, L2)과, 광학 체적 모델이 만나는 교차점(K)으로 제 1 점(P1) 또는 제 2 점(P2)을 이동시킬 수 있다. 이 경우, 이미징 소나를 향하는 음향 빔의 진행 경로를 최대한 유지하여 음향 체적 모델을 이동시킬 수 있는 장점이 있다. 이 때, 교차점(K)은 제 1 경계면과 제 2 경계면 사이의 공간에 위치하는 점을 의미함은 물론이다.
이 때, 만약, 광학 체적 모델의 점구름이 조밀하게 밀집되어 있어서, 교차점(K)이 복수개인 경우에는, 상기 제 1 점과 제 2 점은 각각 복수의 교차점(K) 중 가장 인접한 교차점을 향하여 개별적으로 이동할 수 있다.
한편, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 보정부(40)가 상술한 음향 체적 모델의 정보를 기초로 광학 체적 모델을 보정하는 단계를 포함한다. (S40)
본 발명의 일 실시예에서, 3차원 체적 모델 획득 시스템(10)의 보정부(40)는 광학 체적 모델에 포함된 어느 한 점을 인접한 음향 체적 모델 상의 점으로 이동시킬 수 있다. 이 때, 광학 체적 모델에 포함된 점 중에서, 음향 체적 모델 상의 점으로 이동하는 점(P3, P4)은 음향 체적 모델을 기준으로 판단하였을 때, 광 반사가 발생되기 어려운 영역에 위치하는 점을 의미할 수 있다.
보다 상세하게, 도 10을 참조하면, 앞서 살펴본 바와 같이 음향 체적 모델의 제 1 경계면(A1)의 내측, 즉 제 1 공간(S'1)에는 수중 물체(M)가 존재하지 않는 영역일 수 있다. 따라서, 만약 광학 체적 모델을 구성하는 점구름(K) 중에서, 음향 체적 모델의 제 1 경계면(A1) 내측에 존재하는 제 3 점(P3)은 광학 체적 모델의 오차에 의해 생성된 것으로 판단할 수 있으며, 이러한 제 3 점(P3)을 음향 체적 모델 상의 인접한 점으로 이동시키거나, 또는 아예 광학 체적 모델에서 제외함으로써, 광학 체적 모델의 정확도를 높일 수 있다.
그리고, 제 2 경계면(A2)의 외측, 즉 제 3 공간(S'3)은 수중 물체(M) 또는 해저면에 의해 광이 도달할 수 없어 광 반사가 발생될 수 없는 영역일 수 있다. 따라서 제 3 공간(S'3) 내부에 존재하는 제 4 점(P4) 역시 광학 체적 모델의 오차에 의해 생성된 것일 수 있으므로, 이를 음향 체적 모델 상의 인접한 점으로 이동시키거나, 광학 체적 모델의 점구름(K)에서 제외시킴으로써 광학 체적 모델의 정확성을 향상시킬 수 있다.
도 13을 참조하면, 광학 체적 모델의 오차에 의한 제 3 점(P3)과 제 4 점(P4)을 이동시키는 구체적인 일례로서, 광학 카메라가 위치하는 기준점과 제 3 점(P3) 또는 제 4 점(P4)을 연결한 직선(L2, L3)과, 음향 체적 모델이 만나는 교차점(P 3, P 4)으로 제 3 점(P3) 또는 제 4 점(P4)을 이동시킬 수 있다. 이 경우, 광학 카메라를 향하는 광의 진행 경로를 최대한 고려하여 점구름을 이동시키므로, 광학 체적 모델이 가진 원근 오차를 효과적으로 해결할 수 있는 장점이 있다.
제 3 점(P3) 또는 제 4 점(P4)을 이동시키는 다른 일례로서, 제 3 점(P3) 또는 제 4 점(P4)을 X축, Y축 및 Z축 방향 중 어느 일 방향만을 선택하여 이동시켰을 때 이와 만나는 음향 체적 모델 상의 점으로 이동시킬 수도 있다. 이러한 이동 방법에 의할 경우, 일 축 방향만의 이동만을 고려하므로 이동과 관련된 계산량을 현저히 감소시키고, 광학 체적 모델의 보정에 수행되는 시간을 절감할 수 있는 장점이 있다.살펴본 바와 같이 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 음향 체적 모델의 제 2 공간에 포함된 불확실성 또는 고도 오차를 광학 체적 모델을 이용하여 보정함으로써 보다 정확한 음향 체적 모델을 획득할 수 있다.
또한 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 광학 체적 모델에 포함된 원근 오차를 음향 체적 모델을 이용하여 보정함으로써 보다 정확한 광학 체적 모델을 획득할 수 있다.
그리고, 본 발명의 일 실시예에 따른 3차원 체적 모델을 획득하는 방법은 음향 체적 모델과 관련하여 제 1 경계면(A1) 뿐만 아니라 제 2 경계면(A2)도 함께 고려하여 공간을 세분화함으로써 보다 수중 물체(M)와 근접하여 위치하는 음향 체적 모델을 획득할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

Claims (19)

  1. 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법으로서,
    상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 단계;
    상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계 및
    상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계를 포함하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  2. 제 1 항에 있어서,
    상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계에서는, 상기 음향 체적 모델에 포함된 어느 한 점을 인접한 상기 광학 체적 모델 상의 점으로 이동시키는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  3. 제 2 항에 있어서,
    상기 어느 한 점은, 상기 광학 체적 모델을 기준으로 판단하였을 때 음향 빔의 반사가 발생되기 어려운 영역에 위치하는 점을 의미하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  4. 제 3 항에 있어서,
    상기 어느 한 점은, 상기 이미징 소나가 위치하는 기준점과 상기 어느 한 점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 이동되는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  5. 제 4 항에 있어서,
    상기 직선 상에 복수개의 상기 교차점이 존재할 경우, 상기 어느 한 점은 상기 복수개의 교차점 중에서 상기 어느 한 점과 가장 인접한 점으로 이동되는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  6. 제 1 항에 있어서,
    상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계는
    상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점을 포함하는 제 1 경계면을 설정하는 단계 및
    상기 이미징 소나의 위치를 기준으로 하였을 때, 상기 음향 빔의 마지막 반사가 발생되는 지점을 포함하는 제 2 경계면을 설정하는 단계를 포함하고,
    상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 단계에서는, 상기 제 1 경계면 또는 제 2 경계면 상에 위치하는 제 1 점 또는 제 2 점과 상기 이미징 소나가 위치하는 기준점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 상기 제 1 점 또는 제 2 점을 이동시키는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  7. 제 6 항에 있어서,
    상기 교차점은 상기 제 1 경계면과 상기 제 2 경계면 사이의 공간에 위치하는 점을 의미하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  8. 제 7 항에 있어서,
    상기 교차점이 복수개인 경우, 상기 제 1 점 또는 제 2 점은 상기 복수개의 교차점 중 상기 제 1 점 또는 제 2 점과 가장 인접한 교차점으로 이동되는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  9. 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 방법으로서,
    상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 단계;
    상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계 및
    상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계를 포함하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  10. 제 9 항에 있어서,
    상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계에서는, 상기 광학 체적 모델에 포함된 어느 한 점을 인접한 상기 음향 체적 모델 상의 점으로 이동시키는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  11. 제 10 항에 있어서,
    상기 어느 한 점은, 상기 음향 체적 모델을 기준으로 판단하였을 때 광 반사가 발생되기 어려운 영역에 위치하는 점을 의미하는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  12. 제 11 항에 있어서,
    상기 어느 한 점은, 상기 광학 카메라가 위치하는 기준점과 상기 어느 한 점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 이동되는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  13. 제 9 항에 있어서,
    상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 음향 체적 모델을 획득하는 단계는
    상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점을 포함하는 제 1 경계면을 설정하는 단계 및
    상기 이미징 소나의 위치를 기준으로 하였을 때, 상기 음향 빔의 마지막 반사가 발생되는 지점을 포함하는 제 2 경계면을 설정하는 단계를 포함하고,
    상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하는 단계에서는, 상기 광학 체적 모델 중에서 상기 음향 체적 모델의 제 1 경계면의 내측 또는 상기 제 2 경계면의 외측에 위치하는 어느 한 점과 상기 광학 카메라가 위치하는 기준점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 상기 어느 한 점을 이동시키는, 수중 물체에 대한 3차원 체적 모델을 획득하는 방법.
  14. 광학 카메라와 이미징 소나를 이용하여 수중 물체에 대한 3차원 체적 모델을 획득하는 3차원 체적 모델 획득 시스템으로서,
    상기 광학 카메라를 이용하여 생성된 광학 이미지로부터 광학 체적 모델을 획득하는 광학 체적 모델부;
    상기 이미징 소나를 이용하여 생성된 음향 이미지로부터 상기 이미징 소나의 위치를 기준으로 하였을 때, 음향 빔의 첫번째 반사가 발생되는 지점이 포함된 제 1 경계면과, 상기 음향 빔의 마지막 반사가 발생되는 지점이 포함된 제 2 경계면을 포함하는 음향 체적 모델을 획득하는 음향 체적 모델부 및
    상기 음향 체적 모델의 정보를 기초로 상기 광학 체적 모델을 보정하거나, 또는 상기 광학 체적 모델의 정보를 기초로 상기 음향 체적 모델을 보정하는 보정부를 포함하는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
  15. 제 14 항에 있어서,
    상기 보정부는,
    상기 제 1 경계면 또는 제 2 경계면 상에 위치하는 제 1 점 또는 제 2 점과 상기 이미징 소나가 위치하는 기준점을 연결한 직선과, 상기 광학 체적 모델이 만나는 교차점으로 상기 제 1 점 또는 제 2 점을 이동시키는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
  16. 제 14 항에 있어서,
    상기 보정부는,
    상기 광학 체적 모델 중에서 상기 음향 체적 모델의 제 1 경계면의 내측 또는 상기 제 2 경계면의 외측에 위치하는 어느 한 점과 상기 광학 카메라가 위치하는 기준점을 연결한 직선과, 상기 음향 체적 모델이 만나는 교차점으로 상기 어느 한 점을 이동시키는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
  17. 제 14 항에 있어서,
    상기 광학 체적 모델은 상기 광학 이미지를 SLAM 알고리즘을 통해 상기 수중 물체의 표면을 이루는 점구름의 3차원 좌표를 추정하여 획득되는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
  18. 제 14 항에 있어서,
    상기 제 1 경계면과 제 2 경계면은 각각 상기 이미징 소나가 위치하는 기준점을 중심으로 하는 구면의 일부를 포함하여 형성되는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
  19. 제 14 항에 있어서,
    상기 제 1 경계면과 제 2 경계면은 상기 이미지 소나의 전진에 따라 계속적으로 갱신되는, 수중 물체에 대한 3차원 체적 모델 획득 시스템.
PCT/KR2021/015604 2020-11-04 2021-11-01 수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템 WO2022098025A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020200146108A KR102456515B1 (ko) 2020-11-04 2020-11-04 수중 물체에 대한 3차원 광학 체적 모델을 획득하는 방법 및 시스템
KR10-2020-0146108 2020-11-04
KR1020200146109A KR102456516B1 (ko) 2020-11-04 2020-11-04 수중 물체에 대한 3차원 음향 체적 모델을 획득하는 방법 및 시스템
KR10-2020-0146109 2020-11-04

Publications (1)

Publication Number Publication Date
WO2022098025A1 true WO2022098025A1 (ko) 2022-05-12

Family

ID=81457958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015604 WO2022098025A1 (ko) 2020-11-04 2021-11-01 수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2022098025A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4424752B2 (ja) * 2003-01-30 2010-03-03 ゲゼルシャフト ツァ フェルデラング アンゲバンデル インフォマティク エー ファウ 音響対象物画像化装置及び方法、対応するコンピュータプログラム製品、及び対応するコンピュータで読み取り自在な記憶媒体
KR20180097354A (ko) * 2017-02-23 2018-08-31 국방과학연구소 수중운동체의 영상소나에서 횡동요시 해수면 반사신호를 포함한 영상의 후보정 방법
JP2019072518A (ja) * 2007-01-19 2019-05-16 サニーブルック・ヘルス・サイエンシズ・センター 超音波と光学を複合した画像手段を有する撮像プローブ
KR20200000083A (ko) * 2018-06-22 2020-01-02 포항공과대학교 산학협력단 잠수정의 수중항법 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4424752B2 (ja) * 2003-01-30 2010-03-03 ゲゼルシャフト ツァ フェルデラング アンゲバンデル インフォマティク エー ファウ 音響対象物画像化装置及び方法、対応するコンピュータプログラム製品、及び対応するコンピュータで読み取り自在な記憶媒体
JP2019072518A (ja) * 2007-01-19 2019-05-16 サニーブルック・ヘルス・サイエンシズ・センター 超音波と光学を複合した画像手段を有する撮像プローブ
KR20180097354A (ko) * 2017-02-23 2018-08-31 국방과학연구소 수중운동체의 영상소나에서 횡동요시 해수면 반사신호를 포함한 영상의 후보정 방법
KR20200000083A (ko) * 2018-06-22 2020-01-02 포항공과대학교 산학협력단 잠수정의 수중항법 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, JASON ET AL.: "3-D Reconstruction of Underwater Objects Using Image Sequences from Optical Camera and Imaging Sonar", OCEANS 2019 MTS/ IEEE SEATTLE, October 2019 (2019-10-01), pages 1 - 6, XP033691105, DOI: 10.23919/OCEANS40490.2019.8962558 *

Similar Documents

Publication Publication Date Title
Harvey et al. A system for stereo-video measurement of sub-tidal organisms
KR101194936B1 (ko) 3차원 계측 장치 및 그 방법
WO2012023639A1 (ko) 다수의 센서를 이용하는 객체 계수 방법 및 장치
NO174025B (no) System for punktvis maaling av romlige koordinater
US6590669B1 (en) Method for optically detecting the shape of objects
CN111427451B (zh) 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
JP2008298685A (ja) 計測装置及びプログラム
JP2018189637A (ja) カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN113340405B (zh) 桥梁振型的测量方法、装置及系统
WO2022098025A1 (ko) 수중 물체에 대한 3차원 체적 모델을 획득하는 방법 및 시스템
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
CN116958265A (zh) 一种基于双目视觉的船舶位姿测量方法及系统
JP2015059849A (ja) 色と三次元形状の計測方法及び装置
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
CN102890821A (zh) 红外摄像机标定方法及系统
CN112284509A (zh) 一种基于手机视频的桥梁结构振型测量方法
CN115388891A (zh) 一种大视场运动目标的空间定位方法及系统
WO2017026566A1 (ko) 파이프에 대한 3차원 스캔 장치 및 3차원 스캔 영상 생성 방법
JPH11194027A (ja) 三次元座標計測装置
KR102456516B1 (ko) 수중 물체에 대한 3차원 음향 체적 모델을 획득하는 방법 및 시스템
KR102456515B1 (ko) 수중 물체에 대한 3차원 광학 체적 모델을 획득하는 방법 및 시스템
RU2697822C2 (ru) Способ определения координат объектов по их цифровым изображениям

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21889490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21889490

Country of ref document: EP

Kind code of ref document: A1