KR20230163921A - 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체 - Google Patents

목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR20230163921A
KR20230163921A KR1020230007538A KR20230007538A KR20230163921A KR 20230163921 A KR20230163921 A KR 20230163921A KR 1020230007538 A KR1020230007538 A KR 1020230007538A KR 20230007538 A KR20230007538 A KR 20230007538A KR 20230163921 A KR20230163921 A KR 20230163921A
Authority
KR
South Korea
Prior art keywords
image information
target object
target
reconstruction
viewing angle
Prior art date
Application number
KR1020230007538A
Other languages
English (en)
Inventor
정취안 천
Original Assignee
쓰촨 중성 매트릭스 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰촨 중성 매트릭스 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 쓰촨 중성 매트릭스 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20230163921A publication Critical patent/KR20230163921A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

본 발명은 3차원 기술 분야에 적용되며, 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체를 제공하고, 상기 방법은, 목표 대상의 복수의 방향 제어 파라미터를 포함하는 제어 명령을 획득하는 단계; 복수의 방향 제어 파라미터의 조합에 따라, 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계; 방향 제어 파라미터 및 목표 이미지 정보를 기반으로 목표 대상에 대해 상호작용적 재구성을 진행하는 단계;를 포함한다. 사용자가 상호작용의 필요에 따라 입력한 복수의 제어 파라미터의 임의의 조합을 획득하는 것을 통해, 목표 대상의 여러 방향, 임의의 시야각에서, 프리셋된 3차원 재구성 방법을 기반으로 획득한 고정밀도 목표 이미지 정보의 임의의 시점 또는 특정 시간 내의 움직임 및 재구성을 제어할 수 있으므로, 사용자가 상호작용의 필요에 따라 임의의 시야각에서 정적 또는 동적으로 전방위, 고정밀도로 목표 대상을 관찰 및 상호작용적으로 제어하기 용이하게 하여, 사용자가 목표 대상을 제어하는 경험을 개선한다.

Description

목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체{Control method, device, equipment and storage medium for interactive reproduction of target object}
본 발명은 3차원 이미지 기술 분야에 관한 것으로, 특히 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체에 관한 것이다.
현재, 3차원 데이터의 수집 방법은 주로 인공적으로 대상의 특징에 따라 적합한 소프트웨어를 적용하여 3차원 스캐닝 및 모델링을 진행하는 기술이고, 생성된 데이터는 면(surface) 또는 점군(Point cloud)의 방식으로 구현된다. 그러나 종래의 3차원 스캐닝 및 모델링 기술은, 한편으로 물체의 질감, 무늬, 크기를 정확하게 수집할 수 없고, 정밀도가 낮아, 3차원 구현 효과가 떨어지고, 다른 한편으로 3차원 구현 방식이 비교적 단순하여, 360도 전방위, 고정밀도의 상호작용적 구현이 용이하지 않으므로, 사용자의 요구를 만족시키기 어려워, 사용자 경험이 좋지 않다.
본 발명의 목적은 사용자가 상호작용적으로 목표 대상을 제어하여 전방위, 고정밀도 재구성을 진행하기 용이하게 하여, 사용자의 경험을 개선하는 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체를 제공한다.
제1 측면에서, 본 발명은 목표 대상의 상호작용적 재구성을 위한 제어 방법을 제공하고, 상기 방법은,
목표 대상의 제어 명령을 획득하되, 상기 제어 명령은 복수의 방향 제어 파라미터를 포함하는 단계(S1);
상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계(S2);
상기 방향 제어 파라미터 및 상기 목표 이미지 정보를 기반으로 상기 목표 대상에 대해 상호작용적 재구성을 진행하는 단계(S3);를 포함한다.
추가로, 상기 복수의 방향 제어 파라미터는 제1 방향 제어 파라미터, 제2 방향 제어 파라미터 및 시간 제어 파라미터를 포함한다.
추가로, 상기 제어 명령은 시야각 제어 파라미터를 더 포함한다.
추가로, 상기 목표 이미지 정보는 제1 이미지 정보를 포함하고, 제1 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계는,
목표 대상의 여러 시야각에서의 시야각 경계를 계산하는 단계;
상기 시야각 경계 내, 목표 대상의 여러 시야각에서의 이미지 정보를 획득하는 단계;
이미지 정보에 대해 경계 처리를 진행하여, 상기 목표 대상의 여러 시야각의 제1 이미지 정보를 획득하는 단계;를 포함한다.
추가로, 상기 목표 이미지 정보는 제2 이미지 정보를 더 포함하고, 제2 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계는,
프리셋 수집 규칙에 따라 여러 시야각에서의 이미지 정보를 획득하도록 수집 장치를 제어하는 단계;
동일 시야각에서의 이미지 정보를 컷팅 및 융합하여, 융합 이미지 정보를 얻는 단계;
여러 시야각에서의 융합 이미지 정보를 획득하여, 상기 목표 대상의 제2 이미지 정보를 형성하는 단계;를 포함한다.
추가적으로, 상기 방법은,
상기 제1 이미지 정보 및/또는 제2 이미지 정보에 대해 속성 번호를 구축하고, 상기 속성 번호에 따라 이미지 정보를 프리셋 위치에 저장하는 단계;를 더 포함한다.
추가적으로, 상술한 상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하는 단계는,
상기 제1 방향 제어 파라미터 및/또는 상기 제2 방향 제어 파라미터 및/또는 시야각 제어 파라미터 및 상기 시간 제어 파라미터를 기반으로 속성 번호를 획득하는 단계;
상기 속성 번호에 따라 프리셋 위치로부터 상기 목표 대상에 대응되는 목표 이미지 정보를 획득하는 단계;를 포함한다.
추가로, 상술한 상기 방향 제어 파라미터 및 상기 목표 이미지 정보를 기반으로 상기 목표 대상에 대해 상호작용적 재구성을 진행하는 단계는,
상기 제1 방향 제어 파라미터, 상기 제2 방향 제어 파라미터, 상기 시야각 제어 파라미터 및/또는 상기 시간 제어 파라미터를 기반으로 좌표계를 구축하는 단계;
상기 좌표계에서, 상기 목표 이미지 정보를 사용하여 목표 대상에 대해 상호작용적 재구성을 진행하는 단계;를 포함한다.
제2 측면에서, 본 발명은 목표 대상의 상호작용적 재구성을 위한 제어 장치를 제공하며, 상기 장치는,
목표 대상의 복수의 방향 제어 파라미터를 포함하는 제어 명령을 획득하기 위한 제1 획득 모듈;
상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하기 위한, 제2 획득 모듈;
상기 목표 이미지 정보에 기반하여 상기 목표 대상에 대해 상호작용적 재구성을 진행하기 위한 재구성 모듈;을 포함한다.
제3 측면에서, 본 발명의 실시예는 컴퓨터 기기를 제공하고, 상기 컴퓨터 기기는 메모리, 프로세서 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하며, 상기 프로세서가 상기 컴퓨터 프로그램을 실행하면 상기 목표 대상의 상호작용적 재구성을 위한 제어 방법의 단계들이 실현된다.
제4 측면에서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 판독 가능 저장 매체에 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되면 상기 목표 대상의 상호작용적 재구성을 위한 제어 방법의 단계들이 실현된다.
종래 기술에 비해, 본 발명은 주로 아래와 같은 기술 효과를 가진다.
(1) 사용자가 상호작용의 필요에 따라 입력한 복수의 제어 파라미터의 임의의 조합을 획득하는 것을 통해, 목표 대상의 여러 방향, 임의의 시야각에서, 프리셋된 3차원 재구성 방법을 기반으로 획득한 고정밀도 목표 이미지 정보의 임의의 시점 또는 특정 시간 내의 움직임 및 재구성을 제어할 수 있으므로, 사용자가 상호작용의 필요에 따라 임의의 시야각에서 정적 또는 동적으로 전방위, 고정밀도로 목표 대상을 관찰 및 상호작용적으로 제어하기 용이하게 하여, 사용자가 목표 대상을 제어하는 경험을 개선한다.
(2) 동일한 시야각에서 수집 장치와 목표 대상 사이의 수집 거리를 획득한 후, 수집 거리를 프리셋 수량에 따라 분할하고, 대응되는 컷팅 이미지 정보를 획득하여, 복수의 컷팅 이미지를 융합시키는 것을 통해, 획득한 이미지 정보가 더욱 선명하게 하고, 목표 대상의 질감, 무늬, 크기 등 정보를 더 잘 보존하여, 이미지의 정밀도를 향상시키며, 또한 갖고 있는 노이즈 정보가 적어, 목표 대상의 재구성을 상호작용적으로 제어할 때 더욱 순조롭고, 빠르며, 사용자의 경험을 추가로 개선한다.
본 발명의 실시예의 기술 방안을 더욱 명백하게 설명하기 위해, 이하, 본 발명의 실시예 또는 종래 기술의 설명에서 사용할 첨부 도면에 대해 간략하게 소개하며, 이하 설명되는 첨부 도면은 본 발명의 일부 실시예이며, 당업자라면 창조적인 노동 없이 이들 도면에 따라 다른 도면을 얻을 수 있음은 자명하다.
도 1은 본 발명이 적용될 수 있는 예시적 시스템 구조도이다.
도 2는 본 발명의 목표 대상의 상호작용적 재구성을 위한 제어 방법의 일 실시예의 흐름도이다.
도 3은 본 발명의 U-V-W 좌표계의 일 구현예의 구조 개략도이다.
도 4는 본 발명의 U-V-W-P 좌표계의 일 구현예의 구조 개략도이다.
도 5는 본 발명의 목표 대상의 상호작용적 재구성을 위한 제어 장치의 일 실시예의 구조 개략도이다.
도 6은 본 발명의 컴퓨터 기기의 구조 개략도이다.
이하의 설명은 본 발명의 서로 다른 특징을 구현하기 위한 다양한 실시예, 또는 예시를 제공한다. 이하 특정 예에서 설명되는 소자 및 배열 방식은 본 발명을 간단히 표현하기 위한 것으로, 단지 예시일 뿐, 본 발명을 제한하는 것은 아니다.
당업자가 본 출원의 방안을 더 잘 이해하도록, 이하, 도면을 결합하여, 본 출원의 실시예의 기술 방안을 명확하고 완전하게 설명한다.
도 1에 도시한 바와 같이, 도 1은 본 발명이 적용될 수 있는 예시적 시스템 구조도이며, 시스템 구조(100)는 단말 기기, 네트워크(104) 및 서버(105)를 포함할 수 있고, 단말 기기는 휴대폰 단말(101), 태블릿 단말(102), 컴퓨터 단말(103)을 포함할 수 있다. 네트워크(104)는 단말 기기와 서버(105) 사이에서 통신 연결을 제공하기 위한 매체이다. 네트워크(104)는 유선, 무선 통신 연결 또는 광섬유 케이블 등과 같은 다양한 연결 유형을 포함할 수 있다.
사용자는 휴대폰 단말(101), 태블릿 단말(102), 컴퓨터 단말(103) 등의 단말 기기를 사용하여 네트워크(104)를 통해 서버(105)와 상호작용함으로써, 메시지 등을 수신 또는 송신할 수 있다. 단말 기기에는 웹 브라우저, 인스턴스 메신저 툴, 클라이언트APP, 명령어-라인 툴 등과 같은 다양한 통신 클라이언트 어플리케이션이 설치될 수 있거나, 또는 본 발명의 목표 대상의 상호작용적 재구성을 위한 제어 방법을 직접 실행할 수 있으며, 목표 대상의 상호작용적 재구성의 제어는 단말 기기에서 로컬 오프라인으로 수행된다.
단말 기기는 디스플레이 화면을 구비하고 웹 브라우징, APP를 지원하는 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿 컴퓨터, 전자책 리더기, 휴대용 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나, 이에 한정되지 않는다.
서버(105)는 단말 기기에 표시되는 페이지 또는 APP를 지원하는 백그라운드 서버와 같은 다양한 서비스를 제공하는 서버일 수 있다.
설명해야 할 점은, 본 출원의 실시예에서 제공하는 목표 대상의 상호작용적 재구성을 위한 제어 방법은 서버에 의해 실행될 수도 있고, 단말 기기를 통해 로컬 오프라인으로 수행될 수도 있으며, 상응하게, 목표 대상의 상호작용적 재구성을 위한 제어 장치는 서버에 설치될 수도 있고, 단말 기기에 설치될 수도 있다.
이해해야 할 점은, 도 1에서의 단말 기기, 네트워크 및 서버의 수는 예시적인 것일 뿐이다. 실제 필요에 따라, 임의의 수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.
도 2에 도시한 바와 같이, 도 2는 본 발명의 목표 대상의 상호작용적 재구성을 위한 제어 방법의 일 실시예의 흐름도이고, 상기 목표 대상의 상호작용적 재구성을 위한 제어 방법은,
목표 대상의 제어 명령을 획득하되, 상기 제어 명령은 복수의 방향 제어 파라미터를 포함하는 단계(S1);
상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계(S2);
상기 방향 제어 파라미터 및 상기 목표 이미지 정보를 기반으로 상기 목표 대상에 대해 상호작용적 재구성을 진행하는 단계(S3);를 포함한다.
본 발명의 실시예에서, 사용자는 도 1에 도시된 시스템 구조(100) 중의 단말 기기를 통해 상기 목표 대상의 제어 명령을 입력한 후, 단말 기기에서 본 발명의 방법을 로컬로 실행하거나, 또는 서버(105)를 통해 본 발명의 방법을 실행하고, 네트워크(104)를 통해 단말 기기에서 발송한 상기 목표 대상의 제어 명령을 수신할 수 있다. 상기 목표 대상의 제어 명령은 다양한 형태를 포함하며, 예를 들면 특정 형식의 파일(예를 들면 XML, JSON, HTML 등)일 수도 있고, 단말 명령 라인에 의해 입력된 문자열 명령일 수도 있고, 또한 GUI(그래픽 사용자 인터페이스)를 통해 획득한 사용자의 클릭, 드래그, 슬라이딩 등과 같은 조작 명령일 수도 있으며, 구체적인 목표 대상의 제어 명령의 형태 및 내용은 후속적으로 규칙에 따라 상응한 해석을 진행하여, 정확한 제어 명령 내용을 얻도록, 사용자의 상호작용 필요에 따라 프리셋된 규칙일 수 있다. 상기 목표 대상의 제어 명령은 복수의 방향 제어 파라미터를 포함하고, 상기 방향 제어 파라미터 및 그 조합을 통해 목표 대상의 목표 이미지 정보를 획득하고, 획득한 목표 이미지 정보를 기반으로 상기 목표 대상의 상응한 방향에서의 움직임 및 재구성을 제어한다.
추가적으로, 상기 복수의 방향 제어 파라미터는 제1 방향 제어 파라미터, 제2 방향 제어 파라미터 및 시간 제어 파라미터를 포함한다. 상기 제1 방향 제어 파라미터는 목표 대상의 제1 방향에 따른 움직임을 제어하여 제1 방향의 목표 대상의 목표 이미지 정보를 구현하기 위한 것이고, 상기 제2 방향 제어 파라미터는 목표 대상의 제2 방향에 따른 움직임을 제어하여 제2 방향의 목표 대상의 목표 이미지 정보를 구현하기 위한 것이며, 여기서 제1 방향 및 제2 방향은 임의의 방향일 수도 있고, 목표 대상의 3차원 공간 직각 좌표계에서의 임의의 2개의 직교하는 방향일 수 있으며, 예를 들면 XYZ 좌표계에서의 X방향 및 Y방향, X방향 및 Z방향 등일 수도 있고, UCW 좌표계에서의 U방향 및 V방향일 수도 있다. 이해를 돕기 위해, 본 발명의 실시예에서는 UVW 좌표계를 사용하여 상기 방향 제어 파라미터를 나타내고, W방향으로 시간 제어 파라미터를 나타내며, 시간 제어 파라미터는 목표 대상의 임의의 시점 또는 특정 시간 내의 상기 제1 방향 및/또는 제2 방향에서의 움직임 및 재구성을 제어하기 위한 것이다. 상기 복수의 제어 파라미터는 각각 사용할 수 있고, 예를 들면 U방향의 제어 파라미터를 단독으로 사용하여 U방향에서의 목표 이미지 정보를 획득하여, 획득한 U방향에서의 목표 이미지 정보를 기반으로 목표 대상의 U방향에 따른 움직임 및 재구성을 제어할 수도 있고, 조합하여 사용할 수도 있으며, U방향 및 V방향의 제어 파라미터의 조합을 사용하여 대응되는 목표 이미지 정보를 획득하고 동시에 획득한 목표 이미지 정보를 기반으로 목표 대상의 U방향 및/또는 V방향에 따른 움직임 및 재구성을 제어할 수 있고, U방향 제어 파라미터 또는 V방향 제어 파라미터 및 시간 제어 파라미터의 조합을 사용하여 목표 대상의 특정 시점의 U방향 또는 V방향에서의 획득한 목표 이미지 정보에 기반한 정적 재구성, 또는 특정 시간 내의 U방향 또는 V방향에서의 획득한 목표 이미지에 기반한 동적 재구성을 제어하여, 사용자가 필요에 따라 목표 대상 및 목표 대상의 변화 상황을 여러 방향에서 정적 또는 동적으로 관찰하기 용이하게 한다.
더 추가적으로, 상기 제어 명령은 시야각 제어 파라미터를 더 포함하고, 시야각 제어 파라미터는 목표 대상의 임의의 재구성 시야각을 제어하기 위한 것이다. 상기 시야각 제어 파라미터는 상기 제1 방향 제어 파라미터, 제2 방향 제어 파라미터 및 시간 제어 파라미터와 임의로 조합하여, 목표 대상의 임의 시야각에서, 획득한 목표 이미지 정보에 기반한 임의의 시점 또는 특정 시간 내의 상기 제1 방향 및/또는 제2 방향에서의 움직임 및 재구성을 제어할 수 있어, 사용자가 필요에 따라 임의의 시야각에서 정적 또는 동적으로 목표 대상 및 목표 대상의 변화 상황을 전방위로 관찰하기 더욱 용이하게 하여, 사용자가 목표 대상을 상호작용적으로 제어하는 경험을 개선한다.
설명해야 할 점은, 상기 목표 이미지 정보는 제1 이미지 정보를 포함하고, 제1 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계는,
목표 대상의 여러 시야각에서의 시야각 경계를 계산하는 단계;
상기 시야각 경계 내, 목표 대상의 여러 시야각에서의 이미지 정보를 획득하는 단계;
이미지 정보에 대해 경계 처리를 진행하여, 상기 목표 대상의 여러 시야각의 제1 이미지 정보를 획득하는 단계;를 포함한다.
본 발명의 실시예에서, 수집 장치를 사용하여 목표 대상의 이미지 정보를 수집하기 전에, 목표 대상을 수집할 때 필요 없는 간섭 정보의 영향을 줄이기 위해, 목표 대상의 서로 다른 시야각에서의 시야각 경계를 계산해야 한다. 예를 들면, 목표 대상의 수집해야 할 시야각은, 시야각 1, 시야각 2, 시야각 3, 시야각 4, ……, 시야각 N을 포함하고, 목표 대상의 시야각 1에서의 이미지 정보를 수집해야 할 경우, 먼저 목표 대상의 시야각 1에서의 표시 이미지를 획득하고, 이후 목표 대상의 시야각 1에서의 표시 이미지 중 목표 대상의 중심 위치를 계산하고, 이어서 중심 위치를 원심으로 하여, 대응되는 최대 경계 반경을 계산하고, 최대 경계 반경으로 형성된 원(또는 구)의 가장자리를 상기 시야각 경계로 하고, 이렇게 형성된 시야각 경계를 통해 목표 대상의 전체를 대응되는 시야각 경계 내에 수용한다. 이해를 돕기 위해, 목표 대상의 시야각 1에서의 표시 이미지를 장방형이라고 가정한 후, 장방형의 중심 위치를 계산하고, 중심 위치를 원심으로 하여, 원심을 기반으로 하는 최대 경계 반경(외접 반경), 즉 장방형의 외접원을 계산하고, 외접원의 가장자리를 시야각 경계로 하여, 장방형 전체가 외접원 내에 포함되도록 한다. 목표 대상의 시야각 2에서 표시되는 이미지를 삼각형이라고 가정한 후, 삼각형의 중심 위치를 계산하고, 중심 위치를 원심으로 하여, 원심을 기반으로 하는 최대 경계 반경(외접 반경), 즉 삼각형의 외접원을 계산하고, 외접원의 가장자리를 시야각 경계로 하여, 삼각형 전체가 외접원 내에 포함되도록 한다. 추가로, 목표 대상의 각 시야각에서의 최대 경계 반경을 비교하여, 그중 최대 경계 반경이 가장 긴 것을 목표 최대 경계 반경으로 선택하고 이로 형성된 구형 시야각 경계로 목표 대상을 완전히 감싸며, 이를 기초로 각 시야각에서의 목표 대상의 이미지 정보를 획득한다. 물론, 최대 경계 반경 중 임의의 2개 이상의 시야각의 최대 경계 반경을 병합하여 형성된 타원(또는 타원구)의 가장자리를 시야각 경계로 하여, 이 시야각 경계 내에서 목표 대상의 각 시야각에서의 이미지 정보를 획득할 수도 있다. 마지막으로 획득한 시야각 경계 내 목표 대상의 여러 시야각에서의 이미지 정보에 대해 경계 처리(예를 들면 이미지 컷팅 등)를 진행하여, 상기 목표대상의 대응 시야각에서의 제1 이미지 정보를 획득한다.
설명해야 할 점은, 본 발명의 실시예에서 이미지 정보에 대해 이미지 컷팅을 진행하는 단계는 구체적으로 다음과 같은 단계를 포함한다: 먼저 획득한 이미지 정보 내의 목표 영역을 계산하고, 목표 영역은 목표 대상의 경계로 형성된 영역이며, 구체적으로 종래의 딥러닝에 기반한 이미지 분할 등 방법을 이용하여 목표 영역을 계산할 수 있으며, 여기서는 구체적으로 설명하지 않는다. 이후, 목표 대상을 포함하지 않는 영역을 컷팅하여, 목표 대상만 포함하는 목표 영역 내의 이미지 정보를 획득하고, 이어서 동일 시야각에서 각각 획득한 이미지 정보 내의 목표 대상을 포함하지 않는 영역을 컷팅하여, 목표 대상만 포함된 이미지 정보를 획득한다. 상기 단계에 따라 여러 시야각에서의 목표 대상만 포함하는 제1 이미지 정보를 획득할 수 있어, 제1 이미지 정보에 포함된 경계 노이즈 정보량을 크게 줄임으로써, 목표 대상 재구성의 정보량을 대폭 감소시켜, 재구성의 이미지 로딩 시간을 절약하여, 목표 대상의 재구성을 제어하는 효율을 향상시킴으로써, 사용자의 경험을 추가로 개선한다. 물론, 상기 이미지 컷팅 단계는 또한 획득한 제1 이미지 정보를 복수의 서브 이미지 정보로 분할하고, 목표 대상의 재구성을 제어할 때, 필요에 따라 서브 이미지를 조합하여, 대응되는 제1 이미지 정보로 복원하는 것을 추가로 포함한다.
목표 대상의 서로 다른 시야각에서의 표시되는 이미지 형상은 모두 동일할 수도 있고, 일부 동일할 수도 있으며, 모두 상이할 수도 있고, 여기서 서로 다른 시야각은 사용자의 목표 대상의 서로 다른 재구성에 대한 필요에 따라 설정할 수 있다.
본 발명의 실시예에서의 수집 장치는 카메라, 웹캠 등 실체일 수도 있고, 가상 카메라(가상 카메라는 가상 목표 대상의 이미지 정보를 수집할 수 있음) 등일 수도 있으며, 목표 대상의 이미지를 수집할 수만 있으면, 여기서는 구체적으로 제한하지 않는다.
본 발명의 실시예에서 목표 대상의 이미지 정보를 획득하기 전에, 먼저 목표 대상의 대응 시야각에서의 표시 이미지의 최대 경계 반경을 계산하여, 최대 경계 반경으로 형성된 가장자리를 시야각 경계로 함으로써, 목표 대상의 대응 시야각에서의 표시 이미지를 시야각 경계 내에 수용하여, 목표 대상에 대한 제1 이미지 정보의 수집 과정에서, 목표 대상의 대응 시야각에서의 시야각 경계의 필요 없는 이미지 정보를 제거하도록 함으로써, 필요한 정보만 획득하여, 후속 3차원 재구성에 대한 기타 정보의 영향을 피하도록 하고, 저장해야 할 이미지의 정보량도 줄인다.
더 추가적으로, 상기 목표 이미지 정보는 제2 이미지 정보를 더 포함하고, 제2 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계는,
프리셋 수집 규칙에 따라 여러 시야각에서의 이미지 정보를 획득하도록 수집 장치를 제어하는 단계;
동일 시야각에서의 이미지 정보를 컷팅 및 융합하여, 융합 이미지 정보를 얻는 단계;
여러 시야각에서의 융합 이미지 정보를 획득하여, 상기 목표 대상의 제2 이미지 정보를 형성하는 단계;를 포함한다.
본 발명의 실시예에서, 목표 대상의 서로 다른 시야각에서의 표시 이미지 중의 시야각 경계를 계산한 후, 수집 장치를 사용하여 프리셋된 수집 규칙에 따라 목표 대상의 대응 시야각에서의 시야각 경계 내의 이미지 정보를 획득하고, 구체적인 방법은 다음과 같다: 먼저, 각 시야각에서 목표 대상과 수집 장치 사이의 수집 거리를 획득한 후, 프리셋 수량을 설정하고, 상기 프리셋 수량은 수집 거리를 분할해야 할 수량을 의미하고, 대응 시야각에서의 각 분할점에서 대응되는 이미지 정보를 획득하고, 및/또는 상기 이미지 컷팅 단계에서 컷팅하여 컷팅 이미지 정보를 얻으며, 마지막으로, 동일 시야각에서 각 분할점에 따른 컷팅 이미지 정보를 획득하면, 모든 컷팅 이미지 정보를 융합 규칙에 따라 융합하여, 동일 시야각에서의 융합 이미지 정보를 획득한다. 예를 들면, 시야각 1, 시야각 2, 시야각 3, 시야각 4, ……, 시야각 N이 있다고 가정하고, 먼저 대상 물체가 시야각 1에 있을 때, 수집 장치와 상기 시야각에서의 목표 대상의 수집 거리를 획득한 후, 컷팅해야 할 프리셋 수량을 설정하고, 예를 들어 프리셋 수량은 3이며, 또한 각 컷팅 거리 또는 컷팅 지점에서의 컷팅 이미지 정보를 수집하고, 즉 컷팅 거리1에 위치한 컷팅 이미지 정보1, 컷팅 거리2에 위치한 컷팅 이미지 정보2, 컷팅 거리3에 위치한 컷팅 이미지 정보3을 수집하며, 컷팅 이미지1, 컷팅 이미지 정보2, 컷팅 이미지 정보3을 컷팅 거리 또는 수집 장치의 깊이 등 기타 규칙에 따라 융합하여, 목표 대상의 시야각 1에서의 융합 이미지 정보를 형성한다.
설명해야 할 점은, 서로 다른 시야각에서의 목표 대상과 수집 장치 사이의 수집 거리는 동일할 수 있고, 일부 동일할 수 있고, 모두 상이할 수 있으며; 서로 다른 시야각에서의 목표 대상과 수집 장치 사이의 수집 거리를 분할해야 할 프리셋 수량은 동일할 수도 있고, 일부 동일할 수도 있고, 모두 상이할 수도 있으며; 서로 다른 시야각에서의 목표 대상과 수집 장치 사이의 수집 거리의 분할 방식은 제한되지 않으며, 균일하게 분할할 수도 있고, 목표 대상의 이미지 정보가 많은 부분에서 조밀하게 분할할 수도 있고, 이미지 정보가 적은 부분에서 희소하게 분할할 수도 있다.
목표 대상의 이미지 정보를 획득할 때, 규칙적인 수집 방식을 이용할 수도 있고, 불규칙적인 수집 방식을 이용할 수도 있으며; 동일한 시점에서 목표 대상의 서로 다른 시야각에서의 이미지 정보를 수집할 수도 있고, 특정 시간 내에 목표 대상의 동일 시야각 및/또는 서로 다른 시야각에서의 이미지 정보를 수집할 수도 있다.
동일 시야각에서의 수집 장치와 목표 대상 사이의 수집 거리를 획득한 후, 수집 거리를 프리셋 수량에 따라 분할하여, 대응되는 컷팅 이미지 정보를 획득하고, 복수의 컷팅 이미지를 융합시키는 것을 통해, 획득한 제2 이미지 정보가 더욱 선명하게 하고, 목표 대상의 질감, 무늬, 크기 등 정보를 더 잘 보존하여, 이미지의 정밀도를 향상시키며, 또한 갖고 있는 노이즈 정보가 적어, 목표 대상의 재구성을 상호작용적으로 제어할 때 더욱 순조롭고, 빠르며, 사용자의 경험을 추가로 개선한다.
더 추가적으로, 목표 대상의 제1 목표 이미지 정보 및/또는 제2 목표 이미지 정보를 획득한 후, 제1 이미지 정보 및/또는 제2 이미지 정보에 대해 속성 번호를 구축하고, 속성 번호에 따라 이미지 정보를 프리셋 위치에 저장한다. 속성 번호는 상기 이미지 정보를 수집할 때의 시야각 정보, 방향 정보(예를 들면 상기 U방향, V방향, 상기 시야각 경계로 형성된 외접구의 경도, 위도로 이해할 수 있음) 및 시간 정보 등에 따라 구축할 수 있고, 형식은 P-U-V-W와 같이 설정할 수도 있고, 네스티드(nested) 형식P(W(U(V))일 수도 있으며, 예를 들면, 시야각1에서 수집한 이미지 정보의 속성 번호는 1-30-45-5, 0001, a&b&c*d 등으로 번호를 매길 수 있고, 속성 번호의 구체적인 구축 규칙은 제한되지 않으며, 현재 시점의 현재 시야각 및/또는 방향의 이미지 정보를 나타낼 수만 있으면 된다. 이후 구축된 속성 번호에 따라 획득한 제1 목표 이미지 정보 및/또는 제2 목표 이미지 정보를 데이터 베이스 또는 메모리와 같은 프리셋된 위치에 저장하고, 예를 들면 속성 번호에 따라 대응되는 데이터를 쉽게 찾도록, 속성 번호를 인덱스로 하고, 이미지 정보를 내용으로 하여 관계형 데이터 베이스(예를 들면 MYSQL)의 테이블에 저장하거나, 속성 번호를 키로 하고, 이미지 정보를 값으로 하는 키-값 쌍을 메모리(예를 들면 비관계형 데이터 베이스 Redis)에 함께 기록할 수 있다. 네스티드(nested) 형식의 속성 번호P(W(U(V)))에 대응하여, 네스티드 폴더 형태로 대응되는 이미지 정보를 파일 시스템(예를 들면 하드디스크, 자기 디스크 등)에 저장할 수도 있고, 예를 들면 폴더 경로가 P1/W1/U1/V1, P1/W2/U1/V2인 것은 P1 시야각에서 W1, W2 시간의 서로 다른 방향(또는 동일 방향)의 이미지 정보를 각각 저장할 수 있다.
추가적으로, 상기 복수의 방향 제어 파라미터의 조합에 따라, 목표 대상의 목표 이미지 정보를 획득하고, 이후 방향 제어 파라미터 및 목표 이미지 정보에 기반하여 목표 대상에 대해 3차원 재구성을 진행할 수 있고, 구체적으로,
제1 방향 제어 파라미터 및/또는 제2 방향 제어 파라미터 및/또는 시야각 제어 파라미터 및 시간 제어 파라미터를 기반으로 속성 번호를 획득하는 단계;
속성 번호에 따라 프리셋 위치로부터 목표 대상에 대응되는 목표 이미지 정보를 얻는 단계;
제1 방향 제어 파라미터, 제2 방향 제어 파라미터, 시야각 제어 파라미터 및/또는 시간 제어 파라미터를 기반으로 좌표계를 구축하는 단계;
상기 좌표계에서, 상기 목표 이미지 정보를 사용하여 목표 대상에 대해 3차원 재구성을 진행하는 단계;를 포함한다.
본 발명의 실시예에서, 사용자가 상호작용의 필요에 따라 입력한 제어 명령 중의 제1 방향 제어 파라미터(U 또는 V) 및/또는 제2 방향 제어 파라미터(U 또는 V) 및/또는 시야각 제어 파라미터(P로 나타낼 수 있음) 및 시간 제어 파라미터(W)에 따라 구체적인 P-U-V-W 속성 번호를 구성한 다음, 상기 속성 번호에 따라 프리셋된 위치로부터 대응되는 목표 이미지 정보를 획득하고, 일반적으로는 목표 대상의 질량 중심(기타 위치, 예를 들면 상부 표면 또는 하부 표면 등일 수도 있음)을 좌표 원점으로 하여, 도 3에 도시된 바와 같은 U-V-W 좌표계를 구축한 후, U-V-W의 속성 번호에 따라 획득한 대응되는 목표 이미지 정보를 상기 좌표계에 로딩하여 목표 대상의 정적 또는 동적 재구성을 진행함으로써, 사용자가 필요에 따라 여러 방향에서 정적 또는 동적으로 목표 대상 및 목표 대상의 변화 상황을 관찰하기 용이하게 한다.
언급해야 할 점은, 목표 대상의 임의의 시야각(P)을 좌표 원점으로 하여, 도 4에 도시된 바와 같은 U-V-W-P의 좌표계를 구축할 수도 있으며, 여기서 시야각(P)은 목표 대상의 표면에 위치할 수도 있고, 목표 대상의 표면에 위치하지 않을 수도 있으며, 예를 들어 상기 시야각 경계의 외접구 상의 점일 수 있다. 이후, U-V-W-P의 속성 번호에 따라 획득한 대응되는 이미지 정보를 상기 좌표계에 로딩하여 목표 대상의 정적 또는 동적 재구성을 진행한다. 시야각 제어 파라미터(P) 및 상기 제1 방향 제어 파라미터(U), 제2 방향 제어 파라미터(V) 및 시간 제어 파라미터(W)의 임의의 조합을 통해, 목표 대상의 임의의 시야각에서, 획득한 고정밀도의 상기 목표 이미지 정보에 기반한 임의의 시점 또는 특정 시간 내의 상기 제1 방향 및/또는 제2 방향(U 및/또는 V)의 움직임 및 재구성을 제어할 수 있으므로, 사용자가 필요에 따라 임의의 시야각에서 정적 또는 동적으로 전방위, 고정밀도로 목표 대상을 관찰 및 상호작용적으로 제어하기 용이하게 하여, 사용자가 목표 대상을 제어하는 경험을 개선한다.
해당 분야의 일반적인 기술자는 상기 실시예 방법 중의 전체 또는 일부 과정은 컴퓨터 프로그램을 통해 관련 하드웨어에 명령하여 실현할 수 있고, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램을 실행할 때, 상기 각 방법의 실시예의 과정을 포함할 수 있음을 이해할 수 있다. 상기 저장 매체는 자기 디스크, 광 디스크, ROM(Read-Only Memory) 등 비휘발성 저장 매체 또는 RAM(Random Access Memory) 등일 수 있다.
첨부 도면의 흐름도의 각 단계는 화살표에 따라 순차적으로 나타냈으나, 이러한 단계는 반드시 화살표로 표시된 순서에 따라 순차적으로 실행되는 것은 아님을 이해해야 한다. 본 명세서에 명확한 설명이 없는 한, 이러한 단계의 실행은 엄격한 순서 제한이 없고, 다른 순서로 실행될 수 있다. 또한, 첨부 도면의 흐름도의 적어도 일부 단계는 복수의 서브 단계 또는 복수의 절차를 포함할 수 있고, 이러한 서브 단계 또는 절차는 반드시 동일한 시점에서 실행되는 것이 아니며, 상이한 시점에서 실행될 수 있고, 그 실행 순서도 반드시 순차적으로 실행되는 것은 아니며, 기타 단계 또는 기타 단계의 서브 단계 또는 절차의 적어도 일부와 교대로 실행될 수 있다.
추가적으로 도 5를 참고하면, 상기 도 2에 도시된 방법에 대한 구현으로서, 본 출원은 목표 대상의 상호작용적 재구성을 위한 제어 장치의 일 실시예를 제공하고, 상기 장치 실시예는 도 2에 도시된 방법 실시예에 대응되고, 상기 목표 대상의 상호작용적 재구성을 위한 제어 장치는 구체적으로 다양한 전자 기기에 적용될 수 있다.
도 5에 도시한 바와 같이, 본 실시예에 따른 상기 목표 대상의 상호작용적 재구성을 위한 제어 장치(500)는,
목표 대상의 복수의 방향 제어 파라미터를 포함하는 제어 명령을 획득하기 위한 제1 획득 모듈(501);
상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하기 위한, 제2 획득 모듈(502);
상기 목표 이미지 정보에 기반하여 상기 목표 대상에 대해 상호작용적 재구성을 진행하기 위한 재구성 모듈(503);을 포함한다.
본 발명의 실시예에서 제공하는 목표 대상의 상호작용적 재구성을 위한 제어 장치는 도 2의 목표 대상의 상호작용적 재구성을 위한 제어 방법의 실시예의 각 실시 방식 및 상응한 유익한 효과를 실현할 수 있고, 내용이 중복되지 않도록, 상세한 설명은 생략한다.
상기 기술 문제를 해결하기 위해, 본 발명의 실시예는 컴퓨터 기기를 추가로 제공한다. 구체적으로 도 6을 참고하면, 도 6은 본 발명의 실시예의 컴퓨터 기기의 기본 구조 개략도이다.
상기 컴퓨터 기기(6)는 시스템 버스를 통해서 서로 통신 연결된 메모리(61), 프로세서(62), 네트워크 인터페이스(63)를 포함한다. 언급해야 할 점은, 도면에는 구성 요소(61)-(63)를 구비한 컴퓨터 기기(6)만 도시하였으나, 이해해야 할 점은, 모든 도시된 구성 요소를 실시해야 하는 것은 아니며, 더 많거나 더 적은 구성 요소를 대체하여 실시할 수 있다. 당업자라면 여기서의 컴퓨터 기기는 미리 설정되거나 저장된 명령에 따라 수치 계산 및/또는 정보 처리를 자동으로 진행할 수 있는 장치이며, 그 하드웨어는 마이크로 프로세서, ASIC(ApplicationSpecific Integrated Circuit), FPGA(Field－Programmable GateArray), DSP(Digital Signal Processor), 내장형 기기 등을 포함할 수 있으나, 이에 한정되지 않음을 이해할 수 있다.
상기 컴퓨터 기기는 데스크탑 컴퓨터, 노트북, PDA 및 클라우드 서버와 같은 컴퓨터 기기일 수 있다. 상기 컴퓨터 기기는 키보드, 마우스, 리모컨, 터치 패드 또는 음성 제어 장치 등 방식을 통해 사용자와 인간-컴퓨터 상호작용을 수행할 수 있다.
상기 메모리(61)는 적어도 한 가지 유형의 판독 가능 저장 매체를 포함할 수 있고, 상기 판독 가능 저장 매체는 플래시 메모리, 하드 디스크, 멀티미디어 카드, 카드형 메모리(예를 들면, SD 또는 DX 메모리 등), RAM(Random Access Memory), SRAM(Static RAM), ROM(Read-Only Memory), EEPROM(Electrically EPROM), PROM(Programmable ROM), 자기성 메모리, 자기 디스크, 광 디스크 등을 포함한다. 일부 실시예에서, 상기 메모리(61)는 상기 컴퓨터 기기(6)의 하드 디스크 또는 플래쉬 메모리와 같은 상기 컴퓨터 기기(6)의 내부 저장 유닛일 수 있다. 다른 일부 실시예에서, 상기 메모리(61)는 예를 들면 상기 컴퓨터 기기(6)에 장착된 플러그인 하드 디스크, SMC(Smart Media Card), SD(Secure Digital) 카드, 플래쉬 카드(Flash Card) 등과 같은 상기 컴퓨터 기기(6)의 외부 저장 장치일 수도 있다. 물론, 상기 메모리(61)는 상기 컴퓨터 기기(6)의 내부 저장 유닛을 포함할 수도 있고, 기타 외부 저장 장치를 포함할 수도 있다. 본 실시예에서, 상기 메모리(61)는 일반적으로 목표 대상의 상호작용적 재구성을 위한 제어 방법의 프로그램 코드 등과 같은 상기 컴퓨터 기기(6)에 설치된 운영 시스템 및 다양한 응용 소프트웨어를 저장하기 위한 것이다. 또한, 상기 메모리(61)는 이미 출력되거나 출력할 다양한 데이터를 임시적으로 저장하기 위해 사용될 수도 있다.
상기 프로세서(62)는 일부 실시예에서 CPU, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 데이터 처리 칩일 수 있다. 상기 프로세서(62)는 일반적으로 상기 컴퓨터 기기(6)의 전반적인 동작을 제어하기 위한 것이다. 본 실시예에서, 상기 프로세서(62)는 상기 메모리(61)에 저장된 프로그램 코드를 실행하거나 또는 데이터를 처리하기 위한 것으로, 예를 들면 상기 목표 대상의 상호작용적 재구성을 위한 제어 방법의 프로그램 코드를 실행한다.
상기 네트워크 인터페이스(63)는 무선 네트워크 인터페이스 또는 유선 네트워크 인터페이스를 포함할 수 있고, 상기 네트워크 인터페이스(63)는 일반적으로 상기 컴퓨터 기기(6)와 기타 전자 기기 사이에서 통신 연결을 구축하기 위한 것이다.
본 출원은 또한 다른 실시 방식을 제공한다. 즉 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 목표 대상의 상호작용적 재구성을 위한 제어 프로그램이 저장되어 있고, 상기 목표 대상의 상호작용적 재구성을 위한 제어 프로그램은 적어도 하나의 프로세서에 의해 실행될 수 있고, 상기 적어도 하나의 프로세서가 상술한 바와 같은 목표 대상의 상호작용적 재구성을 위한 제어 방법의 단계를 실행하도록 한다.
이상의 실시 방식에 대한 설명을 통해, 상술한 실시예에 따른 방법은 소프트웨어에 필요한 범용 하드웨어 플랫폼을 더한 방식으로 구현될 수 있고, 물론 하드웨어에 의해 구현될 수도 있지만, 대다수 경우 전자가 보다 바람직한 실시 형태임을 본 분야의 기술자들은 명백히 이해할 수 있다. 이러한 이해를 바탕으로, 본 출원의 기술 방안의 실질적인 부분 또는 종래기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 저장 매체(예컨대 ROM/RAM, 자기 디스크, 광 디스크)에 저장되고, 단말 기기(휴대폰, 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 출원의 각 실시예에 따른 방법을 수행할 수 있도록 하는 여러 가지 명령어를 포함한다.
상기 내용은 단지 본 발명의 바람직한 실시예일 뿐, 본 발명을 제한하는 것은 아니며, 본 발명의 정신 및 원칙 내에서 행한 모든 보정, 균등한 치환 및 변경 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.
101: 휴대폰 단말
102: 태블릿 단말
103: 컴퓨터 단말
104: 네트워크
105: 서버
501: 제1 획득 모듈
501: 제2 획득 모듈
503: 재구성 모듈
61: 메모리
62: 프로세서
63: 네트워크 인터페이스

Claims (8)

  1. 목표 대상의 제어 명령을 획득하되, 상기 제어 명령은 복수의 방향 제어 파라미터를 포함하는 단계(S1);
    상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 단계(S2);
    상기 방향 제어 파라미터 및 상기 목표 이미지 정보를 기반으로 상기 목표 대상에 대해 상호작용적 재구성을 진행하는 단계(S3);를 포함하는 목표 대상의 상호작용적 재구성을 위한 제어 방법에 있어서,
    상기 복수의 방향 제어 파라미터는 제1 방향 제어 파라미터, 제2 방향 제어 파라미터 및 시간 제어 파라미터를 포함하고,
    상기 제어 명령은 시야각 제어 파라미터를 더 포함하고,
    상기 목표 이미지 정보는 제1 이미지 정보를 포함하고, 프리셋된 3차원 재구성 방법을 통해 상기 제1 이미지 정보를 획득하는 단계는,
    목표 대상의 여러 시야각에서의 시야각 경계를 계산하는 단계;
    상기 시야각 경계 내, 목표 대상의 여러 시야각에서의 이미지 정보를 획득하되, 임의의 여러 시야각에서의 최대 경계 반경을 병합하여 형성된 타원 가장자리를 시야각 경계로 하고, 이 시야각 경계 내에서 목표 대상의 여러 시야각에서의 이미지 정보를 획득하는 단계;
    이미지 정보에 대해 경계 처리를 진행하여, 상기 목표 대상의 여러 시야각의 제1 이미지 정보를 획득하는 단계;를 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 방법.
  2. 제1항에 있어서,
    상기 목표 이미지 정보는 제2 이미지 정보를 더 포함하고, 프리셋된 3차원 재구성 방법을 통해 상기 제2 이미지 정보를 획득하는 단계는,
    프리셋 수집 규칙에 따라 여러 시야각에서의 이미지 정보를 획득하도록 수집 장치를 제어하는 단계;
    동일 시야각에서의 이미지 정보를 컷팅 및 융합하여, 융합 이미지 정보를 얻는 단계;
    여러 시야각에서의 융합 이미지 정보를 획득하여, 상기 목표 대상의 제2 이미지 정보를 형성하는 단계;를 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 방법.
  3. 제2항에 있어서,
    상기 제1 이미지 정보 및/또는 제2 이미지 정보에 대해 속성 번호를 구축하고, 상기 속성 번호에 따라 이미지 정보를 프리셋 위치에 저장하는 단계;를 더 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 방법.
  4. 제3항에 있어서,
    상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하는 단계는,
    상기 제1 방향 제어 파라미터 및/또는 상기 제2 방향 제어 파라미터 및/또는 시야각 제어 파라미터 및 상기 시간 제어 파라미터를 기반으로 속성 번호를 획득하는 단계;
    상기 속성 번호에 따라 프리셋 위치로부터 상기 목표 대상에 대응되는 목표 이미지 정보를 획득하는 단계;를 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 방법.
  5. 제4항에 있어서,
    상기 방향 제어 파라미터 및 상기 목표 이미지 정보를 기반으로 상기 목표 대상에 대해 상호작용적 재구성을 진행하는 단계는,
    상기 제1 방향 제어 파라미터, 상기 제2 방향 제어 파라미터, 상기 시야각 제어 파라미터 및/또는 상기 시간 제어 파라미터를 기반으로 좌표계를 구축하는 단계;
    상기 좌표계에서, 상기 목표 이미지 정보를 사용하여 목표 대상에 대해 상호작용적 재구성을 진행하는 단계;를 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 방법.
  6. 목표 대상의 복수의 방향 제어 파라미터 및 시야각 제어 파라미터를 포함하는 제어 명령을 획득하기 위한 제1 모듈;
    제1 방향 제어 파라미터, 제2 방향 제어 파라미터 및 시간 제어 파라미터를 포함하는 상기 복수의 방향 제어 파라미터의 조합에 따라, 상기 목표 대상의 목표 이미지 정보를 획득하되, 상기 목표 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하기 위한, 제2 획득 모듈;
    상기 목표 대상의 이미지 정보에 기반하여 상기 목표 대상에 대해 상호작용적 재구성을 진행하기 위한 재구성 모듈;을 포함하는 목표 대상의 상호작용적 재구성을 위한 제어 장치에 있어서,
    상기 목표 이미지 정보는 제1 이미지 정보를 포함하고, 제1 이미지 정보를 프리셋된 3차원 재구성 방법을 통해 획득하는 것은,
    상기 시야각 경계 내, 목표 대상의 여러 시야각에서의 이미지 정보를 획득하되, 임의의 여러 시야각에서의 최대 경계 반경을 병합하여 형성된 타원 가장자리를 시야각 경계로 하고, 이 시야각 경계 내에서 목표 대상의 여러 시야각에서의 이미지 정보를 획득하는 것; 이미지 정보에 대해 경계 처리를 진행하여, 상기 목표 대상의 여러 시야각의 제1 이미지 정보를 획득하는 것;을 포함하는, 목표 대상의 상호작용적 재구성을 위한 제어 장치.
  7. 메모리, 프로세서 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하며, 상기 프로세서가 상기 컴퓨터 프로그램을 실행하면 제1항 내지 제5항 중 어느 한 항에 따른 목표 대상의 상호작용적 재구성을 위한 제어 방법의 단계들이 실현되는, 컴퓨터 기기.
  8. 컴퓨터 프로그램이 저장되어 있고,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행되면 제1항 내지 제5항 중 어느 한 항에 따른 목표 대상의 상호작용적 재구성을 위한 제어 방법의 단계들이 실현되는, 컴퓨터 판독 가능 저장 매체.
KR1020230007538A 2022-05-24 2023-01-18 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체 KR20230163921A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210566832.4A CN114648615B (zh) 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质
CN202210566832.4 2022-05-24

Publications (1)

Publication Number Publication Date
KR20230163921A true KR20230163921A (ko) 2023-12-01

Family

ID=81997602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230007538A KR20230163921A (ko) 2022-05-24 2023-01-18 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체

Country Status (7)

Country Link
US (1) US20230386041A1 (ko)
EP (1) EP4283441A1 (ko)
JP (1) JP7337428B1 (ko)
KR (1) KR20230163921A (ko)
CN (1) CN114648615B (ko)
AU (1) AU2022368364A1 (ko)
WO (1) WO2023226371A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
CN117640967A (zh) * 2022-08-19 2024-03-01 北京字跳网络技术有限公司 图像显示方法、图像处理方法、装置、设备及介质
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、系统、设备和介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6290754B2 (ja) 2014-09-11 2018-03-07 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム
EP3220357A3 (de) * 2016-03-15 2018-01-10 Siemens Healthcare GmbH Modellhaftes erzeugen und darstellen von dreidimensionalen objekten
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US11200675B2 (en) 2017-02-20 2021-12-14 Sony Corporation Image processing apparatus and image processing method
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
CN110473285B (zh) * 2019-07-30 2024-03-01 上海联影智能医疗科技有限公司 图像重构方法、装置、计算机设备和存储介质
CN113269864A (zh) * 2020-02-14 2021-08-17 福州非圆网络科技有限公司 一种多视角三维重建装置及方法
CN111696193B (zh) * 2020-05-06 2023-08-25 广东康云科技有限公司 基于三维场景的物联网控制方法、系统、装置及存储介质
JP7458889B2 (ja) 2020-05-08 2024-04-01 キヤノン株式会社 画像表示装置、制御方法、およびプログラム
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、系统、相关设备和存储介质
CN111708366B (zh) * 2020-06-29 2023-06-06 山东浪潮科学研究院有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN112291550A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 自由视点图像生成方法、装置、系统及可读存储介质
CN114049674A (zh) * 2021-11-24 2022-02-15 华中科技大学鄂州工业技术研究院 一种三维人脸重建方法、装置及存储介质
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023226371A1 (zh) 2023-11-30
JP7337428B1 (ja) 2023-09-04
JP2023172893A (ja) 2023-12-06
EP4283441A1 (en) 2023-11-29
CN114648615A (zh) 2022-06-21
US20230386041A1 (en) 2023-11-30
CN114648615B (zh) 2022-07-29
AU2022368364A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
KR20230163921A (ko) 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체
CN110990516A (zh) 地图数据的处理方法、装置和服务器
CN113628331B (zh) 一种虚幻引擎中摄影测量模型的数据组织和调度方法
WO2014117559A1 (en) 3d-rendering method and device for logical window
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114663620A (zh) 一种北斗网格位置码的孪生空间定位管理方法
CN111026895B (zh) 一种数据可视化处理方法、装置及存储介质
CN117078888A (zh) 虚拟角色的服装生成方法、装置、介质及电子设备
CN107038176B (zh) 网络图页面渲染方法、装置及设备
CN114564268A (zh) 一种设备管理方法、装置、电子设备和存储介质
CN115619986A (zh) 场景漫游方法、装置、设备和介质
CN115544311A (zh) 数据分析方法以及装置
CN114327718A (zh) 界面展示方法及装置、设备和介质
CN114241092A (zh) 多图排版方法、多图排版装置及电子设备
CN112530026A (zh) 组件的关联方法及装置
CN114820575B (zh) 图像验证方法、装置、计算机设备及存储介质
CN116630552B (zh) 面向大规模的三维流程工厂模型的优化渲染方法
CN110889902B (zh) 一种三维建模的方法和装置
Pastor et al. An agent-based paradigm for the reconstruction of conical perspectives
CN114733192A (zh) 模型控制方法、装置、介质及设备
CN115049804A (zh) 虚拟场景的编辑方法、装置、设备及介质
CN115080779A (zh) 基于网页数字地球的矢量瓦片绘制方法、装置和设备
Stojanovic Semantic Enrichment of Indoor 3D Point Cloud Models
CN116597046A (zh) 设备连接关系的拓扑图绘制方法、装置及存储介质
DE112021003189T5 (de) Auf mobileinheit basierende vr-steuerung