KR102417084B1 - 멀티채널 미디어 송수신 방법 및 시스템 - Google Patents

멀티채널 미디어 송수신 방법 및 시스템 Download PDF

Info

Publication number
KR102417084B1
KR102417084B1 KR1020200167045A KR20200167045A KR102417084B1 KR 102417084 B1 KR102417084 B1 KR 102417084B1 KR 1020200167045 A KR1020200167045 A KR 1020200167045A KR 20200167045 A KR20200167045 A KR 20200167045A KR 102417084 B1 KR102417084 B1 KR 102417084B1
Authority
KR
South Korea
Prior art keywords
channel
information
tag information
image
tag
Prior art date
Application number
KR1020200167045A
Other languages
English (en)
Other versions
KR20220077781A (ko
Inventor
신재섭
류성걸
손세훈
박광우
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to KR1020200167045A priority Critical patent/KR102417084B1/ko
Priority to PCT/KR2021/014985 priority patent/WO2022119119A1/ko
Publication of KR20220077781A publication Critical patent/KR20220077781A/ko
Application granted granted Critical
Publication of KR102417084B1 publication Critical patent/KR102417084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

멀티채널 미디어 송수신 방법 및 시스템을 개시한다.
본 실시예는 복수의 카메라를 이용하여 하나의 제품을 다양한 각도로 촬영한 영상을 멀티채널로 입력받아 하나의 화면상에 기 설정된 멀티뷰 템플릿으로 실시간 출력되도록 하면서, 출력되는 서비스 채널 스트림 상에 부채널에 채널 태그를 부여하고, 타임라인에 따라 타임라인 태그를 부여하도록 하여 스트리밍 되도록 하여 멀티뷰 온라인 방송이 서비스되도록 하는 멀티채널 미디어 송수신 방법 및 시스템을 제공한다.

Description

멀티채널 미디어 송수신 방법 및 시스템{Method And System for Transmitting and Receiving Multi-Channel Media}
본 발명의 일 실시예는 멀티채널 미디어 송수신 방법 및 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
종래의 네트워크 카메라를 이용한 모바일 서비스는 한 번에 하나의 카메라에서 촬영한 영상만을 화면상에 출력할 수 있었다. 다시 말해, 멀티채널로 촬영한 영상을 동시에 하나의 화면상에 동시에 출력할 수 없었다.
단일 채널을 이용한 카메라 영상 전송 방식은 사용자가 유무선 환경에서 네트워크 카메라를 이용할 수 있는 용도가 제한되어 서비스 영역 확대에 어려움이 있다.
종래의 단일 채널을 이용한 영상 전송 방식은 한 번에 한 종류의 영상 프레임만을 전송하기 때문에, 다양한 화면을 실시간으로 하나의 화면상에 보여줄 수 없었다. 다양한 화면을 하나의 화면으로 보여주기 위해서는 후편집을 이용하여야 하기 때문에 많은 시간이 소요되는 문제가 있었다.
본 실시예는 복수의 카메라를 이용하여 하나의 제품을 다양한 각도로 촬영한 영상을 멀티채널로 입력받아 하나의 화면상에 기 설정된 멀티뷰 템플릿으로 실시간 출력되도록 하면서, 출력되는 서비스 채널 스트림에서 부채널 별 채널 태그와 스트림 상에 타임라인에 따라 타임라인 태그를 부여하도록 스트리밍 되도록 하는 멀티뷰 온라인 방송이 서비스되도록 하는 멀티채널 미디어 송수신 방법 및 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 저작 툴을 이용하여 입력받은 복수의 영상을 포함하는 각각의 부채널 스트림에 포함된 각각의 영상마다 채널 태그 정보를 매칭하고, 상기 각각의 부채널 스트림에 포함된 각각의 영상을 병합한 멀티뷰 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭한 후 멀티뷰 화면 영상 구성 정보로 출력하는 저작 장치; 상기 멀티뷰 화면 영상 구성 정보에 기반하여 해당 부채널 스트림들을 송신 템플릿에 맞게 병합한 서비스 채널 스트림을 생성하고, 상기 서비스 채널 스트림에 상기 채널 태그 정보, 상기 타임라인 태그 정보를 삽입하여 출력하는 병합 다중화 및 출력 장치; 및 수신된 상기 서비스 채널 스트림으로부터 상기 채널 태그 정보, 상기 타임라인 태그 정보, 상기 부채널 스트림을 추출하여 복호화하고, 표출 템플릿에 맞게 상기 복호화된 부채널 영상, 상기 채널 태그 정보, 상기 타임라인 태그 정보를 출력하는 수신 장치;를 포함하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템을 제공한다.
본 실시예의 다른 측면에 의하면, 저작 장치에서 저작 툴을 이용하여 입력받은 복수의 영상을 포함하는 각각의 부채널 스트림에 포함된 각각의 영상마다 채널 태그 정보를 매칭하고, 상기 각각의 부채널 스트림에 포함된 각각의 영상을 병합한 멀티뷰 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭한 후 멀티뷰 화면 영상 구성정보로 출력하는 과정; 병합 다중화 및 출력 장치에서 상기 멀티뷰 화면 영상 구성 정보에 기반하여 해당 부채널 스트림들을 송신 템플릿에 맞게 병합한 서비스 채널 스트림을 생성하고, 상기 서비스 채널 스트림에 상기 채널 태그 정보, 상기 타임라인 태그 정보를 삽입하여 출력하는 과정; 및 수신 장치에서 수신된 상기 서비스 채널 스트림으로부터 상기 채널 태그 정보, 상기 타임라인 태그 정보, 상기 부채널 스트림을 추출하여 복호화하고, 표출 템플릿에 맞게 상기 복호화된 부채널 영상, 상기 채널 태그 정보, 상기 타임라인 태그 정보를 출력하는 과정;을 포함하는 것을 특징으로 하는 멀티채널 미디어 송수신 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 복수의 카메라를 이용하여 하나의 제품을 다양한 각도로 촬영한 영상을 멀티채널로 입력받아 하나의 화면상에 기 설정된 멀티뷰 템플릿으로 구성하여 실시간 출력되도록 하면서, 출력되는 서비스의 부채널 별 채널태그와 서비스 채널 스트림 상의 타임라인을 따라 타임라인 태그를 부여하도록 스트리밍 되도록 하는 멀티뷰 온라인 방송이 서비스되도록 하는 효과가 있다.
도 1은 본 실시예에 따른 멀티채널 미디어 송수신 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 멀티뷰 서비스 채널 스트림의 수신기 화면 구성을 나타낸 도면이다.
도 3은 본 실시예에 따른 멀티채널 미디어 송수신 장치를 개략적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 송신 템플릿과 표출 템플릿을 나타낸 도면이다.
도 5는 본 실시예에 따른 저작 장치의 작업 화면 모니터와 출력 화면 모니터로 구성된 GUI 예시 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 멀티채널 미디어 송수신 시스템을 개략적으로 나타낸 도면이다.
본 실시예에 따른 멀티채널 미디어 송수신 시스템은 저작 장치(110), 병합 다중화 및 출력 장치(120), 수신 장치(130)를 포함한다. 멀티채널 미디어 송수신 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
저작 장치(110)는 저작 애플리케이션을 이용하여 컨텐츠를 저작하여 병합 다중화 및 출력 장치(120)로 전송한다. 저작 장치(110)는 메인 카메라 및 보조 카메라를 포함하는 복수의 카메라 입력을 포함한다. 저작 장치(110)는 복수의 카메라를 이용하여 제품 또는 이벤트를 다양한 각도로 촬영한 복수의 영상을 획득한다. 저작 장치(110)는 복수의 스트림 입력으로부터 복수의 영상을 획득한다. 저작 장치(110)는 저장 장치에 저장된 복수의 파일 입력으로부터 복수의 영상을 획득한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 제품 또는 이벤트를 촬영하면서 사전에 생성한 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보) 중 각 각의 영상 채널(부채널)과 관련하여 선택된 채널 태그를 각 부채널에 반영한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 타임라인 태그 정보(제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 제품을 촬영하면서 사전에 생성한 복수의 태그 정보(제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보) 중 촬영 내용과 관련하여 선택된 어느 하나의 태그(예컨대, 가격 태그 정보)를 타임라인 상에 반영한다.
다시 말해서, 저작 장치(110)는 저작 툴을 이용하여 제품 촬영 중 가격에 대해 설명할 때, 사전에 생성한 복수의 태그 정보 중 가격 태그 정보를 선택하면, 가격을 설명하는 해당 시간(예컨대, 10:00)의 타임라인 상에 가격 태그 정보를 적용한다. 이후 저작 장치(110)는 저작 툴을 이용하여 제품 촬영 중 디자인에 대해 설명할 때, 사전에 생성한 복수의 태그 정보 중 디자인 태그 정보를 선택하면, 디자인을 설명하는 해당 시간(예컨대, 20:00)의 타임라인 상에 디자인 태그 정보를 적용한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 카메라 및 파일을 이용하여 영상을 획득한 후 송신 템플릿을 지정하여 각각의 부채널 스트림을 송신 템플릿 형태로 병합하여 하나의 서비스 채널 스트림을 생성하여 송신되도록 한다. 저작 장치(110)는 저작 툴의 송신 템플릿 지정 기능을 이용하여, 다양한 서비스 채널 스트림 포맷 구성이 가능하다.
저작 장치(110)는 저작 툴을 이용하여 복수의 카메라 및 파일을 이용하여 영상을 획득한 후 표출 템플릿을 지정하여 수신기에서 재생 시 미리 설정된 멀티뷰 화면 구성상에 각 영상이 출력되도록 한다. 저작 장치(110)는 저작 툴의 표출 템플릿 지정 기능을 이용하여, 다양한 재생 화면 구성이 가능하며, 예를들면, 멀티뷰 화면 구성 중 가장 넓은 영역에 메인 화면(정면 화면)을 할당하고 나머지 영역에 보조 화면(우측면 화면, 좌측면 화면, 상면 화면)을 할당한다.
저작 장치(110)는 기 저장된 촬영 영상, 광고 영상을 멀티뷰 화면 구성 중 일부에 할당할 수 있다. 예컨대, 저작 장치(110)는 저작 툴을 이용하여 6개로 분할된 멀티뷰 화면 구성 중 어느 하나의 영역에 미리 촬영한 클립 영상 중 제품 내부 클립 영상이 출력되도록 할 수 있다.
저작 장치(110)는 채팅창 영역에 수신 장치(130)로부터 입력된 텍스트를 분석한다. 저작 장치(110)는 AI를 이용하여 채팅창 영역에 입력된 텍스트를 분석하여 문맥을 인지한다. 저작 장치(110)는 AI를 이용하여 인지된 문맥에서 요청 사항(예컨대, 광고, 제품 내부 영상)을 추출한다. 저작 장치(110)는 미리 촬영상 영상 중 요청 사항(예컨대, 광고, 제품 내부 영상)에 대응하는 영상을 멀티뷰 화면 구성 중 어느 하나의 영역에 출력한다. 저작 장치(110)는 저작 툴을 포함한다. 여기서, 저작 툴은 태그, 채팅, 챗봇 형태의 AI, 미리 촬영된 클립 영상, 업로드 UI를 포함한다.
본 실시예에 따른 저작 장치(110)는 저작 툴을 이용하여 특정 객체 또는 이벤트를 실시간으로 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 서비스 채널 스트림의 각 부채널에 채널 태그를 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 멀티뷰의 각각의 부채널에 사전에 생성한 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보) 중 해당 부채널과 관련하여 선택된 채널 태그를 각 부채널에 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 특정 객체 또는 이벤트를 실시간으로 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보 중 적어도 하나 이상을 포함하는 복수의 타임라인 태그 정보를 사전에 생성한다. 저작 장치(110)는 복수의 타임라인 태그 정보 중 촬영 내용과 관련하여 선택된 어느 하나의 태그를 해당 타임라인 상에 반영한다.
저작 장치(110)는 저작 툴을 이용하여 송신 템플릿을 지정하고 이를 기반으로 부채널 스트림을 송신 템플릿 형태로 병합하여 하나의 서비스 채널 스트림을 생성하여 송신되도록 한다. 저작 장치(110)는 저작 툴의 송신 템플릿 지정 기능을 이용하여, 다양한 서비스 채널 스트림 포맷 구성이 가능하다.
저작 장치(110)는 저작 툴을 이용하여 표출 템플릿을 지정하고 이를 기반으로, 예를들면, 멀티뷰 화면 구성 중 가장 넓은 영역에 실시간으로 촬영한 복수의 영상 중 어느 하나를 메인 화면으로 할당하고 나머지 영역에 촬영한 복수의 영상 중 나머지 영상 또는 기 촬영한 클립(Clip) 영상을 보조 화면에 할당한다.
저작 장치(110)는 AI를 이용하여 채팅창 영역에 수신 장치(130)로부터 입력된 텍스트를 분석하여 문맥을 인지하고, 인지된 문맥에서 요청 사항을 추출한다. 저작 장치(110)는 기 촬영한 클립 영상 중 요청 사항에 대응하는 영상을 멀티뷰 화면 구성 중 특정 화면, 예를 들면 보조 화면, 으로 출력하도록 한다.
저작 장치(110)는 실시간으로 촬영한 복수의 영상을 동기화하여 멀티뷰 화면 구성상에 출력한다. 저작 장치(110)는 실시간으로 촬영한 복수의 영상, 기 촬영한 클립 영상 중 높은 우선순위를 갖는 영상이 메인 화면에 출력되도록 한다. 저작 장치(110)는 실시간으로 촬영한 복수의 영상 내의 객체 또는 ROI(Region Of Interest)를 인지한 후 모션 트래킹(Motion Tracking)을 적용하여 객체 또는 ROI가 화면 중앙에 오도록 영상의 위치, 사이즈, 각도를 조정한다.
저작 장치(110)는 사전에 복수의 태그 정보(채널 태그, 타임 라인 태그)를 생성한 후 태그 정보에 해당하는 아이콘을 리스팅한다. 저작 장치(110)는 복수의 태그 정보 중 선택된 태그 정보를 타임라인 또는 부채널에 드레그 앤 드롭(drag and drop) 방식으로 삽입하고, 부채널 또는 타임라인에 표출되는 태그 정보에 해당하는 정보로 액세스하도록 한다.
저작 장치(110)는 실시간으로 촬영한 복수의 영상을 실시간으로 출력하다가 태그 정보에 대한 요청을 수신하는 경우, 대응하는 태그에 매칭된 VOD(Video On Demand) 영상으로 화면을 전환하여 출력하도록 한다.
저작 장치(110)는 인터넷 가격 정보를 별도의 인터넷 정보창에 출력하고, 판매량, 누적 수익, 기타 영업 현황 정보를 판매 정보창에 출력한다. 저작 장치(110)는 인터넷 정보창 상에 가격 조정 기능을 이용하여 셀러가 최저가를 비교하여 가격을 조정할 수 있도록 하며, 타임 세일(Time Sale) 이벤트(Event)를 출력하도록 한다. 저작 장치(110)는 인터넷 정보창 상에 가격 흥정 기능을 이용하여 특정한 고객에게 구매 수량 조건에 따라 가격 흥정(Negotiation)을 할 수 있도록 한다.
본 발명의 멀티채널 미디어 송수신 장치는 온라인 샵에 적용되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 멀티채널 미디어 송수신 장치는 복수의 온라인 샵 각각을 하나의 서비스 채널로 설정한다.
본 실시예에 따른 병합 다중화 및 출력 장치(120)는 멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널을 인코딩 또는 트랜스코딩하고, 각각의 채널(부채널) 스트림을 저작 장치에서 지정한 송신 템플릿에 맞춰서 병합하여 하나의 서비스 채널 스트림으로 출력하고, 수신기에서는 저작 장치가 지정한 표출 템플릿으로 멀티뷰 영상이 출력되도록, 부채널 영상들을 각각 인코딩 또는 트랜스코딩하고 이를 서비스 채널 스트림으로 병합하여 출력한다.
멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널에 대한 인코딩 또는 트랜스코딩은 저작 장치에서 수행될 수도 있고, 병합 다중화 및 출력 장치에서 이루어 질 수도 있고, 별도의 인코더 또는 트랜스코더에서 이루어 질 수도 있다.
멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널에 대한 인코딩 또는 트랜스코딩이 병합 다중화 및 출력 장치 외부에서 수행될 경우, 인코딩 또는 트랜스코딩 된 스트림이 병합 다중화 및 출력 장치로 입력 되어야 한다.
병합 다중화 및 출력 장치(120)는 저작 장치(110) 또는 별도의 인코더/트랜스코더로부터 수신되거나, 자체적으로 인코딩/트랜스코딩된 영상 스트림을 다중화하여 스트리밍한다. 병합 다중화 및 출력 장치(120)는 nDVR(network Digital Video Recorder) 기능을 이용하여 수신 장치(130)가 이전 임의의 위치로 재생 위치를 이동할 경우, 해당 스트림 위치에서 영상이 재생 되도록 스트리밍한다.
병합 다중화 및 출력 장치(120)는 멀티뷰 인코딩 또는 트랜스코딩 기능을 제공할 수도 있다.
병합 다중화 및 출력 장치(120)는 다수 영상 채널(부채널) 스트림 병합 모듈을 제공한다. 병합 다중화 및 출력 장치(120)는 AI 기반으로 SR(Super Resolution), 배경제거를 수행한다.
병합 다중화 및 출력 장치(120)는 VOD 생성 모듈을 포함한다. 병합 다중화 및 출력 장치(120)는 태그 정보, 템플릿 정보 등의 메타 데이터 다중화 모듈을 포함한다. 병합 다중화 및 출력 장치(120)는 저작장치로부터 송신 템플릿 정보를 수신하여 부채널 스트림 병합 레이아웃을 구성하거나, 사용자 제어를 통해 직접 송신 템플릿 생성 및 스트림 병합 레이아웃을 구성한다. 병합 다중화 및 출력 장치(120)는 상품 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 제품 스펙 정보, 제품 가격 정보, 구매자 의견 정보를 제공한다.
병합 다중화 및 출력 장치(120)는 웹 크롤링(Web Crawling)을 제공한다. 병합 다중화 및 출력 장치(120)는 가격비교, 상품평 비교, 할인 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 사용자 관리를 제공한다. 병합 다중화 및 출력 장치(120)는 신용카드/페이 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 AI 기반의 챗봇과 연동 기능을 제공한다. 병합 다중화 및 출력 장치(120)는 태그와 연동 기능을 제공한다.
병합 다중화 및 출력 장치(120)는 복수의 저작 장치(110)로부터 수신된 영상을 송신 템플릿(410)에 맞춰서 병합 스트림을 구성하고, 송신 템플릿 및 표출 템플릿 정보를 다중화하여 출력하고, 수신 장치(130)에서 송신 템플릿에 기반하여 부채널 스트림을 구분, 추출하고, 표출 템플릿에 기반하여 재생 출력되도록 한다. 수신 장치(130)는 타임라인 상에 반영된 복수의 태그 정보 중 어느 하나를 선택하는 경우, 해당 태그에 대응하는 영상 위치로 영상이 이동하여 재생되도록 한다. 수신 장치(130)는 라이브 영상 시청 중 VOD 영상에 대한 뒤돌려 보기 기능을 제공한다. 수신 장치(130)는 VOD 태그 표출로 원하는 정보를 제공받을 수 있다. 수신 장치(130)는 GUI로 태깅 정보를 표출한다.
본 실시예에 따른 수신 장치(130)는 송신 템플릿(410)으로 멀티뷰 영상을 수신한 후 부채널 정보를 인식하여 부채널별 스트림 추출 및 복호화하여, 표출 템플릿(420)으로 복호화된 부채널 영상으로 멀티뷰 영상을 구성하여 재생 출력한다.
수신 장치(130)는 AR(Augmented Reality) 기능을 이용하여 사용자의 몸, 허리둘레, 손가락 둘레, 손목둘레 중 적어도 하나 이상의 치수를 측정한 후 특정 객체를 실시간 포인트 클라우드(Point Cloud)를 3차원으로 렌더링(Rendering)한다. 수신 장치(130)는 3차원 렌더링한 특정 객체를 치수에 맞게 조절한 후 해당 부위에 자동으로 매칭하여 출력하도록 한다.
수신 장치(130)는 부채널 복호화 시 해당 채널의 스트림 속성에 따라 해당 복호화기 및 랜더러를 자동으로 매칭하여 출력하도록 한다.
수신 장치(130)는 챗봇과의 채팅으로 질의한 내용에 대해서 자동으로 답변을 받으며, 챗봇과 음성인식 채팅을 수행하면 챗봇이 음성을 인식하여 채팅창에 출력하도록 한다.
수신 장치(130)는 셀러와 채팅할 때, 다수의 고객이 동시 질문할 경우 질문자의 ID, 이름, 전화번호 중 적어도 하나 이상의 구분이 가능한 정보를 이용하여 음성 답변할 경우 수신자만 답변을 텍스트로 출력한다.
수신 장치(130)는 이용자 채팅 정보, 음성 인식 정보, 챗봇과의 대화 정보 등 이용자 부가 정보를 기반으로, 수신된 서비스 채널 스트림의 채널 태그, 타임라인 태그 등에 매칭되는 정보를 확인하고, 해당 부채널 영상을 강조 또는 확대 재생, 메인창 재생하거나 또는 타임라인상의 해당 시점부터 영상을 자동 재생하도록 한다.
수신 장치(130)는 표출 템플릿으로 멀티뷰 영상을 출력할 때, 멀티뷰 영상에 포함된 VR360 영상 스트림, PCC(Point Cloud Coding) 스트림에 따른 복호화기와 랜더러를 구동하여 스트림 특성에 맞게 영상을 복호화 및 재생 시킨다.
도 2는 본 실시예에 따른 멀티뷰 화면 구성을 나타낸 도면이다.
저작 장치(110)는 복수의 카메라로부터 획득한 영상을 동기화하여 멀티뷰 화면 구성상에 출력한다. 저작 장치(110)는 멀티뷰 화면 구성 중 사용자 제어에 의하거나, 순위를 부여하여 높은 순위를 갖는 영상(정면 영상)을 메인 화면 영역에 출력되도록 한다. 저작 장치(110)는 복수의 카메라로부터 획득한 영상 내의 객체 또는 ROI를 인지한 후 모션 트래킹을 적용하여 해당 객체 또는 ROI가 화면 중앙에 오도록 영상의 위치, 사이즈, 각도를 조정할 수 있다.
저작 장치(110)는 라이브 영상을 출력하다가 태그(채널 태그) 기반의 VOD 영상이 선택되면 해당 태그에 대응하는 VOD 영상이 현재의 멀티뷰 화면 구성의 부채널로 포함되어 있지 않은 경우, 멀티뷰 구성 화면에 삽입하거나, 이미 멀티뷰 구성의 부채널에 포함되어 있는 경우, 보다 강조 될 수 있는 화면 위치로 이동하거나 기타 강조 효과가 발생할 수 있도록 하는 기능을 제공한다. 여기서, 태그(채널 태그)는 제품 가격, 제품 스펙, 경쟁제품비교, 참고 영상(VOD 자료영상, 360 VR 영상, PCC(Point Cloud Coding) 영상, AR(Augmented Reality) 영상 포함) 등으로 사전 정의해서 사용하거나 실시간 방송 중 추가 정의해서 만들어 사용할 수 있다.
저작 장치(110)는 사전에 또는 방송 중 추가하여 채널 태그, 타임라인 태그를 생성하고, 태그에 해당하는 아이콘을 리스팅한다. 저작 장치(110)는 라이브 영상 제작 시 기 작성한 태그 중 하나를 선택해서 방송 중인 타임라인 또는 부채널에 드레그 앤 드롭(drag and drop) 방식으로 태그를 삽입하면 수신 장치(130)에서 라이브 영상 재생 중, 부채널별로 해당 채널 태그 정보가 표출 되거나, 타임라인에 타임라인 태그가 표출되어 실시간 방송 중이라도 태그 정보에 해당하는 정보를 액세스할 수 있도록 한다.
저작 장치(110)는 라이브(Live) 및 기타 송출용 영상 제작 시 태그(채널 태그, 타임라인 태그) 삽입 기능을 제공한다. 저작 장치(110)는 GUI로 태그 위치 확인 또는 태그를 표시하며, 이용자의 요청이나 기타 이벤트에 의해 특정 태그가 선택되면 해당 채널 태그에 대응하는 영상 입력(VoD, 스트림, 카메라 입력 등의 부채널 중 선택된 태그 정보와 매칭 되는 정보를 가진 부채널)이 자동 또는 수동으로 멀티뷰 화면 구성에 부채널로 추가되도록 한다.
저작 장치(110)는 부채널 영상에 대한 채널 태그를 해당 영상 입력이 서비스 채널 스트림용 멀티뷰 영상 구성에 포함되는 시점에 자동 또는 수동으로 채널 태그가 지정되거나, 또는 최초 부채널용 영상 입력 등록 시 채널 태그 정보를 지정할 수 있도록 한다.
저작 장치(110)는 방송 중 부채널용 영상 입력의 내용 변화에 따라 해당 영상 입력에 대한 채널 태그를 자동 또는 수동으로 변경 지정 할 수 있도록 한다.
저작 장치(110)는 방송 중 부채널의 내용 변화에 따라 해당 부채널에 대한 채널 태그를 자동 또는 수동으로 변경 지정 할 수 있도록 한다.
저작 장치(110)는 GUI로 채널 태그, 타임라인 태그 리스트에서 선택된 태그가 타임라인 또는 부채널로 삽입되도록 한다. 저작 장치(110)는 GUI를 이용하여 태그 삽입 위치를 결정한다.
저작 장치(110)는 사전 제작된 클립 영상을 등록하고, 리스팅(Listing)한다. 저작 장치(110)는 상품 내부, 외부, 색상에 대한 클립 영상을 사전 제작하여 등록할 수 있다. 저작 장치(110)는 클립 제작 가이드를 제공하여 클립 영상을 사전 제작하도록 하면, 생성된 클립 영상을 리스팅한다. 저작 장치(110)는 클립 리스트로부터 사전 제작된 클립 영상 중 하나를 선택하여 멀티뷰 화면 구성 중 어느 하나에 할당하여 출력할 수 있도록 하는 GUI를 제공한다.
저작 장치(110)는 AI 기반의 채팅을 이용한다. 저작 장치(110)는 채팅창에 입력된 채팅 내용 파악하고 해당 내용과 매칭되는 내용, 태그 정보, 메타 정보 등을 확인 후, 요구되는 클립을 자동으로 멀티뷰 채널로 삽입한다. 저작 장치(110)는 채팅창에 입력된 채팅 내용 인식하고 해당 내용과 매칭되는 내용, 태그 정보, 메타 정보 등을 확인하여 제작자에게 강조(별도 표시, 오디오 표출 등)하여 표출한다. 저작 장치(110)는 GUI로 채팅창을 출력한다. 저작 장치(110)는 GUI로 채팅 창 요구 클립을 자동으로 멀티뷰 채널로 삽입하는 액션이 표출되도록 한다.
저작 장치(110)는 멀티뷰 채널 서비스를 제공한다. 저작 장치(110)는 멀티뷰 영상 구성 부채널로 다중 카메라 입력, 스트림 입력 또는 파일 클립으로부터 영상 입력을 획득한다. 저작 장치(110)는 AI 채팅 내용 등을 기반으로 수동 또는 자동으로 영상 입력 중 선택 영상을 멀티뷰 화면 구성 중 하나에 부채널로 삽입한다. 저작 장치(110)는 다중 카메라 입력, 다중 스트림 입력, 다중 파일 클립 입력을 통한 부채널로 구성된 멀티뷰 서비스 채널 스트림 채널 운용 GUI를 제공한다. 저작 장치(110)는 GUI를 이용하여 제공할 송출 탬플릿 및 표출 템플릿을 정의한다. 저작 장치(110)는 채널 추가 순서에 대한 운용 GUI를 제공한다.
저작 장치(110)는 인터넷 정보창과 판매 정보창을 제공한다. 저작 장치(110)는 인터넷 가격 정보를 별도의 인터넷 정보창에 출력한다. 저작 장치(110)는 판매량, 누적 수익, 기타 영업 현황 정보를 판매 정보창에 출력한다.
저작 장치(110)는 가격 조정 기능을 제공한다. 여기서, 저작 장치(110)는 가격 조정 기능을 이용하여 셀러가 최저가를 비교하여 가격을 조정할 수 있도록 하며, 타임 세일(Time Sale) 이벤트(Event)에도 적용 가능하다. 저작 장치(110)는 가격 흥정 기능을 제공한다. 여기서, 저작 장치(110)는 가격 흥정 기능을 이용하여 특정한 고객에게 구매 수량 조건에 따라 가격 흥정(Negotiation)을 할 수 있도록 한다. 저작 장치(110)는 GUI로 인터넷 정보창을 이용하여 정보(가격 비교 정보)를 표출한다. 저작 장치(110)는 GUI로 실시간 가격 조정 내역을 업데이트한다.
저작 장치(110)는 AI 기반으로 영상 처리를 제공한다. 저작 장치(110)는 상품 영상과 이미지에 대한 AI 처리(색처리, SR, 입체화)를 수행한다. 저작 장치(110)는 GUI로 셋업 on/off 제어한다.
저작 장치(110)는 다중 샵(쇼핑몰) 채널 운용 기능을 제공한다. 저작 장치(110)는 각 샵의 영상을 멀티뷰 채널로 일종의 동영상 EPG(Electric Program Guide)처럼, 브라우징 영상 서비스 형태로 제공한다. 저작 장치(110)는 다중 ?? 영상 입력을 멀티뷰로 구성하여 서비스 채널 스트림 채널로 제공하여, 수신기에서 GUI로 멀티뷰 채널로 구성된 다중 ?? 영상을 브라우징하여 관심 샵을 선정하여 시청할 수 있도록 한다.
저작 장치(110)는 멀티뷰 구성 영상(부채널) 중 대표 부채널을 지정할 수 있도록 하여, 병합 다중화 및 출력 장치(120)에서 다중 ?? 채널 용 멀티뷰 서비스 채널 스트림 병합 시, 해당 ?事? 대표 부채널을 다중 ?? 용 멀티뷰 구성 영상으로 적용하여 서비스 채널 스트림 채널을 출력할 수 있도록 한다.
저작 장치(110)는 화상 채팅기능을 제공한다. 저작 장치(110)는 고객이 화상통신이 가능할 경우 고객에 맞춤 제안을 가능하게 하는 기능을 제공한다. 저작 장치(110)는 고객 사진을 보내면 사진을 띄워놓고 옷을 대 볼 수 있는 기능을 제공한다.
저작 장치(110)는 카메라 캡쳐 화면상 객체의 크기를 유지하는 기능을 제공한다. 저작 장치(110)는 카메라의 PTZ(Pan, Tilt, Zoom)나 기타 기능을 제작 툴에서 제어하여 화면상 객체의 크기나 방향을 일정하게 유지하도록 한다. 저작 장치(110)이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 멀티채널 미디어 송수신 시스템을 개략적으로 나타낸 도면이다.
본 실시예에 따른 멀티채널 미디어 송수신 시스템은 저작 장치(110), 병합 다중화 및 출력 장치(120), 수신 장치(130)를 포함한다. 멀티채널 미디어 송수신 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
저작 장치(110)는 저작 애플리케이션을 이용하여 컨텐츠를 저작하여 병합 다중화 및 출력 장치(120)로 전송한다. 저작 장치(110)는 메인 카메라 및 보조 카메라를 포함하는 복수의 카메라 입력을 포함한다. 저작 장치(110)는 복수의 카메라를 이용하여 제품 또는 이벤트를 다양한 각도로 촬영한 복수의 영상을 획득한다. 저작 장치(110)는 복수의 스트림 입력으로부터 복수의 영상을 획득한다. 저작 장치(110)는 저장 장치에 저장된 복수의 파일 입력으로부터 복수의 영상을 획득한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 제품 또는 이벤트를 촬영하면서 사전에 생성한 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보) 중 각 각의 영상 채널(부채널)과 관련하여 선택된 채널 태그를 각 부채널에 반영한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 타임라인 태그 정보(제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 제품을 촬영하면서 사전에 생성한 복수의 태그 정보(제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보) 중 촬영 내용과 관련하여 선택된 어느 하나의 태그(예컨대, 가격 태그 정보)를 타임라인 상에 반영한다.
다시 말해서, 저작 장치(110)는 저작 툴을 이용하여 제품 촬영 중 가격에 대해 설명할 때, 사전에 생성한 복수의 태그 정보 중 가격 태그 정보를 선택하면, 가격을 설명하는 해당 시간(예컨대, 10:00)의 타임라인 상에 가격 태그 정보를 적용한다. 이후 저작 장치(110)는 저작 툴을 이용하여 제품 촬영 중 디자인에 대해 설명할 때, 사전에 생성한 복수의 태그 정보 중 디자인 태그 정보를 선택하면, 디자인을 설명하는 해당 시간(예컨대, 20:00)의 타임라인 상에 디자인 태그 정보를 적용한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 카메라 및 파일을 이용하여 영상을 획득한 후 송신 템플릿을 지정하여 각각의 부채널 스트림을 송신 템플릿 형태로 병합하여 하나의 서비스 채널 스트림을 생성하여 송신되도록 한다. 저작 장치(110)는 저작 툴의 송신 템플릿 지정 기능을 이용하여, 다양한 서비스 채널 스트림 포맷 구성이 가능하다.
저작 장치(110)는 저작 툴을 이용하여 복수의 카메라 및 파일을 이용하여 영상을 획득한 후 표출 템플릿을 지정하여 수신기에서 재생 시 미리 설정된 멀티뷰 화면 구성상에 각 영상이 출력되도록 한다. 저작 장치(110)는 저작 툴의 표출 템플릿 지정 기능을 이용하여, 다양한 재생 화면 구성이 가능하며, 예를 들면, 멀티뷰 화면 구성 중 가장 넓은 영역에 메인 화면(정면 화면)을 할당하고 나머지 영역에 보조 화면(우측면 화면, 좌측면 화면, 상면 화면)을 할당한다.
저작 장치(110)는 기 저장된 촬영 영상, 광고 영상을 멀티뷰 화면 구성 중 일부에 할당할 수 있다. 예컨대, 저작 장치(110)는 저작 툴을 이용하여 6개로 분할된 멀티뷰 화면 구성 중 어느 하나의 영역에 미리 촬영한 클립 영상 중 제품 내부 클립 영상이 출력되도록 할 수 있다.
저작 장치(110)는 채팅창 영역에 수신 장치(130)로부터 입력된 텍스트를 분석한다. 저작 장치(110)는 AI를 이용하여 채팅창 영역에 입력된 텍스트를 분석하여 문맥을 인지한다. 저작 장치(110)는 AI를 이용하여 인지된 문맥에서 요청 사항(예컨대, 광고, 제품 내부 영상)을 추출한다. 저작 장치(110)는 미리 촬영상 영상 중 요청 사항(예컨대, 광고, 제품 내부 영상)에 대응하는 영상을 멀티뷰 화면 구성 중 어느 하나의 영역에 출력한다. 저작 장치(110)는 저작 툴을 포함한다. 여기서, 저작 툴은 태그, 채팅, 챗봇 형태의 AI, 미리 촬영된 클립 영상, 업로드 UI를 포함한다.
본 실시예에 따른 저작 장치(110)는 저작 툴을 이용하여 특정 객체 또는 이벤트를 실시간으로 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 서비스 채널 스트림의 각 부채널에 채널 태그를 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보)를 사전에 생성한다. 저작 장치(110)는 저작 툴을 이용하여 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 멀티뷰의 각각의 부채널에 사전에 생성한 복수의 채널 태그 정보(호스트 영상 태그 정보, 제품 내부 영상 태그 정보, 제품 측면 영상 태그 정보, 광고 영상 태그 정보) 중 해당 부채널과 관련하여 선택된 채널 태그를 각 부채널에 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 특정 객체 또는 이벤트를 실시간으로 촬영한 복수의 영상 또는 스트림과 기 촬영한 파일 클립(Clip) 영상으로 구성된 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭하여 멀티뷰 화면 구성으로 출력한다.
저작 장치(110)는 저작 툴을 이용하여 제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보 중 적어도 하나 이상을 포함하는 복수의 타임라인 태그 정보를 사전에 생성한다. 저작 장치(110)는 복수의 타임라인 태그 정보 중 촬영 내용과 관련하여 선택된 어느 하나의 태그를 해당 타임라인 상에 반영한다.
저작 장치(110)는 저작 툴을 이용하여 송신 템플릿을 지정하고 이를 기반으로 부채널 스트림을 송신 템플릿 형태로 병합하여 하나의 서비스 채널 스트림을 생성하여 송신되도록 한다. 저작 장치(110)는 저작 툴의 송신 템플릿 지정 기능을 이용하여, 다양한 서비스 채널 스트림 포맷 구성이 가능하다.
저작 장치(110)는 저작 툴을 이용하여 표출 템플릿을 지정하고 이를 기반으로, 예를 들면, 멀티뷰 화면 구성 중 가장 넓은 영역에 실시간으로 촬영한 복수의 영상 중 어느 하나를 메인 화면으로 할당하고 나머지 영역에 촬영한 복수의 영상 중 나머지 영상 또는 기 촬영한 클립(Clip) 영상을 보조 화면에 할당한다.
저작 장치(110)는 AI를 이용하여 채팅창 영역에 수신 장치(130)로부터 입력된 텍스트를 분석하여 문맥을 인지하고, 인지된 문맥에서 요청 사항을 추출한다. 저작 장치(110)는 기 촬영한 클립 영상 중 요청 사항에 대응하는 영상을 멀티뷰 화면 구성 중 특정 화면, 예를 들면 보조 화면, 으로 출력하도록 한다.
저작 장치(110)는 실시간으로 촬영한 복수의 영상을 동기화하여 멀티뷰 화면 구성상에 출력한다. 저작 장치(110)는 실시간으로 촬영한 복수의 영상, 기 촬영한 클립 영상 중 높은 우선순위를 갖는 영상이 메인 화면에 출력되도록 한다. 저작 장치(110)는 실시간으로 촬영한 복수의 영상 내의 객체 또는 ROI(Region Of Interest)를 인지한 후 모션 트래킹(Motion Tracking)을 적용하여 객체 또는 ROI가 화면 중앙에 오도록 영상의 위치, 사이즈, 각도를 조정한다.
저작 장치(110)는 사전에 복수의 태그 정보(채널 태그, 타임 라인 태그)를 생성한 후 태그 정보에 해당하는 아이콘을 리스팅한다. 저작 장치(110)는 복수의 태그 정보 중 선택된 태그 정보를 타임라인 또는 부채널에 드레그 앤 드롭(drag and drop) 방식으로 삽입하고, 부채널 또는 타임라인에 표출되는 태그 정보에 해당하는 정보로 액세스하도록 한다.
저작 장치(110)는 실시간으로 촬영한 복수의 영상을 실시간으로 출력하다가 태그 정보에 대한 요청을 수신하는 경우, 대응하는 태그에 매칭된 VOD(Video On Demand) 영상으로 화면을 전환하여 출력하도록 한다.
저작 장치(110)는 인터넷 가격 정보를 별도의 인터넷 정보창에 출력하고, 판매량, 누적 수익, 기타 영업 현황 정보를 판매 정보창에 출력한다. 저작 장치(110)는 인터넷 정보창 상에 가격 조정 기능을 이용하여 셀러가 최저가를 비교하여 가격을 조정할 수 있도록 하며, 타임 세일(Time Sale) 이벤트(Event)를 출력하도록 한다. 저작 장치(110)는 인터넷 정보창 상에 가격 흥정 기능을 이용하여 특정한 고객에게 구매 수량 조건에 따라 가격 흥정(Negotiation)을 할 수 있도록 한다.
저작 장치(110)는, 실시간 촬영 영상을 동기화하여 멀티뷰 표출 형식에 출력하며, 실시간 촬영 영상, 스트림 입력 영상, 기 촬영한 클립 영상들 중 동기화가 필요한 부채널 간의 동기화 정보를 생성하여 멀티뷰 영상 구성 정보로 출력되도록 한다.
본 발명의 멀티채널 미디어 송수신 장치는 온라인 샵에 적용되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 멀티채널 미디어 송수신 장치는 복수의 온라인 샵 각각을 하나의 서비스 채널로 설정한다.
본 실시예에 따른 병합 다중화 및 출력 장치(120)는 멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널을 인코딩 또는 트랜스코딩하고, 각각의 채널(부채널) 스트림을 저작 장치에서 지정한 송신 템플릿에 맞춰서 병합하여 하나의 서비스 채널 스트림으로 출력하고, 수신기에서는 저작 장치가 지정한 표출 템플릿으로 멀티뷰 영상이 출력되도록, 부채널 영상들을 각각 인코딩 또는 트랜스코딩하고 이를 서비스 채널 스트림으로 병합하여 출력한다.
멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널에 대한 인코딩 또는 트랜스코딩은 저작 장치에서 수행될 수도 있고, 병합 다중화 및 출력 장치에서 이루어 질 수도 있고, 별도의 인코더 또는 트랜스코더에서 이루어 질 수도 있다.
멀티뷰 화면 구성 중 입력 영상 채널의 일부 또는 전체 영상 채널에 대한 인코딩 또는 트랜스코딩이 병합 다중화 및 출력 장치 외부에서 수행될 경우, 인코딩 또는 트랜스코딩 된 스트림이 병합 다중화 및 출력 장치로 입력 되어야 한다.
병합 다중화 및 출력 장치(120)는 저작 장치(110) 또는 별도의 인코더/트랜스코더로부터 수신되거나, 자체적으로 인코딩/트랜스코딩된 영상 스트림을 다중화하여 스트리밍한다. 병합 다중화 및 출력 장치(120)는 nDVR(network Digital Video Recorder) 기능을 이용하여 수신 장치(130)가 이전 임의의 위치로 재생 위치를 이동할 경우, 해당 스트림 위치에서 영상이 재생 되도록 스트리밍한다.
병합 다중화 및 출력 장치(120)는 멀티뷰 인코딩 또는 트랜스코딩 기능을 제공할 수도 있다.
병합 다중화 및 출력 장치(120)는 다수 영상 채널(부채널) 스트림 병합 모듈을 제공한다. 병합 다중화 및 출력 장치(120)는 AI 기반으로 SR(Super Resolution), 배경제거를 수행한다.
병합 다중화 및 출력 장치(120)는 VOD 생성 모듈을 포함한다. 병합 다중화 및 출력 장치(120)는 태그 정보, 템플릿 정보 등의 메타 데이터 다중화 모듈을 포함한다. 병합 다중화 및 출력 장치(120)는 저작장치로부터 송신 템플릿 정보를 수신하여 부채널 스트림 병합 레이아웃을 구성하거나, 사용자 제어를 통해 직접 송신 템플릿 생성 및 스트림 병합 레이아웃을 구성한다. 병합 다중화 및 출력 장치(120)는 상품 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 제품 스펙 정보, 제품 가격 정보, 구매자 의견 정보를 제공한다.
병합 다중화 및 출력 장치(120)는 웹 크롤링(Web Crawling)을 제공한다. 병합 다중화 및 출력 장치(120)는 가격비교, 상품평 비교, 할인 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 사용자 관리를 제공한다. 병합 다중화 및 출력 장치(120)는 신용카드/페이 정보를 제공한다. 병합 다중화 및 출력 장치(120)는 AI 기반의 챗봇과 연동 기능을 제공한다. 병합 다중화 및 출력 장치(120)는 태그와 연동 기능을 제공한다.
병합 다중화 및 출력 장치(120)는 복수의 저작 장치(110)로부터 수신된 영상을 송신 템플릿(410)에 맞춰서 병합 스트림을 구성하고, 송신 템플릿 및 표출 템플릿 정보를 다중화하여 출력하고, 수신 장치(130)에서 송신 템플릿에 기반하여 부채널 스트림을 구분, 추출하고, 표출 템플릿에 기반하여 재생 출력되도록 한다. 수신 장치(130)는 타임라인 상에 반영된 복수의 태그 정보 중 어느 하나를 선택하는 경우, 해당 태그에 대응하는 영상 위치로 영상이 이동하여 재생되도록 한다. 수신 장치(130)는 라이브 영상 시청 중 VOD 영상에 대한 뒤돌려 보기 기능을 제공한다. 수신 장치(130)는 VOD 태그 표출로 원하는 정보를 제공받을 수 있다. 수신 장치(130)는 GUI로 태깅 정보를 표출한다.
본 실시예에 따른 수신 장치(130)는 송신 템플릿(410)으로 멀티뷰 영상을 수신한 후 부채널 정보를 인식하여 부채널별 스트림 추출 및 복호화하여, 표출 템플릿(420)으로 복호화된 부채널 영상으로 멀티뷰 영상을 구성하여 재생 출력한다.
수신 장치(130)는 AR(Augmented Reality) 기능을 이용하여 사용자의 몸, 허리둘레, 손가락 둘레, 손목둘레 중 적어도 하나 이상의 치수를 측정한 후 특정 객체를 실시간 포인트 클라우드(Point Cloud)를 3차원으로 렌더링(Rendering)한다. 수신 장치(130)는 3차원 렌더링한 특정 객체를 치수에 맞게 조절한 후 해당 부위에 자동으로 매칭하여 출력하도록 한다.
수신 장치(130)는 부채널 복호화 시 해당 채널의 스트림 속성에 따라 해당 복호화기 및 랜더러를 자동으로 매칭하여 출력하도록 한다.
수신 장치(130)는 챗봇과의 채팅으로 질의한 내용에 대해서 자동으로 답변을 받으며, 챗봇과 음성인식 채팅을 수행하면 챗봇이 음성을 인식하여 채팅창에 출력하도록 한다.
수신 장치(130)는 셀러와 채팅할 때, 다수의 고객이 동시 질문할 경우 질문자의 ID, 이름, 전화번호 중 적어도 하나 이상의 구분이 가능한 정보를 이용하여 음성 답변할 경우 수신자만 답변을 텍스트로 출력한다.
수신 장치(130)는 이용자 채팅 정보, 음성 인식 정보, 챗봇과의 대화 정보 등 이용자 부가 정보를 기반으로, 수신된 서비스 채널 스트림의 채널 태그, 타임라인 태그 등에 매칭되는 정보를 확인하고, 해당 부채널 영상을 강조 또는 확대 재생, 메인창 재생하거나 또는 타임라인상의 해당 시점부터 영상을 자동 재생하도록 한다.
수신 장치(130)는 표출 템플릿으로 멀티뷰 영상을 출력할 때, 멀티뷰 영상에 포함된 VR360 영상 스트림, PCC(Point Cloud Coding) 스트림에 따른 복호화기와 랜더러를 구동하여 스트림 특성에 맞게 영상을 복호화 및 재생 시킨다.
도 2는 본 실시예에 따른 멀티뷰 화면 구성을 나타낸 도면이다.
저작 장치(110)는 복수의 카메라로부터 획득한 영상을 동기화하여 멀티뷰 화면 구성상에 출력한다. 저작 장치(110)는 멀티뷰 화면 구성 중 사용자 제어에 의하거나, 순위를 부여하여 높은 순위를 갖는 영상(정면 영상)을 메인 화면 영역에 출력되도록 한다. 저작 장치(110)는 복수의 카메라로부터 획득한 영상 내의 객체 또는 ROI를 인지한 후 모션 트래킹을 적용하여 해당 객체 또는 ROI가 화면 중앙에 오도록 영상의 위치, 사이즈, 각도를 조정할 수 있다.
저작 장치(110)는 라이브 영상을 출력하다가 태그(채널 태그) 기반의 VOD 영상이 선택되면 해당 태그에 대응하는 VOD 영상이 현재의 멀티뷰 화면 구성의 부채널로 포함되어 있지 않은 경우, 멀티뷰 구성 화면에 삽입하거나, 이미 멀티뷰 구성의 부채널에 포함되어 있는 경우, 보다 강조 될 수 있는 화면 위치로 이동하거나 기타 강조 효과가 발생할 수 있도록 하는 기능을 제공한다. 여기서, 태그(채널 태그)는 제품 가격, 제품 스펙, 경쟁제품비교, 참고 영상(VOD 자료영상, 360 VR 영상, PCC(Point Cloud Coding) 영상, AR(Augmented Reality) 영상 포함) 등으로 사전 정의해서 사용하거나 실시간 방송 중 추가 정의해서 만들어 사용할 수 있다.
저작 장치(110)는 사전에 또는 방송 중 추가하여 채널 태그, 타임라인 태그를 생성하고, 태그에 해당하는 아이콘을 리스팅한다. 저작 장치(110)는 라이브 영상 제작 시 기 작성한 태그 중 하나를 선택해서 방송 중인 타임라인 또는 부채널에 드레그 앤 드롭(drag and drop) 방식으로 태그를 삽입하면 수신 장치(130)에서 라이브 영상 재생 중, 부채널별로 해당 채널 태그 정보가 표출 되거나, 타임라인에 타임라인 태그가 표출되어 실시간 방송 중이라도 태그 정보에 해당하는 정보를 액세스할 수 있도록 한다.
저작 장치(110)는 라이브(Live) 및 기타 송출용 영상 제작 시 태그(채널 태그, 타임라인 태그) 삽입 기능을 제공한다. 저작 장치(110)는 GUI로 태그 위치 확인 또는 태그를 표시하며, 이용자의 요청이나 기타 이벤트에 의해 특정 태그가 선택되면 해당 채널 태그에 대응하는 영상 입력(VoD, 스트림, 카메라 입력 등의 부채널 중 선택된 태그 정보와 매칭 되는 정보를 가진 부채널)이 자동 또는 수동으로 멀티뷰 화면 구성에 부채널로 추가되도록 한다.
저작 장치(110)는 부채널 영상에 대한 채널 태그를 해당 영상 입력이 서비스 채널 스트림용 멀티뷰 영상 구성에 포함되는 시점에 자동 또는 수동으로 채널 태그가 지정되거나, 또는 최초 부채널용 영상 입력 등록 시 채널 태그 정보를 지정할 수 있도록 한다.
저작 장치(110)는 방송 중 부채널용 영상 입력의 내용 변화에 따라 해당 영상 입력에 대한 채널 태그를 자동 또는 수동으로 변경 지정 할 수 있도록 한다.
저작 장치(110)는 방송 중 부채널의 내용 변화에 따라 해당 부채널에 대한 채널 태그를 자동 또는 수동으로 변경 지정 할 수 있도록 한다.
저작 장치(110)는 GUI로 채널 태그, 타임라인 태그 리스트에서 선택된 태그가 타임라인 또는 부채널로 삽입되도록 한다. 저작 장치(110)는 GUI를 이용하여 태그 삽입 위치를 결정한다.
저작 장치(110)는 사전 제작된 클립 영상을 등록하고, 리스팅(Listing)한다. 저작 장치(110)는 상품 내부, 외부, 색상에 대한 클립 영상을 사전 제작하여 등록할 수 있다. 저작 장치(110)는 클립 제작 가이드를 제공하여 클립 영상을 사전 제작하도록 하면, 생성된 클립 영상을 리스팅한다. 저작 장치(110)는 클립 리스트로부터 사전 제작된 클립 영상 중 하나를 선택하여 멀티뷰 화면 구성 중 어느 하나에 할당하여 출력할 수 있도록 하는 GUI를 제공한다.
저작 장치(110)는 AI 기반의 채팅을 이용한다. 저작 장치(110)는 채팅창에 입력된 채팅 내용 파악하고 해당 내용과 매칭되는 내용, 태그 정보, 메타 정보 등을 확인 후, 요구되는 클립을 자동으로 멀티뷰 채널로 삽입한다. 저작 장치(110)는 채팅창에 입력된 채팅 내용 인식하고 해당 내용과 매칭되는 내용, 태그 정보, 메타 정보 등을 확인하여 제작자에게 강조(별도 표시, 오디오 표출 등)하여 표출한다. 저작 장치(110)는 GUI로 채팅창을 출력한다. 저작 장치(110)는 GUI로 채팅 창 요구 클립을 자동으로 멀티뷰 채널로 삽입하는 액션이 표출되도록 한다.
저작 장치(110)는 멀티뷰 채널 서비스를 제공한다. 저작 장치(110)는 멀티뷰 영상 구성 부채널로 다중 카메라 입력, 스트림 입력 또는 파일 클립으로부터 영상 입력을 획득한다. 저작 장치(110)는 AI 채팅 내용 등을 기반으로 수동 또는 자동으로 영상 입력 중 선택 영상을 멀티뷰 화면 구성 중 하나에 부채널로 삽입한다. 저작 장치(110)는 다중 카메라 입력, 다중 스트림 입력, 다중 파일 클립 입력을 통한 부채널로 구성된 멀티뷰 서비스 채널 스트림 채널 운용 GUI를 제공한다. 저작 장치(110)는 GUI를 이용하여 제공할 송출 탬플릿 및 표출 템플릿을 정의한다. 저작 장치(110)는 채널 추가 순서에 대한 운용 GUI를 제공한다.
저작 장치(110)는 인터넷 정보창과 판매 정보창을 제공한다. 저작 장치(110)는 인터넷 가격 정보를 별도의 인터넷 정보창에 출력한다. 저작 장치(110)는 판매량, 누적 수익, 기타 영업 현황 정보를 판매 정보창에 출력한다.
저작 장치(110)는 가격 조정 기능을 제공한다. 여기서, 저작 장치(110)는 가격 조정 기능을 이용하여 셀러가 최저가를 비교하여 가격을 조정할 수 있도록 하며, 타임 세일(Time Sale) 이벤트(Event)에도 적용 가능하다. 저작 장치(110)는 가격 흥정 기능을 제공한다. 여기서, 저작 장치(110)는 가격 흥정 기능을 이용하여 특정한 고객에게 구매 수량 조건에 따라 가격 흥정(Negotiation)을 할 수 있도록 한다. 저작 장치(110)는 GUI로 인터넷 정보창을 이용하여 정보(가격 비교 정보)를 표출한다. 저작 장치(110)는 GUI로 실시간 가격 조정 내역을 업데이트한다.
저작 장치(110)는 AI 기반으로 영상 처리를 제공한다. 저작 장치(110)는 상품 영상과 이미지에 대한 AI 처리(색처리, SR, 입체화)를 수행한다. 저작 장치(110)는 GUI로 셋업 on/off 제어한다.
저작 장치(110)는 다중 샵(쇼핑몰) 채널 운용 기능을 제공한다. 저작 장치(110)는 각 샵의 영상을 멀티뷰 채널로 일종의 동영상 EPG(Electric Program Guide)처럼, 브라우징 영상 서비스 형태로 제공한다. 저작 장치(110)는 다중 ?? 영상 입력을 멀티뷰로 구성하여 서비스 채널 스트림 채널로 제공하여, 수신기에서 GUI로 멀티뷰 채널로 구성된 다중 ?? 영상을 브라우징하여 관심 샵을 선정하여 시청할 수 있도록 한다.
저작 장치(110)는 멀티뷰 구성 영상(부채널) 중 대표 부채널을 지정할 수 있도록 하여, 병합 다중화 및 출력 장치(120)에서 다중 ?? 채널 용 멀티뷰 서비스 채널 스트림 병합 시, 해당 ?事? 대표 부채널을 다중 ?? 용 멀티뷰 구성 영상으로 적용하여 서비스 채널 스트림 채널을 출력할 수 있도록 한다.
저작 장치(110)는 화상 채팅기능을 제공한다. 저작 장치(110)는 고객이 화상통신이 가능할 경우 고객에 맞춤 제안을 가능하게 하는 기능을 제공한다. 저작 장치(110)는 고객 사진을 보내면 사진을 띄워놓고 옷을 대 볼 수 있는 기능을 제공한다.
저작 장치(110)는 카메라 캡쳐 화면상 객체의 크기를 유지하는 기능을 제공한다. 저작 장치(110)는 카메라의 PTZ(Pan, Tilt, Zoom)나 기타 기능을 제작 툴에서 제어하여 화면상 객체의 크기나 방향을 일정하게 유지하도록 한다. 저작 장치(110)는 객체의 위치나 방향을 일정하게 유지하도록 인공지능 엔진을 사용하여 제어한다. 저작 장치(110)는 GUI로 기능 ON/OFF 하도록 한다.
수신 장치(130)는 멀티뷰로 영상을 출력한다. 수신 장치(130)는 서비스 채널 스트림애 포함된 표출 템플릿을 기반으로 셀러가 선택한 화면 구성으로 멀티뷰 화면을 출력한다. 수신 장치(130)는 다수의 고객이 동시 질문할 경우 질문자의 ID, 이름, 전화번호 중 적어도 하나 이상의 구분이 가능한 정보를 이용하여 음성 답변을 할 경우 수신자만 답변을 텍스트로 볼 수 있는 기능을 제공한다. 예컨대, 'A'가 '노란색도 있나요?' 하고 물었을 때, 셀러가 'A님, 노란색이 있습니다."라고 말하면 음성인식 모듈에서 A에 대한 답변으로 인식하고 'A'단말의 채팅창 답변을 찍어 주도록 한다.
수신 장치(130)는 멀티뷰 화면 중 시청자가 선택한 자신이 원하는 화면 보기를 지원한다. 수신 장치(130)는 멀티뷰 화면 구성 및 출력을 위한 송신 템플릿, 표출 템플릿 정보 추출 모듈, 채널 태그, 타임라인 태그 정보 추출 모듈, 병합 스트림에서 부채널 스트림 추출 기능과 복수 재생 모듈을 포함한다.
수신 장치(130)는 챗봇과의 자동 채팅 기능을 제공한다. 수신 장치(130)는 챗봇, 태그, 부채널 영상과의 연동한 영상을 출력한다. 수신 장치(130)는 챗봇이 채팅의 내용을 인식하여 자동으로 답변하는 기능을 구비한다. 수신 장치(130)는 챗봇과 음성인식 채팅을 수행한다.
수신 장치(130)는 사용자의 음성을 인식하여 채팅창에 출력한다. 수신 장치(130)는 셀러와 직접 채팅이 가능하도록 한다. 수신 장치(130)는 셀러와 채팅할 때, 다수의 고객이 동시 질문할 경우 질문자의 ID, 이름, 전화번호 중 적어도 하나 이상의 구분이 가능한 정보를 이용하여 음성 답변할 경우 수신자만 답변을 텍스트로 출력한다.
수신 장치(130)는 셀러와 채팅할 때, 예컨대 'A'가 '노란색도 있나요?' 하고 물었을 때, 셀러가 'A님, 노란색이 있습니다."라고 말하면 음성인식 모듈에서 A에 대한 답변으로 인식하고 'A'단말의 채팅창 답변이 채팅창에 출력되도록 한다.
수신 장치(130)는 실시간 상품평, 실시간 가격비교 정보, 실시간 카드 할인 정보를 인터넷 정보 채널로 출력한다. 수신 장치(130)는 GUI로 정보 표출 창을 출력하고, GUI로 가격 흥정 기능을 제공한다.
수신 장치(130)는 PCC(Point Cloud Coding) / VR(Virtual Reality) 등 멀티뷰 상의 부채널을 선택 시 해당 부채널 속성에 따른 플레이어가 동작하도록 한다. 수신 장치(130)는 PCC(Point Cloud Coding), AR(Augmented Reality) 등을 이용하여 멀티뷰 화면에 출력 중인 제품(예컨대, 보석)을 자신의 얼굴이나 몸체 걸칠 수 있는 형식으로 출력되도록 한다.
수신 장치(130)는 병합 다중화 및 출력 장치(120)와 연계하여 영상을 처리한다. 수신 장치(130)는 AR 기능을 이용하여 단말기에서 치수를 측정한 후 화장, 착용, 가구 시뮬레이션에 응용한다. 수신 장치(130)는 AR 기능을 이용하여 몸, 허리둘레, 손가락 둘레, 손목둘레 중 적어도 하나 이상의 치수를 측정한 후 옷이나 액세사리를 해당 부위에 자동으로 매칭하여 출력한다. 수신 장치(130)는 AR 기능을 이용하여 치수를 측정한 부위를 실시간 포인트 클라우드(Point Cloud)를 3차원으로 렌더링(Rendering)한다.
수신 장치(130)는 셀러와 화상통화 기능을 제공한다. 수신 장치(130)는 신체 치수를 입력 받아 3차원으로 렌더링할 수 있다.
도 3은 본 실시예에 따른 멀티채널 미디어 송수신 장치를 개략적으로 나타낸 도면이다.
병합 다중화 및 출력 장치(120)는 복수의 카메라 입력, IP 스트리밍 입력, 미디어 파일 입력으로부터 네트워크를 이용하여 멀티뷰 구성용 부채널 입력을 멀티채널로 동영상을 포함한 다양한 미디어를 입력받는다. 병합 다중화 및 출력 장치(120)는 복수의 카메라 입력, IP 스트리밍 입력, 미디어 파일 입력을 받아 자체적으로 인코딩/트랜스코딩하여 사용하거나, 저작 장치 또는 외부 인코더, 트랜스코더로부터 각각의 부채널에 대한 인코딩된 스트림을 입력 받아 멀티뷰 구성 용 부채널 입력으로 사용한다. 병합 다중화 및 출력 장치(120)는 멀티채널로 입력받은 복수의 영상을 하나의 화면상에 기 설정된 멀티뷰 구성 정보를 이용한 송신 템플릿을 기반으로 부채널 스트림이 병합된 서비스 채널 스트림을 실시간 출력 혹은 파일로 출력한다. 병합 다중화 및 출력 장치(120)는 송신 템플릿으로 구성된 복수의 영상 부채널 스트림을 서비스 채널 스트림으로 병합하여 실시간 혹은 파일로 출력하면서, 각 각의 부채널에 채널 태그를 부여하고, 서비스 채널 스트림 상의 타임라인에 타임라인 태그를 부여하여 스트리밍 되도록 한다. 본 실시예에 따른 멀티채널 미디어 송수신 장치는 입력부(310), 저작부(320), 스트림 다중화부(330), 송출 스트리밍부(340), 수신부(350)를 포함한다. 멀티채널 미디어 송수신 장치에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
멀티채널 미디어 송수신 장치에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 3에 도시된 멀티채널 미디어 송수신 장치의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
입력부(310)는 카메라 입력부, 스트리밍 입력부, 파일 입력부를 포함한다. 입력부(310)는 카메라 입력부를 이용하여 복수의 카메라로부터 카메라 입력으로 영상을 입력받는다. 입력부(310)는 카메라 입력부로부터 입력받은 다중 입력을 처리한다.
입력부(310)는 스트리밍 입력부를 이용하여 네트워크로부터 영상 스트림을 입력받는다. 입력부(310)는 스트리밍 입력부로부터 입력된 영상 스트림을 처리한다. 입력부(310)는 파일 입력부를 이용하여 저작장치로부터 파일을 입력받는다. 입력부(310)는 파일 입력부로부터 입력된 파일을 처리한다.
저작부(320)는 입력부(310)로부터 입력된, 카메라 입력, 영상 스트림, 파일을 멀티뷰 템플릿으로 송신 및 재생출력되도록 구성하여 송신 템플릿과 표출 템플릿을 지정하며, 각각의 입력 영상(부채널)에 채널 태그를 부여하고, 서비스 채널 스트림 상의 타임라인에 따라 타임라인 태그를 부여한다.
저작부(320)는 카메라 입력부로부터 입력된 실시간 카메라 입력, 스트리밍 입력부로부터 입력된 영상 스트림, 파일 입력부로부터 입력된 다양한 포맷의 파일을 멀티뷰 채널로 구성한 멀티뷰 채널 구성정보를 생성한다.
저작부(320)는 카메라 입력부로부터 입력된 실시간 카메라 입력, 스트리밍 입력부로부터 입력된 영상 스트림, 파일 입력부로부터 입력된 다양한 포맷의 파일을 멀티뷰 채널로 구성할 때, 필요한 부채널간 동기화 정보를 생성하여 멀티뷰 채널 구성 정보에 포함한다.
저작부(320)는 멀티뷰 채널 구성정보에 기반하여, 스트림 다중화부(330) 에서 생성되는 서비스 채널 스트림의 부채널 스트림 병합 포맷을지정하기 위해 송신 템플릿(410)을 설정한 후 송신 템플릿 설정 정보를 생성한다. 저작부(320)는 멀티뷰 채널 구성정보에 기반하여 생성, 출력되는 서비스 채널 스트림을 수신한 수신기(350)에서의 재생, 디스플레이할 포맷에 대한 표출 템플릿(420)을 설정한 후 표출 템플릿 설정 정보를 생성한다.
저작부(320)는 각 부채널에 대한 채널 태그를 삽입한 후 채널 태그 삽입 정보를 생성한다. 저작부(320)는 송출 서비스 채널 스트림에 대한 타임라인 태그를 삽입한 후 타임라인 태그 삽입 정보를 생성한다.
저작부(320)는 멀티뷰 채널 구성정보, 송신 템플릿 설정 정보, 표출 템플릿 설정 정보, 채널 태그 삽입 정보, 타임라인 태그 삽입 정보, 동기화 정보를 스트림 다중화부(330)로 전송한다.
저작부(320)는 멀티채널로 입력을 수신한다. 저작부(320)는 입력된 멀티채널 중 일부 채널을 부채널로 설정한 후 특정 부채널들을 병합하여 하나의 서비스 채널로 생성한다. 저작부(320)는 부채널별 채널 태그를 삽입할 수 있다. 저작부(320)는 서비스 채널에 대하여 타입라인 태그를 삽입한다.
저작부(320)는 부가 기능으로 채널태그, 타임라인 태그를 삽입할 때, 화면 분석, 음성/오디오/명령 분석, 채팅 내역 분석을 통해 저작자의 수동 작업이 아닌 자동 태그 삽입 기능으로 제공한다.
스트림 다중화부(330)는 입력부(310)로부터 영상 스트림을 입력받는다. 스트림 다중화부(330)는 저작부(320)로부터 멀티뷰 채널 구성정보, 송신 템플릿 설정 정보, 표출 템플릿 설정 정보, 채널 태그 삽입 정보, 타임라인 태그 삽입 정보, 동기화 정보를 수신한다.
입력부(310)로 입력되는 입력 영상에 대한 인코딩/트랜스코딩은 입력부(310) 또는 저작부(320) 또는 스트림 다중화부(330) 또는 기타 외부 인코더/트랜스코더에서 수행 될 수 있다.
스트림 다중화부(330)는 멀티뷰 채널 구성정보, 송신 템플릿 설정 정보, 표출 템플릿 설정 정보, 채널 태그 삽입 정보, 타임라인 태그 삽입 정보, 동기화 정보를 기반으로 송출 스트림을 생성한다.
스트림 다중화부(330)는 멀티뷰 채널 구성정보, 송신 템플릿 설정 정보를 기반으로 스트림을 병합한다. 스트림 다중화부(330)는 채널 태그 삽입 정보, 타임라인 태그 삽입 정보를 기반으로 태그 정보를 삽입한다.
스트림 다중화부(330)는 송신 템플릿 정보, 표출 템플릿 정보를 기반으로 송신 템플릿 정보, 표출 템플릿 정보를 서비스 채널 스트림에 삽입한다.
송출 스트리밍부(340)는 스트림 다중화부(330)로부터 송출 스트림을 수신한다. 송출 스트리밍부(340)는 송출 스트림을 멀티뷰 서비스 채널 스트림으로 스트리밍 서비스한다. 송출 스트리밍부(340)는 nDVR(network Digital Video Recorder) 기능을 제공하여 시청자가 이전 임의의 위치로 재생 위치를 이동할 경우, 해당 스트림 위치에서 영상이 재생 가능하도록 스트리밍한다.
수신부(350)는 송출 스트리밍부(340)로부터 멀티뷰 서비스 채널 스트림을 수신한다. 수신부(350)는 멀티뷰 서비스 채널 스트림으로부터 멀티뷰 채널 구성정보, 송신 템플릿 설정 정보를 이용하여 멀티뷰 구성 부채널을 추출하여 복호화한다.
수신부(350)는 표출 템플릿 설정 정보를 이용하여 복호화된 멀티뷰 구성 부채널들을 멀티뷰로 구성하여 화면에 표시한다. 수신부(350)는 채널 태그 삽입 정보, 타임라인 태그 삽입 정보를 추출하여 표출 화면에 비디오 정보와 함께 표시한다.
수신부(350)는 멀티뷰 서비스 채널 스트림 채널을 수신한다. 수신부(350)는 서비스 채널 내의 부채널들로 구성된 병합 스트림으로부터 송신 템플릿 정보를 해석한다. 수신부(350)는 부채널별 채널태그를 추출한다. 수신부(350)는 송신 템프릿과 채널태그를 기반으로 각각의 부채널을 추출하여 채널 태그를 매칭한다.
수신부(350)는 표출 템플릿 설정 정보를 해석한다. 수신부(350)는 표출 템플릿 설정 정보를 기반으로, 각각의 부채널을 표출 템플릿 형식에 맞추어 각 위치에 지정된 부채널을 표출하여 부채널을 재생한다. 수신부(350)는 채널 태그 정보를 추출하여 재생되는 부채널에 표출한다. 수신부(350)는 타임라인 태그 삽입 정보를 추출하여, 해당 타임에 해당 태그를 표출한다.
수신부(350)는 화면 분석, 음성/오디오/명령 분석, 채팅 내역 분석 정보, 수신자측 부가 정보, 추출된 채널태그, 타임라인 태그를 참조하여, 필요시 해당 부채널을 강조(주 재생 영역으로 이동, 강조 표시 등) 표출하거나, 해당 타임 위치로 이동하여 재생하여 보여준다.
수신부(350)는 부채널 스트림 포맷별 복호화기와 랜더러를 실장하여 해당 스트림 특성에 맞게 복호화한다. 예컨대, 수신부(350)는 일반적인 동영상 외, VR360 영상 스트림, PCC(Point Cloud Coding) 스트림에 따른 복호화기와 랜더러를 실장하여 해당 스트림 특성에 맞게 영상을 복호화한다.
도 4는 본 실시예에 따른 송신 템플릿과 표출 템플릿 예시를 나타낸 도면이다.
저작장치(110)는 도 4에 도시된 바와 같이, 1×N, M×1, P×Q 형태 등으로 송신 템플릿(410)을 설정한다. 저작장치(110)는 도 4에 도시된 바와 같이, 표출 템플릿(420)을 다양한 형식으로 설정한다. 저작 장치(110)는 송신 템프릿(410) 및 표출 템플릿(420)에 대한 등록/삭제 기능을 적용한다.
도 5는 본 실시예에 따른 저작 장치의 작업 화면 모니터와 출력 화면 모니터 등으로 구성된 GUI 예시를 나타낸 도면이다.
채널 태그는 병합되는 부채널별 태그 정보를 의미한다. 타임라인 태그는 서비스 채널 스트림 채널 타임 라인상 표시되는 태그 정보를 의미한다.
저작 장치(110)는 스트림 입력 컨텐츠 입력설정/등록/삭제 처리부, 라이브 입력 컨텐츠 입력설정/등록/삭제 처리부, 파일(VOD) 컨텐츠 입력설정/등록/삭제 처리부, 화면 출력부, 타임라인 태그부, 채널 태그부, 출력 템플릿 구성부, 송신 템플릿 구성부를 포함한다.
다중 컨텐츠 입력처리부는, 라이브 (카메라, 스트리밍) 입력부, 파일 입력부를 포함한다. 라이브 입력 컨텐츠 처리부는 라이브 컨텐츠 입력설정/등록/삭제, 라이브 컨텐츠 리스트 관리, 컨텐츠 표출을 관리한다. 파일(VOD) 컨텐츠 처리부는 파일 컨텐츠 입력 설정/등록/삭제, 파일 컨텐츠 리스트 관리, 컨텐츠 표출을 관리한다.
화면 출력부는 출력화면 표출, 작업화면 표출을 관리한다. 타임라인 태그부는 타임라인 태그 등록/삭제하고, 타임라인 태그 리스트 및 표출을 관리한다. 채널 태그부는 채널 태그 등록/삭제하고, 채널 태그 리스트 및 표출을 관리한다. 출력 템플릿 구성부는 출력 템플릿 리스트를 표출하고, 템플릿 등록/삭제한다. 송신 템플릿 구성부는 송신 템플릿 리스트를 표출하고, 템플릿 등록/삭제한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 저작 장치
120: 병합 다중화 및 출력 장치
130: 수신 장치
310: 입력부
320: 저작부
330: 스트림 다중화부
340: 송출 스트림부
350: 수신부

Claims (20)

  1. 저작 툴을 이용하여 입력받은 복수의 영상을 포함하는 각각의 부채널 스트림에 포함된 각각의 영상마다 채널 태그 정보를 매칭하고, 상기 각각의 부채널 스트림에 포함된 각각의 영상을 병합한 멀티뷰 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭한 후 멀티뷰 화면 영상 구성 정보로 출력하는 저작 장치;
    상기 멀티뷰 화면 영상 구성 정보에 기반하여 해당 부채널 스트림들을 송신 템플릿에 맞게 병합한 서비스 채널 스트림을 생성하고, 상기 서비스 채널 스트림에 상기 채널 태그 정보, 상기 타임라인 태그 정보를 삽입하여 출력하는 병합 다중화 및 출력 장치; 및
    수신된 상기 서비스 채널 스트림으로부터 상기 채널 태그 정보, 상기 타임라인 태그 정보, 상기 부채널 스트림을 추출하여 복호화하고, 표출 템플릿에 맞게 상기 복호화된 부채널 스트림, 상기 채널 태그 정보, 상기 타임라인 태그 정보를 출력하는 수신 장치;를 포함하고,
    상기 저작 장치는,
    각 부채널 스트림의 영상에 대한 설명을 시청자 수신기에 제공하기 위한 정보로 채널 태그 정보를 생성하거나 서비스 채널 스트림의 타임라인에서의 시간별 영상에 대한 설명을 시청자 수신기에 제공하기 위한 정보로 타임라인 태그를 생성하거나, 시청자 수신기가 디폴트로 지정된 멀티뷰 화면을 구성하거나, 시청자 제어에 의한 멀티뷰 화면을 구성할 수 있도록 하기 위한 정보로 멀티뷰 채널 구성정보, 송신 템플릿 정보, 표출 템플렛 정보를 생성하거나, 부채널간 스트림간 동기화를 위한 동기화 정보를 생성할 수 있으며, 상기 생성된 정보들 중 하나 이상의 정보를 생성하여 출력하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  2. 제1항에 있어서,
    상기 저작 장치는,
    상기 저작 툴을 이용하여 제품 색깔 태그 정보, 가격 태그 정보, 무게 태그 정보, 디자인 태그 정보, 기능 태그 정보 중 하나 이상의 태그 정보에 대응하는 시간의 영상 내용에 관계되는 태그 정보 중 적어도 하나 이상을 포함하는 복수의 태그 정보를 사전에 생성하고, 상기 복수의 태그 정보 중 영상 내용과 관련하여 선택된 어느 하나의 태그를 타임라인 상에 타임라인 태그로 반영하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  3. 제1항에 있어서,
    상기 저작 장치는,
    상기 저작 툴을 이용하여 호스트 영상 태그 정보, 좌측면 영상 태그 정보, 우측면 영상 태그 정보, 광고 영상 태그 정보 중 하나 이상의 태그 정보에 대응하는 영상 입력 부채널의 내용에 관계되는 태그 정보 중 적어도 하나 이상을 포함하는 복수의 태그 정보를 사전에 생성하고, 상기 복수의 태그 정보 중 부채널 내용과 관련하여 선택된 어느 하나의 태그를 해당 부채널에 채널 태그로 반영하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  4. 제1항에 있어서,
    상기 저작 장치는,
    상기 저작 툴을 이용하여 실시간 촬영 영상, 스트림 영상, 기 촬영한 클립 영상을 입력받고, 상기 저작 툴을 이용하여 멀티뷰 표출 형식 중 가장 넓은 영역에 상기 실시간 촬영 영상, 상기 스트림 영상, 상기 기 촬영한 클립 영상 중 어느 하나를 메인 화면으로 할당하고 나머지 영역에 나머지 영상을 보조 화면으로 할당하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  5. 제4항에 있어서,
    상기 저작 장치는,
    AI를 이용하여 채팅창 영역에 상기 수신 장치로부터 입력된 텍스트를 분석하여 문맥을 인지하고, 인지된 상기 문맥에서 요청 사항을 추출하고, 상기 영상 입력 중 상기 요청 사항에 대응하는 영상을 멀티뷰 표출 형식 중 특정 화면이나 상기 보조 화면으로 출력하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  6. 제4항에 있어서,
    상기 저작 장치는,
    상기 실시간 촬영 영상을 동기화하여 멀티뷰 표출 형식에 출력하며, 상기 실시간 촬영 영상, 상기 기 촬영한 클립 영상 중 높은 우선순위를 갖는 영상이 상기 메인 화면에 출력되도록 하고, 상기 실시간 촬영 영상 내의 객체 또는 ROI(Region Of Interest)를 인지한 후 모션 트래킹(Motion Tracking)을 적용하여 상기 객체 또는 상기 ROI가 화면 중앙에 오도록 영상의 위치, 사이즈, 각도를 조정하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  7. 제6항에 있어서,
    상기 저작 장치는,
    사전에 상기 복수의 태그 정보를 생성한 후 상기 태그 정보에 해당하는 아이콘을 리스팅하고, 상기 복수의 태그 정보 중 선택된 태그 정보가 상기 타임라인에 드레그 앤 드롭(drag and drop) 방식으로 삽입되고, 상기 타임라인에 표출되는 상기 태그 정보 중 상기 타임라인 태그에 대응하는 정보로 액세스하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  8. 제6항에 있어서,
    상기 저작 장치는,
    사전에 상기 복수의 채널 태그 정보를 생성한 후 상기 채널 태그 정보에 해당하는 아이콘을 리스팅하고, 상기 복수의 채널 태그 정보 중 선택된 태그 정보가 상기 부채널에 드레그 앤 드롭(drag and drop) 방식으로 삽입되고, 상기 부채널에 표출되는 상기 채널 태그 정보 중 상기 채널 태그에 대응하는 정보로 액세스하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  9. 제6항에 있어서,
    상기 저작 장치는,
    상기 멀티뷰 서비스 채널 스트림을 출력하다가 상기 태그 정보에 대한 요청을 수신하는 경우, 대응하는 태그에 매칭된 영상 입력을 부채널로 추가하거나 기존 화면을 전환하여 출력하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  10. 제7항에 있어서,
    상기 저작 장치는
    인터넷 가격 정보를 별도의 인터넷 정보창에 출력하고, 판매량, 누적 수익, 기타 영업 현황 정보를 판매 정보창에 출력하며, 상기 인터넷 정보창 상에 가격 조정 기능을 이용하여 셀러 최저가를 비교하여 가격을 조정할 수 있도록 하며, 타임 세일(Time Sale) 이벤트(Event)를 출력하도록 하며, 상기 인터넷 정보창 상에 가격 흥정 기능을 이용하여 특정한 고객에게 구매 수량 조건에 따라 가격 흥정(Negotiation)을 할 수 있도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  11. 제4항에 있어서,
    상기 저작 장치는,
    상기 실시간 촬영 영상, 상기 스트림 영상, 상기 기 촬영한 클립 영상들 중 동기화가 필요한 부채널 간의 동기화 정보를 생성하여 멀티뷰 영상 구성 정보로 출력되도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  12. 제1항에 있어서,
    상기 병합 다중화 및 출력 장치는
    상기 저작 장치로부터 수신하거나, 입력 장치로부터 수신하거나, 외부의 인코더/트랜스코더 장치로부터 수신하거나, 자체적으로 인코딩/트랜스코딩 하여 생성된 부채널 스트림을 병합 다중화하여 스트림으로 출력하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  13. 제12항에 있어서,
    상기 병합 다중화 및 출력 장치는
    nDVR(network Digital Video Recorder) 기능을 이용하여 상기 수신 장치가 이전 임의의 위치로 재생 위치를 이동할 경우, 해당 스트림 위치에서 영상이 재생 되도록 스트리밍하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  14. 제1항에 있어서,
    상기 수신 장치는,
    AR(Augmented Reality) 기능을 이용하여 사용자의 몸, 허리둘레, 손가락 둘레, 손목둘레 중 적어도 하나 이상의 치수를 측정한 후 상기 특정 객체의 실시간 포인트 클라우드(Point Cloud)를 3차원으로 렌더링(Rendering)하고, 상기 3차원 렌더링한 상기 특정 객체를 상기 치수에 맞게 조절한 후 해당 부위에 자동으로 매칭하여 출력하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  15. 제14항에 있어서,
    상기 수신 장치는,
    챗봇과의 채팅으로 질의한 내용에 대해서 자동으로 답변을 받으며, 상기 챗봇과 음성인식 채팅을 수행하면 상기 챗봇이 음성을 인식하여 채팅창에 출력하도록 하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  16. 제15항에 있어서,
    상기 수신 장치는,
    셀러 또는 쳇봇과의 채팅 내용 또는 음성 인식 내용을 인식하여 해당 내용에 매칭되는 타임라인 태그 또는 채널 태그를 확인하고, 해당 태그 정보를 기반으로 해당 타임라인부터 자동 재생 또는 강조 표출하거나, 해당 부채널애 대하여 강조 표출 또는 부채널 표출 영상에 추가 또는 메인 화면에 전환 재생하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  17. 제15항에 있어서,
    상기 수신 장치는,
    셀러와 채팅할 때, 다수의 고객이 동시 질문할 경우 질문자의 ID, 이름, 전화번호 중 적어도 하나 이상의 구분 가능 정보를 이용하여 음성 답변할 경우 수신자만 답변을 텍스트로 출력하는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  18. 제14항에 있어서,
    상기 수신 장치는,
    상기 표출 템플릿으로 멀티뷰 영상을 출력할 때, 멀티뷰 영상에 포함된 VR360 영상 스트림, PCC(Point Cloud Coding) 스트림에 따른 복호화기와 랜더러를 구동하여 스트림 특성에 맞게 영상을 복호화시키는 것을 특징으로 하는 멀티채널 미디어 송수신 시스템.
  19. 저작 장치에서 저작 툴을 이용하여 입력받은 복수의 영상을 포함하는 각각의 부채널 스트림에 포함된 각각의 영상마다 채널 태그 정보를 매칭하고, 상기 각각의 부채널 스트림에 포함된 각각의 영상을 병합한 멀티뷰 서비스 채널 스트림의 타임라인 상에 타임라인 태그(Tag) 정보를 매칭한 후 멀티뷰 화면 영상 구성 정보로 출력하는 과정;
    병합 다중화 및 출력 장치에서 상기 멀티뷰 화면 영상 구성 정보에 기반하여 부채널 스트림들을 송신 템플릿에 맞게 병합한 서비스 채널 스트림을 생성하고, 상기 서비스 채널 스트림에 상기 채널 태그 정보, 상기 타임라인 태그 정보를 삽입하여 출력하는 과정; 및
    수신 장치에서 수신된 상기 서비스 채널 스트림으로부터 상기 채널 태그 정보, 상기 타임라인 태그 정보, 상기 부채널 스트림을 추출하여 복호화하고, 표출 템플릿에 맞게 상기 복호화된 부채널 영상, 상기 채널 태그 정보, 상기 타임라인 태그 정보를 출력하는 과정을 포함하고,
    상기 저작 장치는,
    각 부채널 스트림의 영상에 대한 설명을 시청자 수신기에 제공하기 위한 정보로 채널 태그 정보를 생성하거나 서비스 채널 스트림의 타임라인에서의 시간별 영상에 대한 설명을 시청자 수신기에 제공하기 위한 정보로 타임라인 태그를 생성하거나, 시청자 수신기가 디폴트로 지정된 멀티뷰 화면을 구성하거나, 시청자 제어에 의한 멀티뷰 화면을 구성할 수 있도록 하기 위한 정보로 멀티뷰 채널 구성정보, 송신 템플릿 정보, 표출 템플렛 정보를 생성하거나, 부채널간 스트림간 동기화를 위한 동기화 정보를 생성할 수 있으며, 상기 생성된 정보들 중 하나 이상의 정보를 생성하여 출력하는 것을 특징으로 하는 멀티채널 미디어 송수신 방법.
  20. 제19항에 있어서,
    상기 저작 장치에서 실시간 촬영 영상, 스트림 영상, 기 촬영한 클립 영상들 중 동기화가 필요한 부채널간의 동기화 정보를 생성하여 멀티뷰 영상 구성 정보로 출력 하는 과정;
    을 더 포함하는 것을 특징으로 하는 멀티채널 미디어 송수신 방법.
KR1020200167045A 2020-12-02 2020-12-02 멀티채널 미디어 송수신 방법 및 시스템 KR102417084B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200167045A KR102417084B1 (ko) 2020-12-02 2020-12-02 멀티채널 미디어 송수신 방법 및 시스템
PCT/KR2021/014985 WO2022119119A1 (ko) 2020-12-02 2021-10-25 멀티채널 미디어 송수신 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200167045A KR102417084B1 (ko) 2020-12-02 2020-12-02 멀티채널 미디어 송수신 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220077781A KR20220077781A (ko) 2022-06-09
KR102417084B1 true KR102417084B1 (ko) 2022-07-06

Family

ID=81853164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167045A KR102417084B1 (ko) 2020-12-02 2020-12-02 멀티채널 미디어 송수신 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102417084B1 (ko)
WO (1) WO2022119119A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379250A (zh) * 2022-07-22 2022-11-22 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845157B1 (ko) * 2016-07-12 2018-04-03 케이티하이텔 주식회사 가상현실을 이용하여 디지털데이터방송 홈쇼핑의 상품상세정보를 제공하는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644095B1 (ko) * 2004-10-13 2006-11-10 박우현 디지털 방송 환경 하에 있어서 연동형 데이터방송을 인터넷 영역으로 확장하여 양방향 광고를 실현하는 방법
KR20090115344A (ko) * 2008-05-02 2009-11-05 강민수 사용자 선택 방송국 카메라 촬상 영상 제공 시스템 및 그방법
KR20130052226A (ko) * 2011-11-11 2013-05-22 권순길 홈쇼핑 방송 서비스 장치 및 방법
KR102188929B1 (ko) * 2018-09-14 2020-12-09 나모웹비즈주식회사 증강 현실, 가상 현실 또는 혼합 현실 컨텐츠를 제공하는 디스플레이 장치, 방법 및 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845157B1 (ko) * 2016-07-12 2018-04-03 케이티하이텔 주식회사 가상현실을 이용하여 디지털데이터방송 홈쇼핑의 상품상세정보를 제공하는 방법

Also Published As

Publication number Publication date
KR20220077781A (ko) 2022-06-09
WO2022119119A1 (ko) 2022-06-09

Similar Documents

Publication Publication Date Title
US10735798B2 (en) Video broadcast system and a method of disseminating video content
US20210344991A1 (en) Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display
US20210019982A1 (en) Systems and methods for gesture recognition and interactive video assisted gambling
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
CN106792228B (zh) 一种直播互动方法和系统
US11310463B2 (en) System and method for providing and interacting with coordinated presentations
US20150124171A1 (en) Multiple vantage point viewing platform and user interface
KR101915786B1 (ko) 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법
KR100948691B1 (ko) 삼차원 개인 광고 방송 서비스 제공 장치와 방법 및 인터넷 방송 수신 장치
WO2019191082A2 (en) Systems, methods, apparatus and machine learning for the combination and display of heterogeneous sources
US20180227501A1 (en) Multiple vantage point viewing platform and user interface
CN102547213A (zh) 一种用于视频会议系统的视频成像预览方法
US20230140701A1 (en) System and method for providing and interacting with coordinated presentations
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
WO2018071781A2 (en) Systems and methods for video processing and display
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR102417084B1 (ko) 멀티채널 미디어 송수신 방법 및 시스템
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
KR102313309B1 (ko) 고객 맞춤형 라이브 방송 시스템
JP2003259336A (ja) データ生成方法、データ生成装置、データ伝送方法、映像プログラム再生装置、映像プログラム再生方法、記録媒体
JP2023082098A (ja) 情報処理装置および情報処理方法
WO2002086760A1 (fr) Appareil de creation de metadonnees et procede de creation de metadonnees
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right