JP2020534724A - 仮想画像処理方法、画像処理システムおよび記憶媒体 - Google Patents

仮想画像処理方法、画像処理システムおよび記憶媒体 Download PDF

Info

Publication number
JP2020534724A
JP2020534724A JP2020511180A JP2020511180A JP2020534724A JP 2020534724 A JP2020534724 A JP 2020534724A JP 2020511180 A JP2020511180 A JP 2020511180A JP 2020511180 A JP2020511180 A JP 2020511180A JP 2020534724 A JP2020534724 A JP 2020534724A
Authority
JP
Japan
Prior art keywords
virtual
image pickup
scene
imaging device
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020511180A
Other languages
English (en)
Inventor
涵渠 ▲呉▼
涵渠 ▲呉▼
四化 ▲楊▼
四化 ▲楊▼
振航 ▲厳▼
振航 ▲厳▼
明璞 ▲謝▼
明璞 ▲謝▼
振志 ▲呉▼
振志 ▲呉▼
宇 ▲劉▼
宇 ▲劉▼
▲選▼中 李
▲選▼中 李
▲興▼▲紅▼ ▲孫▼
▲興▼▲紅▼ ▲孫▼
Original Assignee
深▲セン▼市奥拓▲電▼子股▲フン▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深▲セン▼市奥拓▲電▼子股▲フン▼有限公司 filed Critical 深▲セン▼市奥拓▲電▼子股▲フン▼有限公司
Publication of JP2020534724A publication Critical patent/JP2020534724A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、仮想画像処理方法、画像処理システムおよび記憶媒体に関し、前記方法は、撮像画面の仮想化を実現するために使用される仮想画像処理方法であって、撮像装置の基準位置およびリアルタイム位置を取得するステップと、リアルタイム位置の基準位置に対する移動パラメータを算出するステップと、移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出するステップと、透視パラメータによって仮想シーンをエンコードするステップと、置換対象シーンを、エンコードされた仮想シーンに置換するステップと、を含む方法である。本発明で提供された仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像とのシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。

Description

本発明は、画像処理の技術分野に属し、特に仮想画像処理方法、画像処理システムおよび記憶媒体に関する。
撮像装置で撮像された真実なシーンは、グラフィックワークステーションでレンダリングされた仮想３次元シーンと合成され、最終的な視聴者に見られる画像を取得する。この方法は、仮想スタジオで適用でき、司会者の現場での動きをグラフィックワークステーションで生成された仮想背景にシームレスに融合し、また、サッカーやバスケットボールなどのスポーツゲームの中継放送過程にも適用でき、グラウンド周辺の広告を仮想画像処理で置き換え、現場での観客とテレビ前の視聴者とは２つの異なる広告を見ることができ、このうえ、同じスポーツゲームでも、異なる中継放送対象の国に対して、異なる広告を仮想化して出すことができ、これによって、広告主の利益を高めることができる。
従来の仮想画像処理方法では、撮像装置用雲台を、自由に動かさないように三脚に固定することが要求される。この場合、グラフィックワークステーションは、撮像装置のパン、チルト、フォーカス、合焦などのいくつかのパラメータを取得することによって、元の画像に対する合成された仮想画像の遠近関係を算出でき、これによって仮想画像を実現できる。
しかしながら、固定された撮像装置はビデオを撮像する柔軟性を制限し、ある固定位置からしか撮像することができず、例えば、高速走行中の選手やレーシングカーに対する撮像を完全に追跡することは困難である。また、撮像装置の位置をいったん移動させると、システムの再較正を必要とし、それは時間も手間もかかる。したがって、従来技術には欠陥があり、改善する必要がある。
本発明の第１の態様は、撮像画面の仮想化を実現するために使用される仮想画像処理方法を提供し、前記方法は、
撮像装置の基準位置およびリアルタイム位置を取得するステップと、
基準位置に対するリアルタイム位置の移動パラメータを算出するステップと、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、仮想化された仮想撮像装置に対する置換対象シーンの透視パラメータを算出するステップと、
透視パラメータによって仮想シーンをエンコードするステップと、
置換対象シーンを、エンコードされた仮想シーンに置換するステップと、を含む。
一実施形態では、前記撮像装置にはジャイロスコープが設置され、ジャイロスコープを介して撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムで算出する。
一実施形態では、前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは、
撮像装置の静止パラメータを取得することと、
プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することと、を含む。
ここで、前記静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置が撮像する時に実際にある位置を取得することと、
移動パラメータに基づいて撮像装置の移動傾向を算出し予測することと、
撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
一実施形態では、前記の置換対象シーンの仮想撮像装置に対する透視パラメータを算出することは、
置換対象シーンの撮像画面での位置を識別することと、
仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの透視パラメータを算出することと、を含む。
ここで、前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれる。
上記の仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像のシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。
本発明の第２の態様は、
画像を撮像するための撮像装置と、
撮像装置のリアルタイム位置と基準位置を取得するための位置取得部と、
撮像装置のリアルタイム位置が基準位置に対する移動パラメータを算出するための算出部と、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するためのプロセッサと、
仮想シーンをエンコードするためのエンコード部と、
置換対象シーンを仮想シーンに置換するための置換部と、を含む画像処理システムを提供する。
一実施形態では、前記撮像装置内にはジャイロスコープが設置され、前記算出部は、ジャイロスコープのチップである。
一実施形態では、撮像装置の静止パラメータを取得するためのパラメータ取得部をさらに含む。
本発明の第３の態様は、コンピュータプログラムが格納された機械可読記憶媒体を提供し、前記コンピュータプログラムはプロセッサによって実行されると、上記のいずれか一項に記載の仮想画像処理方法を実現する。
上記の画像処理システムは、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像のシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。
本発明の一実施形態に係る仮想画像処理方法のフローチャートである。 本発明の一実施形態に係る仮想画像処理方法のプロセスの一部の分解図である。 本発明の別の実施形態に係る仮想画像処理方法のプロセスの一部の分解図である。 ＬＥＤディスプレイの表示画面をエンコードするプロセスを示す図である。 本発明の別の実施形態に係る仮想画像処理方法のフローチャートである。 本発明の一実施形態による画像処理システムの構造ブロック図である。
本発明の上記の目的、特徴、および利点をより明確に理解されるために、以下では、添付の図面および具体的な実施形態を参照して本発明を詳細に説明する。矛盾がない場合、本願の実施形態および実施形態の特徴は、互いに組み合わせることができることを理解されたい。
以下の説明では、本発明が十分に理解されるために多くの具体的な細部が述べられており、説明された実施形態は本発明の実施形態の一部にすぎず、実施形態のすべてではない。本発明における実施形態に基づき、当業者が創造的な工夫なしで得られた他の実施形態のすべては、本発明の範囲内に属すべきである。
特に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、当業者によって一般的に理解されるのと同じ意味を有する。本発明の本明細書で使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定することを意図されるものではない。
図１は、本発明のいくつかの実施形態に係る仮想画像処理方法のフローチャートであり、前記仮想画像処理方法は、テレビのライブ放送、中継放送、および仮想スタジオに適用できる。なお、本発明の実施形態に係る仮想画像処理方法は、図１に示すようなフローチャートにおけるステップと順序に限定されるものではなく、異なるニーズに応じて、フローチャート中のステップは追加、削除、または順番の変更ができる。
本発明の実施形態に係る仮想画像処理方法は、撮像装置の撮像画面を処理対象とし、撮像処理プロセスにおいて、前記撮像装置は、特定の場所に静的に配置されてもよいし、動的に移動して撮像してもよい。仮想画像処理方法は、特定の撮像画面に応じて、撮像エリア内の特定のキャリアの表示画面を仮想的に置換でき、表示画面を仮想シーンで置換することができるため、異なる地域で異なる仮想シーンを見せることができる。例えば、中継放送過程において、広告の置換によって、異なる地域に異なる広告を放送することを実現して、中継放送の収益を増やすことができる。通常、前記特定のキャリアは広告看板または広告機（例えば、ＬＥＤディスプレイなど）であり、前記表示画面はディスプレイに再生されているビデオであってもよい。
図１に示すように、前記仮想画像処理方法には次のステップが含まれる。
ステップＳ１０２：撮像装置の基準位置およびリアルタイム位置を取得する。
撮像装置が移動撮像プロセスにおいて、表示画面の特定のキャリアは撮像装置の撮像画面における形状およびサイズは絶えず変化している。したがって、移動過程中の撮像装置の撮像画面における表示画面に対して仮想化置換を実現するために、撮像装置には所定の基準位置を予め確定する必要であり、撮像装置の撮像プロセスにおいて、当該基準位置に基づいてキャリアの形状、サイズ、および歪みを評価する。
ステップＳ１０４：リアルタイム位置の基準位置に対する移動パラメータを算出する。
いくつかの実施形態では、撮像装置内には算出部が設置され、算出部は、撮像装置の基準位置に対するリアルタイム位置によって撮像装置の移動パラメータを算出し、仮想撮像装置の仮想化のために参照を提供する。具体的な実施形態では、撮像装置内にはジャイロスコープが設置され、ジャイロスコープによって、撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムに算出する。
ステップＳ１０６：移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出する。
前記置換対象シーンとは、撮像装置で撮像された、特定のキャリアに表示される表示画面である。前記仮想撮像装置の位置および姿勢は、１フレームの特定の画像によって算出された撮像装置の撮像画角である。撮像装置で撮像された画像はフレームを単位として伝送され、次のフレームの画像が到着する前に、現在処理中のフレーム画像の撮像画角を仮想撮像装置の初期位置として、仮想撮像装置の初期位置および撮像装置の移動パラメータから、次のフレームの画像において仮想撮像装置の位置を仮想化でき、次のフレームの画像の撮像画角が仮想化されるため、撮像画角の変化によって置換対象シーンの仮想撮像装置に対する透視パラメータを算出できる。異なるプロセッサの処理効率に応じて、仮想撮像装置の位置および姿勢を一定の遅延で仮想化してもよく、現在のフレームに基づいて次の１フレームまたは次の複数のフレームの仮想撮像装置の位置および姿勢を仮想化でき、且つこの遅延を調整することができる。当業者であれば、プロセッサの処理効率が条件を満たしたうえ、現在フレームの仮想撮像装置の位置および姿勢を直接算出でき、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出でき、それを、仮想シーンを調整する基準とすることが理解されたい。
図２に示すように、いくつかの実施形態では、前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは以下を含む。
ステップＳ１０６１：撮像装置の静止パラメータを取得する。
ステップＳ１０６３：プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出する。
撮像装置の静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。撮像装置が移動しながら撮像する場合、通常、画像安定化のために、撮像装置用雲台を取り付ける必要がある。したがって、撮像装置用雲台によって撮像装置のパンとチルトを取得することができ、また、レンズのフォーカスとズームは撮像画面のサイズおよび解像度を直接決定するため、通常、撮像装置の制御チップによって制御され、したがって、レンズのフォーカスおよびズームは撮像装置の制御チップから直接読み取ることができる。
静止パラメータによって撮像装置の特定の位置での姿勢変化を確定でき、基準位置と移動パラメータによって撮像装置の移動方向を確定できるため、現在フレームの仮想撮像装置の位置に基づいて、仮想撮像装置の位置および姿勢を仮想化できる。
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を仮想化することは、
撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
通常、撮像装置のシャッターは極めて短いため、前のフレームと次のフレームでの仮想撮像装置の位置と姿勢の仮想変化は小さく、基本的に同じである。そのため、前の１フレームの仮想撮像装置の位置および姿勢を次の1フレームまたは複数のフレームの仮想撮像装置の位置および姿勢に置換して、仮想撮像装置の位置および姿勢とする。誤差は通常、許容範囲内に抑えることができ、観察者の目視でキャプチャされない。
別のいくつかの実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置の撮像する時に実際にある位置を取得することと、
移動パラメータに基づいて撮像装置の移動傾向を算出し予測することと、
撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
ジャイロスコープが撮像装置内に設置されている場合、撮像装置のＸ、Ｙ、Ｚの３方向における動きによって、時間Ｔ後、撮像装置のＸ、Ｙ、Ｚの３方向における撮像装置の位置をそれぞれ算出できる。時間Ｔ後の撮像装置の位置および現在時刻の撮像装置の位置に基づいて、撮像装置の移動傾向を予測し、予測の結果を傾向ベクトルとして表示することができる。傾向ベクトルは、撮像装置の動きの方向を特徴付けるために使用される。一般的に、時間Ｔは撮像装置のシャッターオープン時間より小さい。
図３に示すように、いくつかの実施形態では、前記置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出することは以下を含む。
ステップＳ１０６５：置換対象シーンの撮像画面での位置を識別する。
ステップＳ１０６７：仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの仮想撮像装置に対する透視パラメータを算出する。
置換対象シーンの識別は、キャリアの表示画面をエンコードすることによって実現できる。具体的な一実施形態では、前記キャリアの表示画面をエンコードすることは、通常の表示フレームの間に仮想フレームを挿入し、通常の表示フレームと仮想フレームは、キャリア（ＬＥＤディスプレイ）に定期的に表示される。表示フレームと仮想フレームのタイムスロット比を制御することにより、観察者の目に呈するＬＥＤディスプレイの画面は表示フレームのみであり、仮想フレームは占有するタイムスロットが短すぎて人間の目でキャプチャできない。撮像装置のシャッターオープン時間は仮想フレームの表示時間と同期し、つまり、撮像装置のシャッターは、ＬＥＤディスプレイに仮想フレームが表示されるときにのみオープンするため、撮像装置がキャプチャされたＬＥＤディスプレイの表示画面（すなわち、置換対象シーン）は、仮想フレームのみである。前記仮想フレームは、赤、緑、および青の単色画像であってもよい。したがって、仮想フレームが識別される限り、置換対象シーンを識別できる。
図４に示すように、図４は、キャリア（ＬＥＤディスプレイを例にとると）の表示画面をエンコードするプロセスを例示的に示している。プロセッサがキャリア内に設置され、表示フレーム１００がプロセッサによって処理された後、ＬＥＤディスプレイに表示される。複数の連続的な表示フレーム１００がプロセッサによって処理された後、１つの仮想フレーム２００が２つの表示フレーム１００の間に挿入され、仮想フレーム２００は、外部からプロセッサに送信されるか、プロセッサによって自動的に生成されてもよい。プロセッサは、表示フレーム１００と仮想フレーム２００とのタイムスロット比を調整した後、データストリームをＬＥＤに送信して表示し、表示フレーム１００と仮想フレーム２００をＬＥＤディスプレイに交互に表示させる。最後に、表示フレーム１００は肉眼で見られ、仮想フレーム２００が撮像装置によってキャプチャされて置換対象シーンを形成するため、置換対象シーンの識別は、単色画像領域を識別するだけでよい。
仮想撮像装置の位置および姿勢が仮想化された後、仮想撮像装置の撮像画角を仮想化することができ、仮想撮像装置の現在の撮像画角と仮想撮像画角に応じて、結像角度撮像画角の変化によって置換対象シーンの仮想撮像装置に対する透視パラメータを算出できる。前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれる。
ステップＳ１０８：透視パラメータによって仮想シーンをエンコードする。
仮想シーンを次のフレーム画像の置換対象シーンの位置と一致させるためには、透視パラメータによって仮想シーンを置換対象シーンと仮想撮像装置との間の遠近関係に適合するようにエンコードする必要であり、撮像画面とのシームレスな融合が実現される。
ステップＳ１１０：置換対象シーンをエンコードされた仮想シーンに置換する。
仮想シーンがエンコードされた後、置換対象シーンの領域を境界線に沿って切り取って、仮想シーンに置換すると、仮想シーンと撮像画面とのシームレスな融合が完了される。融合された画像は表示装置に送信されて表示される。この時、表示装置の表示画面では、キャリアには仮想シーンが表示されるが、撮像現場のキャリアには、表示フレーム１００からなる表示映像が表示されるため、撮像画面の仮想化が実現される。
図５に示すように、いくつかの実施形態では、前記仮想画像処理方法は以下をさらに含む。
ステップＳ１１２：撮像装置のリアルタイム位置を撮像装置の基準位置に更新する。
撮像装置の基準位置を更新することにより、算出の精度を向上させることができる。
もちろん、いくつかの実施形態では、撮像装置の基準位置が一定であってもよく、固定的な位置を維持し、その位置を座標系のゼロ点とし、撮像装置の動きは、座標系内の動きとみなすことができる。
上記の仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化するため、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画面とのシームレスな融合を実現できる。撮像装置の移動中の仮想表示に適用できる。
図６に示すように、本発明は、画像処理システム１０をさらに提供し、いくつかの実施形態では、前記画像処理システム１０は、撮像装置１１０、位置取得部１２０、算出部１３０、プロセッサ１４０、エンコード部１５０、および置換部１６０を含む。理解できるように、上記の仮想画像処理方法に係る各実施形態に応じて、前記画像処理システム１０は、図５に示される各部または装置の一部または全部を含んでもよく、各部または装置の役割はこれから具体的に紹介する。なお、上記の仮想画像処理方法の各実施形態における同じ名詞や関連用語およびその具体的な説明は、以下の各部または装置についての機能紹介にも適用できることに留意されたい。重複を避けるため、ここでは再び説明しない。
前記撮像装置１１０は、画像を撮像するために使用される。
前記位置取得部１２０は、撮像装置１１０のリアルタイム位置および基準位置を取得するために使用される。
前記算出部１３０は、撮像装置のリアルタイム位置の基準位置に対する移動パラメータを算出するために使用される。
いくつかの実施形態では、撮像装置１１０内にジャイロスコープを設置してもよく、ジャイロスコープのチップを算出部１３０として使用でき、ジャイロスコープのチップによって撮像装置のリアルタイム位置の基準位置に対する移動パラメータをリアルタイムで算出する。
前記プロセッサ１４０は、移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するために使用される。
前記置換対象シーンとは、撮像装置１１０によってキャプチャされ、特定のキャリアに表示される表示画面を指す。
いくつかの実施形態では、撮像装置１１０の静止パラメータを取得するために使用されるパラメータ取得部１７０をさらに含む。
撮像装置１１０の静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。前記パラメータ取得部１７０は前記撮像装置１１０内に設置されてもよい。
一実施形態では、前記プロセッサ１４０は、さらに、
撮像装置１１０の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置１１０の実際の位置を総合的に算出すること、および
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することに使用される。
一実施形態では、前記プロセッサ１４０は、さらに、
置換対象シーンの撮像画面での位置を識別すること、および
仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの仮想撮像装置に対する透視パラメータを算出することに使用される。
前記エンコード部１５０は、仮想シーンをエンコードするために使用される。
前記置換部１６０は、置換対象シーンを仮想シーンに置換するために使用される。
いくつかの実施形態では、位置更新部１８０がさらに含まれ、前記位置更新部１８０は、撮像装置１１０の基準位置を更新するために使用される。
本発明の一実施形態は、コンピュータプログラムが格納された機械可読記憶媒体をさらに提供し、ここで、前記コンピュータプログラムは、プロセッサによって実行されると、上記いずれか一実施形態に記載の仮想画像処理方法を実施する。
前記画像システムまたはコンピュータ装置に統合された部／モジュール／ユニットは、ソフトウェア機能ユニットの形態で実現されかつ独立の製品として販売され又は使用される場合、コンピュータ可読媒体に記憶することができる。このような理解に基づいて、本発明は上記実施例の方法におけるフローの全部又は一部を実現するために、関連するハードウェアを命令するためのコンピュータプログラムによって実現されてもよく、前記コンピュータプログラムはコンピュータ可読媒体に記憶することができ、前記コンピュータプログラムはプロセッサによって実行されるとき、前記の各方法実施例のステップを実現することができる。ここで、前記コンピュータプログラムはコンピュータプログラムコードを含み、前記コンピュータプログラムコードはソースコード形態、オブジェクトコード形態、実行可能なファイル又は何らかの中間形態などであってもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラムコードを運ぶことができる任意のエンティティ又は装置、記録媒体、ＵＳＢメモリ、ポータブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体などを含む。なお、前記コンピュータ可読媒体に含まれるコンテンツは、司法管轄区域内の立法及び特許実務の要件に従って適切に増減することができ、例えばいくつかの司法管轄区域では、立法及び特許実務によって、コンピュータ可読媒体は電気搬送波信号及び電気通信信号を含まない。
本発明によって提供される実施形態において、開示されたシステムまたは方法は、他の方法で実施され得ることを理解すべきである。例えば、以上説明された実施例は例示的なものに過ぎず、例えば、前記部の区分は、論理的な機能区分にすぎず、実際の実施時に、他の区分方法も用いることができる。
また、本発明の各実施形態における各機能モジュール／部は、同じ処理モジュール／部に統合されていてもよく、各モジュール／部が物理的に別々に存在していてもよく、２つ以上のモジュール／部が同じモジュール／部に統合されてもよい。上記の統合されたモジュール／部は、ハードウェアの形態で実現してもよいし、ソフトウェア機能モジュール／部の形態で実現してもよい。
当業者にとって、本発明の実施形態が上記の例示的な実施形態の詳細に限定されず、本発明の実施形態の精神または基本的特徴から逸脱することなく他の特定の形態で実施できることは明らかである。したがって、実施形態はあらゆる点で例示的かつ非限定的であるとみなされるべきであり、本発明の実施形態の範囲は、上記の説明ではなく添付の特許請求の範囲によって定義されるため、請求項の同等の要素の意味および範囲内にあるすべての変更は、本発明の実施形態に含まれる。請求項に含まれるあらゆる参照符号は、請求項を限定するものとみなされるべきではない。また、「含む」という用語は、他のユニットやステップを排除するものではなく、単数の形でも複数を排除しないことが明らかである。システム、装置、または端末について、請求項に記載されている複数のユニット、モジュール、または装置は、ソフトウェアまたはハードウェアを介して同じユニット、モジュール、または装置によって実現することもできる。第一、第二などの用語は名称を示すために使用されるが、特定の順序を示すものではない。
上記の実施形態の各技術的特徴は任意に組み合わせることができ、説明を簡潔にするために、上記の実施形態の各技術的特徴の可能な組み合わせはすべて記載されていないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載の範囲と見なすべきである。
以上に記載の実施例は本発明のいくつかの実施形態のみを示しており、その説明は具体的で詳細なものであるが、これにより発明の特許請求の範囲を限定するものと理解することができない。当業者であれば、本発明の構想を逸脱することなく、いくつかの変形及び改良を行うことができ、これらはすべて本発明の保護範囲に属することに留意されたい。従って、本発明特許の保護範囲は添付の特許請求の範囲に準じるものとする。
110 撮像装置
120 位置取得部
130 算出部
140 プロセッサ
150 エンコード部
160 置換部
170 パラメータ取得部
180 位置更新部

Claims (10)

  1. 撮像画面の仮想化を実現するために使用される仮想画像処理方法であって、
    撮像装置の基準位置およびリアルタイム位置を取得するステップと、
    リアルタイム位置の基準位置に対する移動パラメータを算出するステップと、
    移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出するステップと、
    透視パラメータによって仮想シーンをエンコードするステップと、
    置換対象シーンを、エンコードされた仮想シーンに置換するステップと、
    を含むことを特徴とする仮想画像処理方法。
  2. 前記撮像装置内にはジャイロスコープが設置され、ジャイロスコープを介して撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムで算出することを特徴とする請求項１に記載の仮想画像処理方法。
  3. 前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは、
    撮像装置の静止パラメータを取得することと、
    プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することと、を含み、
    前記静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれることを特徴とする請求項１または２に記載の仮想画像処理方法。
  4. 前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
    撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
    静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含むことを特徴とする請求項３に記載の仮想画像処理方法。
  5. 前記プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
    撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置が撮像する時に実際にある位置を取得することと、
    移動パラメータに基づいて撮像装置の移動傾向を算出および予測することと、
    撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
    静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含むことを特徴とする請求項３に記載の仮想画像処理方法。
  6. 前記置換対象シーンの仮想撮像装置に対する透視パラメータを算出することは、
    置換対象シーンの撮像画面での位置を識別することと、
    仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの透視パラメータを算出することと、を含み、
    前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれることを特徴とする請求項３から５のいずれか一項に記載の仮想画像処理方法。
  7. 画像処理システムであって、
    画像を撮像するための撮像装置と、
    撮像装置のリアルタイム位置と基準位置を取得するための位置取得部と、
    撮像装置のリアルタイム位置が基準位置に対する移動パラメータを算出するための算出部と、
    移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するためのプロセッサと、
    仮想シーンをエンコードするためのエンコード部と、および
    置換対象シーンを仮想シーンに置換するための置換部と、を含むことを特徴とする画像処理システム。
  8. 前記撮像装置内にはジャイロスコープが設置され、前記算出部は、ジャイロスコープのチップであることを特徴とする請求項７に記載の画像処理システム。
  9. 撮像装置の静止パラメータを取得するためのパラメータ取得部をさらに含むことを特徴とする請求項７または８に記載の画像処理システム。
  10. コンピュータプログラムが格納された機械可読記憶媒体であって、前記コンピュータプログラムはプロセッサによって実行されると、請求項１から６のいずれか一項に記載の仮想画像処理方法を実現することを特徴とする機械可読記憶媒体。
JP2020511180A 2018-01-15 2018-07-17 仮想画像処理方法、画像処理システムおよび記憶媒体 Pending JP2020534724A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810033430.1 2018-01-15
CN201810033430.1A CN108289220B (zh) 2018-01-15 2018-01-15 虚拟图像处理方法、图像处理系统及存储介质
PCT/CN2018/095890 WO2019136950A1 (zh) 2018-01-15 2018-07-17 虚拟图像处理方法、图像处理系统及存储介质

Publications (1)

Publication Number Publication Date
JP2020534724A true JP2020534724A (ja) 2020-11-26

Family

ID=62835330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020511180A Pending JP2020534724A (ja) 2018-01-15 2018-07-17 仮想画像処理方法、画像処理システムおよび記憶媒体

Country Status (5)

Country Link
US (1) US11354816B2 (ja)
EP (1) EP3745700A4 (ja)
JP (1) JP2020534724A (ja)
CN (1) CN108289220B (ja)
WO (1) WO2019136950A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170441B2 (ja) * 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109045694B (zh) * 2018-08-17 2020-01-10 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、终端及存储介质
CN109040528B (zh) * 2018-09-30 2021-07-23 深圳市励得数码科技有限公司 演播室中摄像机的运动状态确定方法、装置及演播室系统
CN110377861B (zh) * 2019-07-23 2023-11-07 腾讯科技（深圳）有限公司 场景间元素互动方法、装置、存储介质和计算机设备
CN111737518B (zh) * 2020-06-16 2024-07-02 浙江大华技术股份有限公司 基于三维场景模型的图像展示方法、装置及电子设备
CN112312041B (zh) * 2020-10-22 2023-07-25 北京虚拟动点科技有限公司 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113766119B (zh) * 2021-05-11 2023-12-05 腾讯科技（深圳）有限公司 虚拟形象显示方法、装置、终端及存储介质
CN113674172B (zh) 2021-08-17 2023-11-28 上海交通大学 一种图像处理方法、系统、装置及存储介质
CN113923354B (zh) * 2021-09-30 2023-08-01 卡莱特云科技股份有限公司 基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统
CN116546304A (zh) * 2022-05-13 2023-08-04 腾讯数码（深圳）有限公司 一种参数配置方法、装置、设备、存储介质及产品
CN115761114B (zh) * 2022-10-28 2024-04-30 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质
CN117097878B (zh) * 2023-10-16 2024-07-09 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227332A (ja) * 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
CN106296683A (zh) * 2016-08-09 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟屏幕墙的生成方法及终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5533348A (en) * 1994-08-26 1996-07-09 American Standard Inc. Average air temperature sensor
GB2305051B (en) * 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
US6327004B1 (en) * 1998-03-18 2001-12-04 Nippon Television Network Corp. Picture replacement system and method of the same
DK3340610T3 (da) * 2010-09-20 2023-02-20 Fraunhofer Ges Forschung Fremgangsmåde til adskillelse af baggrunden og forgrunden i et motiv samt fremgangsmåde til erstatning af en baggrund på billeder i et motiv
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20140002580A1 (en) 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
CN103841299A (zh) * 2012-11-23 2014-06-04 西安天动数字科技有限公司 虚拟演播室系统
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN105023294B (zh) * 2015-07-13 2018-01-19 中国传媒大学 结合传感器与Unity3D的定点移动增强现实方法
CN107170047A (zh) * 2017-04-13 2017-09-15 北京小鸟看看科技有限公司 虚拟现实场景的更新方法、设备及虚拟现实设备
CN107231531A (zh) 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
CN107229335A (zh) * 2017-06-01 2017-10-03 北京小鸟看看科技有限公司 一种虚拟现实场景的更换方法、装置和头戴显示设备
CN107158695A (zh) 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统
CN107229355A (zh) 2017-06-20 2017-10-03 柳州易农科技有限公司 一种用于家庭使用的无线鼠标

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227332A (ja) * 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
CN106296683A (zh) * 2016-08-09 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟屏幕墙的生成方法及终端

Also Published As

Publication number Publication date
CN108289220A (zh) 2018-07-17
EP3745700A4 (en) 2021-10-13
US20200349734A1 (en) 2020-11-05
EP3745700A1 (en) 2020-12-02
US11354816B2 (en) 2022-06-07
CN108289220B (zh) 2020-11-27
WO2019136950A1 (zh) 2019-07-18

Similar Documents

Publication Publication Date Title
JP2020534724A (ja) 仮想画像処理方法、画像処理システムおよび記憶媒体
CN111698390B (zh) 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CA2454297C (en) Method and system for measurement of the duration an area is included in an image stream
US10652519B2 (en) Virtual insertions in 3D video
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US6990681B2 (en) Enhancing broadcast of an event with synthetic scene using a depth map
US20170125064A1 (en) Method and Apparatus for Automatic Video Production
KR20170127505A (ko) 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
CN106605407A (zh) 用于捕获、流传输和/或回放内容的方法和装置
AU2001283437A1 (en) Method and system for measurement of the duration an area is included in an image stream
US20080049123A1 (en) Video effect using movement within an image
KR20160048178A (ko) 영상 프로덕션을 만들기 위한 방법 및 그 시스템
CN108319362B (zh) 一种全景信息显示方法、电子设备和计算机存储介质
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
US20210075958A1 (en) Method for Operating a Robotic Camera and Automatic Camera System
JP2004304791A (ja) デジタルシネマフレームコンテンツを修正する方法及び装置
CN105898139A (zh) 全景视频制作方法及装置、全景视频播放方法及装置
CN110933461A (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
US10015531B1 (en) Occlusionless method for virtual image insertion
WO2021015035A1 (ja) 画像処理装置、画像配信システム、および画像処理方法
Carrillo et al. Automatic football video production system with edge processing
JP4668500B2 (ja) リアル・タイムで画像をビデオに挿入する方法および装置
CN114501127B (zh) 在多画面视频中插入数字内容
WO2020230751A1 (ja) 配置決定装置、システム、配置決定方法、及びプログラム
GB2563275B (en) Image processing device and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211011