JP2021136683A - 全景リアリティシミュレーションシステム及びその使用方法 - Google Patents

全景リアリティシミュレーションシステム及びその使用方法 Download PDF

Info

Publication number
JP2021136683A
JP2021136683A JP2020142581A JP2020142581A JP2021136683A JP 2021136683 A JP2021136683 A JP 2021136683A JP 2020142581 A JP2020142581 A JP 2020142581A JP 2020142581 A JP2020142581 A JP 2020142581A JP 2021136683 A JP2021136683 A JP 2021136683A
Authority
JP
Japan
Prior art keywords
panoramic
image
electronic device
space
simulation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020142581A
Other languages
English (en)
Inventor
陳易君
Yi-Chun Chen
胡忠緯
Chung-Wei Hu
▲頼▼小▲寧▼
Hsiao-Ning Lai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uni Well Entertainment Co Ltd
Original Assignee
Uni Well Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uni Well Entertainment Co Ltd filed Critical Uni Well Entertainment Co Ltd
Publication of JP2021136683A publication Critical patent/JP2021136683A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】使用上より便利で、臨場感のあるエンターテイメント効果を達成することができる、全景リアリティシミュレーションシステム及びその使用方法を提供する。【解決手段】全景撮影装置1がネットワークアクセス空間にデータ接続され、ネットワークアクセス空間に少なくとも1つの電子機器3が接続され、電子機器にモバイルアプリケーションプログラム31と、AR処理部32と、少なくとも1つの映像調整制御部材33が設置される。これにより、全景撮影装置で撮影した全景映像を、視聴者がモバイルアプリケーションプログラムを通じて該全景映像を読み取り、AR処理部による処理を組み合わせて3D立体空間を生成し、映像調整制御部材で使用者が移動したい位置と方向を検出して、対応する3D立体空間中の表示画面を生成し、使用者に3D立体空間中を任意に移動させ、連続的に間断なくリアルタイムで対応する表示画面を変化させる。【選択図】図1

Description

本発明は全景リアリティシミュレーションシステム及びその使用方法に関し、特に、鑑賞と使用上より便利で臨場感を体感できる、全景リアリティシミュレーションシステム及びその使用方法に関する。
ウェブキャストは、オンラインビデオプラットフォームの台頭に伴い登場した、インターネット上でライブ映像を配信するエンターテイメントの一形態である。ウェブキャストは現在も、エンターテイメント関連コンテンツ配信に最もよく応用されており、中でもウェブキャストの出演者や司会者である主役のことを一般に「生放送主」、「放送主」、「ライブ配信者」、「実況主」と呼んでいる。ライブストリーミングと従来の自己録画ビデオの最大の違いは、視聴者がポップアップメッセージを通じてリアルタイムでライブ配信者と対話できることである。ライブ配信者は視聴者のフィードバックに基づきリアルタイムでプログラム内容を調整したり、視聴者を喜ばせたりすることができる。
一般的なライブストリーミングでは、ほとんどがカメラでライブ配信者の画面やコンピューター画面を撮影し、視聴者と交流しているが、時代の進歩に伴い、撮影方法も多様化している。例えば、VRを使用して撮影し、視聴者に対応する3D画面を見せることができるが、このようなVR技術は使用上手間がかかり、ライブ配信側に複数のカメラを増設する必要があり、交互に撮影する方式で様々な角度の画面を生成し、対応する3D画面を生成することができるが、このような方法は使用上面倒であるだけでなく、ライブ配信時のコストが大幅に増加する。
また、一般的なVR技術はヘッドマウントディスプレイと組み合わせなければ完全な視聴効果を得ることができない。このため、視聴設備と視聴環境に対する要求が比較的高く、360度のパノラマ写真を使う場合、読取方式で見るしかなく、かつスライドさせる方式で写真を回動させたり、拡大・縮小したりすることしかできず、視聴者に臨場感を与えることはできない。
本発明の主な目的は、AR処理部で全景映像を処理することで、3D立体空間を生成し、使用者が映像調整制御部材を組み合わせて3D立体空間で対応する表示画面を生成でき、使用上より便利で、臨場感のあるエンターテイメント効果を達成することができる、全景リアリティシミュレーションシステム及びその使用方法を提供することにある。
上述の目的を達成するため、本発明の全景リアリティシミュレーションシステムの主な構造は、少なくとも1つの全景撮影装置と、該全景撮影装置にデータ接続されたネットワークアクセス空間と、該ネットワークアクセス空間に接続された少なくとも1つの電子機器と、該電子機器内に設置されたモバイルアプリケーションプログラムと、該電子機器内に設置されたAR処理部と、該電子機器内に設置された少なくとも1つの映像調整制御部材を含む。
上述の構造により、可架設全景撮影装置を撮影場所に設置し、かつ全景撮影装置を通じて撮影場所の画像を全景映像として撮影してから、ネットワークアクセス空間に伝送し、視聴者が観賞するときは、自ら電子機器中のモバイルアプリケーションプログラムを通じてネットワークアクセス空間に接続し、関連の全景映像を読み取り、かつAR処理部を通じて全景映像を解析演算処理し、撮影場所に対応する3D立体空間を生成すると同時に、映像調整制御部材を組み合わせ、視聴者が3D立体空間中にいる位置と方向を検出することにより、対応する表示画面を電子機器上に表示し、かつ視聴者が3D立体空間中の表示画面を移動したいときは、映像調整制御部材が使用者の希望する移動の方向と移動の位置を検出し、これによりAR処理部を組み合わせ対応する3D立体空間中の表示画面を生成して、電子機器上に表示する。これにより、視聴者は電子機器さえあれば、電子機器を通じてあらゆる位置に対応する表示画面を視聴でき、かつ表示画面を3D立体空間中で任意に移動させることができ、撮影場所にいるかのような、臨場感の効果を達成することができる。
以下この考案について説明する。請求項1に記載する全景リアリティシミュレーションシステムは、主に、少なくとも1つの全景撮影装置と、ネットワークアクセス空間と、モバイルアプリケーションプログラムと、AR処理部と、少なくとも1つの映像調整制御部材を含み、
該ネットワークアクセス空間が、該全景撮影装置とデータ接続され、該全景撮影装置が撮影した全景映像を受け取り、少なくとも1つの電子機器を該ネットワークアクセス空間に接続させ、該全景映像を読み取らせ、
該モバイルアプリケーションプログラムが、該電子機器内に設置され、該電子機器に該モバイルアプリケーションプログラムを通じて該全景映像を読み取らせ、
該AR処理部が、該電子機器内に設置され、AR(Augmented Reality、拡張現実)技術を通じて該全景撮影装置が撮影した全景映像を処理し、3D立体空間を生成し、
該映像調整制御部材が、該電子機器内に設置され、該電子機器の表示画面が対応する位置を調整制御し、これにより該AR処理部を組み合わせて該3D立体空間内の位置に対応する表示画面を該電子機器上に表示し、該映像調整制御部材により該電子機器が3D立体空間に対応する表示画面を移動させたことが検出されると、該AR処理部が該映像調整制御部材に合わせて連続して間断なくリアルタイムで位置を変えた後3D立体空間中の表示画面に対応する、ことを特徴とする。
請求項2に記載する全景リアリティシミュレーションシステムは、請求項1における映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る。
請求項3に記載する全景リアリティシミュレーションシステムは、請求項1におけるネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである。
請求項4に記載する全景リアリティシミュレーションシステムは、請求項1における前記全景撮影装置に電子製品が接続される。
請求項5に記載する全景リアリティシミュレーションシステムは、請求項1におけるモバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する。
請求項6に記載する全景リアリティシミュレーションシステムの使用方法は、
(a)少なくとも1つの全景撮影装置を撮影環境中に設置する工程と、
(b)該全景撮影装置で該撮影環境中の全景映像を撮影し、かつネットワークアクセス空間中に伝送する工程と、
(c)少なくとも1つの電子機器中のモバイルアプリケーションプログラムにより該ネットワークアクセス空間中の全景映像を読み取り、かつ該電子機器中のAR処理部を通じてAR(Augmented Reality、拡張現実)技術により該全景映像を処理し、3D立体空間を生成する工程と、
(d)該電子機器が映像調整制御部材と該AR処理部を組み合わせ、該電子機器の表示画面の該3D立体空間中で対応する位置と方向を検出する工程と、
(e)映像調整制御部材が該3D立体空間中で対応する該表示画面の移動を検出すると、該映像調整制御部材がAR処理部を組み合わせて該表示画面の移動時、3D立体空間中で対応する表示画面を計算し、かつ連続して間断なく即時に更新して該電子機器上に表示する工程と、
を含むことを特徴とする。
請求項7に記載する全景リアリティシミュレーションシステムの使用方法は、請求項6における映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る。
請求項8に記載する全景リアリティシミュレーションシステムの使用方法は、請求項6におけるネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである。
請求項9に記載する全景リアリティシミュレーションシステムの使用方法は、請求項6における全景撮影装置に電子製品が接続される。
請求項10に記載する全景リアリティシミュレーションシステムの使用方法は、請求項6におけるモバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する。
上述の技術により、本発明は従来の全景映像の使用時に手間がかかるという問題点を打破し、上述の利点を達成することができ、実用性と進歩性を備えている。
本発明の最良の実施例の立体透視図である。 本発明の最良の実施例の構造を示すブロック図である。 本発明の最良の実施例の工程を示すフローチャートである。 本発明の最良の実施例のライブストリーミングを示す概略図1である。 本発明の最良の実施例のライブストリーミングを示す概略図2である。 本発明の最良の実施例のライブストリーミングを示す概略図3である。 本発明の最良の実施例のライブストリーミングを示す概略図4である。 本発明の最良の実施例の読取りを示す概略図である。 本発明の別の最良の実施例のライブストリーミングを示す概略図1である。 本発明の別の最良の実施例のライブストリーミングを示す概略図2である。 本発明の別の最良の実施例のライブストリーミングを示す概略図3である。 本発明のさらに別の最良の実施例の立体透視図である。 本発明のさらに別の最良の実施例の構造を示すブロック図である。 本発明のさらに別の最良の実施例のライブストリーミングを示す概略図である。 本発明のさらに別の最良の実施例のファンディング支援を示す概略図である。 本発明のさらに別の最良の実施例の会話を示す概略図である。 本発明のまた別の最良の実施例の立体透視図である。 本発明のまた別の最良の実施例のライブストリーミングを示す概略図1である。 本発明のまた別の最良の実施例のライブストリーミングを示す概略図2である。 本発明のまた別の最良の実施例のライブストリーミングを示す概略図3である。
図1から図8に示す本発明の最良の実施例の立体透視図から読取りを示す概略図までを参照する。これらの図からはっきりと分かるように、本発明は、少なくとも1つの全景撮影装置1と、ネットワークアクセス空間2と、少なくとも1つの電子機器3と、AR処理部32と、映像調整制御部材33と、を含む。
本実施例の少なくとも1つの該全景撮影装置1は、360度カメラを例とする。
該ネットワークアクセス空間2は、本実施例においてネットワークサーバーを例とし、全景撮影装置1にデータ接続させ、全景撮影装置1が撮影した全景映像をネットワークアクセス空間2に伝送することができる。本実施例において、全景撮影装置1自体がワイヤレス接続部材11を備え、本実施例のワイヤレス接続部材11はネットワーク接続機能を有するアンテナを例とするが、これに限定されず、全景映像をネットワークアクセス空間2に伝送するために用いられる。
少なくとも1つの該電子機器3は、携帯電話またはタブレットのいずれかとすることができるが、これらに限定されず、該電子機器3がモバイルアプリケーションプログラム31を備え、かつ該モバイルアプリケーションプログラム31を通じて該ネットワークアクセス空間2に接続し、モバイルアプリケーションプログラム31は電子機器3にインストールされたアプリを例とする。
該AR処理部32は該電子機器3内に設置され、AR技術(Augmented Reality、拡張現実)を通じて全景映像を処理するが、その技術の内容は限定されず、ARKitまたはARcoreのいずれかとすることができる。
少なくとも1つの該映像調整制御部材33は該電子機器3内に設置され、該映像調整制御部材33は限定されず、ジャイロスコープ、GPSのいずれかとすることができるが、これらに限定されず、本実施例はジャイロスコープを例とする。
上述の説明から、本技術の構造を理解することができるであろう。この構造の組み合わせにより、使用上より便利な優位性を得ることができ、以下でより詳細に説明する。
本発明の全景リアリティシミュレーションシステムの使用方法は、次の工程を含む。
(a)少なくとも1つの全景撮影装置を撮影環境中に設置する。
(b)該全景撮影装置で該撮影環境中の全景映像を撮影し、ネットワークアクセス空間中に伝送する。
(c)少なくとも1つの電子機器中のモバイルアプリケーションプログラムにより該ネットワークアクセス空間中の全景映像を読み取り、該電子機器中のAR処理部でAR(Augmented Reality、拡張現実)技術により該全景映像を処理して3D立体空間を生成する。
(d)該電子機器が映像調整制御部材と該AR処理部を組み合わせ、該電子機器の表示画面の3D立体空間中における対応する位置と方向を検出する。
(e)映像調整制御部材が該3D立体空間中における対応する該表示画面の移動を検出すると、該映像調整制御部材がAR処理部を組み合わせて該表示画面の移動時における3D立体空間中の対応する表示画面を計算し、連続して間断なくリアルタイムで更新して該電子機器上に表示する。
上述の工程を組み合わせると分かるように、全景撮影装置1を各種撮影現場に応用することができる。例えば図4に示すように、本実施例はライブストリーミングのコンサートにおける応用を例としており、かつ全景撮影装置1の数量は複数を例としているが、数量は限定されず、全景撮影装置1はそれぞれコンサート舞台上の各相対する位置上に配置され、これにより全舞台の全景映像を撮影する。全景撮影装置1は一般的な撮影装置が撮影できる角度よりもより完全であるため、より死角なくコンサート舞台全体のあらゆる画面を収録することができ、より少ない数量の撮影装置でより完全に必要な角度と画面を撮影することができる。かつワイヤレス接続部材11を通じてこの全景映像をネットワークアクセス空間2中に伝送し、視聴者が自分の電子機器3(本実施例は携帯電話を例とする)中のモバイルアプリケーションプログラム31を通じてネットワークアクセス空間2中に接続して全景映像を読み取り、携帯電話中のAR処理部32がAR技術を通じて全景映像の演算処理動作を行い、これにより撮影現場に対応する3D立体空間を生成する。このとき、使用者は映像調整制御部材33を組み合わせ、使用者の3D立体空間中における位置を検出し、かつAR処理部32を組み合わせて該位置で見える表示画面を生成し、電子機器3上に表示する。図4に示すように、視聴者Aが舞台中のこの位置にいると仮定すると、AR処理部32と映像調整制御部材33を通じて検出を行い、これにより対応する画面が得られ、図5に示すように、電子機器3上に表示する。
視聴者Aが自身の空間で移動すると、映像調整制御部材33が視聴者Aの移動距離、位置、方向を検出し、かつネットワークアクセス空間2を組み合わせて隨時移動時の相対する表示画面を更新し、間断なく連続更新して電子機器3上に表示する。図6と図7に示すように、視聴者Aが該位置まで移動すると、該位置の表示画面が電子機器3上に表示され、視聴者Aがコンサートの現場にいるかのように、任意に移動して、対応する表示画面を見ることができる。
本発明の使用する方式は、AR技術を通じて直接全景映像の画面を処理・演算し、これにより3D立体空間を生成して映像調整制御部材33を組み合わせ使用者が任意に移動することができる。AR技術はいずれも画像または影像に対して距離と方位の演算を行い、これにより3D立体空間を生成するものであるが、現在市販されているものはこの3D立体画像を携帯電話に送信し、携帯電話自体の画像表示機能を利用してスワイプ動作を行い、それにより表示画面中の項目を拡大または縮小して、画面中の項目を使用者の前方まで拡大移動するだけであり、一方本発明の応用方式は異なり、直接映像調整制御部材33にAR処理部32を組み合わせることで、電子機器3上の表示画面を現場環境に類似した3D立体空間中で移動させることができ、かつ表示画面の移動時、画面を間断なく連続更新して電子機器上に表示し、これにより使用者に直接歩いて項目の前方まで移動する感覚を提供できる。かつ表示画面中の3D立体空間中の各項目間の距離を変化させるため、使用者が観察できる視角も完全に異なり、図4から図7に示すように、立っている位置が異なると、見える角度も完全に異なる。VR技術と比較して、本発明はいかなるヘッドマウント設備も必要とせずに見ることができ、AR処理部32と映像調整制御部材33を有する電子機器3があれば、この観賞効果を達成でき、視聴者に簡易な条件下で臨場感を提供し、全景映像中を任意に移動する効果を与え、より高いエンターテイメント機能を達成することができる。
かつ図8に示すように、ライブストリーミングの終了後、全景映像がネットワークアクセス空間2中に保存され、使用者が必要な時に読取りを行うことができる。例えば「XXXコンサートVOD、XXXコンサートライブストリーミング会場、XXXコンサート全景写真」などと表示し、これにより使用者がすぐにライブストリーミングを見ることができないときもVODを鑑賞する、または静態写真を選択することができ、これにより同様に臨場感を楽しむことができる。
さらに図9から図11に示す、本発明の別の最良の実施例のライブストリーミングを示す概略図1からライブストリーミングを示す概略図3を同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例は料理教室を例としており、これにより本発明の使用方式は限定されないことを示している。料理人Bの傍に複数の全景撮影装置1aが設置されており、これにより料理人Bの料理画面を撮影し、視聴者Aは自身の空間で任意に移動して電子機器3aを見ることができ、視聴者Aが料理人Bの傍で移動し、異なる角度から料理人Bの動作を観察しているかのように、料理のポイントを完全に学ぶことができる。
図12から図16に示す、本発明のさらに別の最良の実施例の立体透視図から会話を示す概略図までを同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例において、全景撮影装置1bは電子製品4b上に設置した360度カメラを例とし、電子製品4bは携帯電話を例としており、これにより、電子製品4bを通じて撮影した全景映像をネットワークアクセス空間2bに伝送するもので、全景撮影装置1bの種類は限定されないことを示している。
かつ本実施例において、モバイルアプリケーションプログラム31bにはユーザーファンディング支援ユニット311bと、メッセージ入力ユニット312bがあり、視聴者は上述のユニットを通じてライブストリーミング時に相互作用を行うことができる。例えば、視聴者が支援をしたいとき、ユーザーファンディング支援ユニット311bが生成する支援アイコン313bをタップし、クレジットカードやインターネットバンキング等の仮想取引システムを通じて送金することで、好きなライブ配信者を支援したり、メッセージ入力ユニット312bが形成するメッセージウィンドウ314bにメッセージを入力し、このメッセージをライブ配信者の電子製品4bに送信し、ライブ配信者にメッセージを見せる(例えば、料理人に料理のコツを尋ねる)ことができ、上述の動作を通じてライブストリーミング時の相互作用性と楽しみを大幅に高めることができる。
さらに図17から図20に示す、本発明のまた別の最良の実施例の立体透視図からライブストリーミングを示す概略図3までを同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例は映像調整制御部材33cの数量が2つであり、そのうち1つがジャイロスコープで、電子機器3cの移動位置と方向を検出でき、もう1つの映像調整制御部材33cが操作制御モジュール(本実施例の操作制御モジュールは電子機器3c上に表示された十字キー34cとスワイプ可能な画面35cを例とするが、これらに限定されず、その他種類のリモートコントローラで制御してもよい)の制御信号を受信できるレシーバーを例とし、かつ本実施例の電子機器3cは携帯電話を例とするが、携帯不可のモニター(テレビやコンピューターモニター)とすることもできる。これにより、使用者の移動空間が不足する場合も、それ以外に操作制御モジュールで対応する3D立体空間中の表示画面を移動でき、使用者は電子機器3cを移動して表示画面を変えることができる。歩いてそれ以上移動できない位置まできたときは、図19と図20に示すように、スワイプ可能な画面35c上を通じてモニターをスライドさせ、視角を変えることができ、また電子機器3c上の十字キー34cを押して前に移動することができる。このように、本発明は使用上の利便性を大幅に高めることができ、また視聴者の移動可能な場所が小さすぎるために娯楽上の効果が低下することがない。
1、1a、1b 全景撮影装置
11 ワイヤレス接続部材
2、2b ネットワークアクセス空間
3、3a、3c 電子機器
31、31b モバイルアプリケーションプログラム
311b ユーザーファンディング支援ユニット
312b メッセージ入力ユニット
313b 支援アイコン
314b メッセージウィンドウ
32 AR処理部
33、33c 映像調整制御部材
34c 十字キー
35c スワイプ可能な画面
4b 電子製品
A 視聴者
B 料理人

Claims (10)

  1. 全景リアリティシミュレーションシステムであって、主に、少なくとも1つの全景撮影装置と、ネットワークアクセス空間と、モバイルアプリケーションプログラムと、AR処理部と、少なくとも1つの映像調整制御部材を含み、
    該ネットワークアクセス空間が、該全景撮影装置とデータ接続され、該全景撮影装置が撮影した全景映像を受け取り、少なくとも1つの電子機器を該ネットワークアクセス空間に接続させ、該全景映像を読み取らせ、
    該モバイルアプリケーションプログラムが、該電子機器内に設置され、該電子機器に該モバイルアプリケーションプログラムを通じて該全景映像を読み取らせ、
    該AR処理部が、該電子機器内に設置され、AR(Augmented Reality、拡張現実)技術を通じて該全景撮影装置が撮影した全景映像を処理し、3D立体空間を生成し、
    該映像調整制御部材が、該電子機器内に設置され、該電子機器の表示画面が対応する位置を調整制御し、これにより該AR処理部を組み合わせて該3D立体空間内の位置に対応する表示画面を該電子機器上に表示し、該映像調整制御部材により該電子機器が3D立体空間に対応する表示画面を移動させたことが検出されると、該AR処理部が該映像調整制御部材に合わせて連続して間断なくリアルタイムで位置を変えた後3D立体空間中の表示画面に対応する、ことを特徴とする、全景リアリティシミュレーションシステム。
  2. 前記映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る、ことを特徴とする、請求項1に記載の全景リアリティシミュレーションシステム。
  3. 前記ネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである、ことを特徴とする、請求項1に記載の全景リアリティシミュレーションシステム。
  4. 前記全景撮影装置に電子製品が接続される、ことを特徴とする、請求項1に記載の全景リアリティシミュレーションシステム。
  5. 前記モバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する、ことを特徴とする、請求項1に記載の全景リアリティシミュレーションシステム。
  6. 全景リアリティシミュレーションシステムの使用方法であって、
    (a)少なくとも1つの全景撮影装置を撮影環境中に設置する工程と、
    (b)該全景撮影装置で該撮影環境中の全景映像を撮影し、かつネットワークアクセス空間中に伝送する工程と、
    (c)少なくとも1つの電子機器中のモバイルアプリケーションプログラムにより該ネットワークアクセス空間中の全景映像を読み取り、かつ該電子機器中のAR処理部を通じてAR(Augmented Reality、拡張現実)技術により該全景映像を処理し、3D立体空間を生成する工程と、
    (d)該電子機器が映像調整制御部材と該AR処理部を組み合わせ、該電子機器の表示画面の該3D立体空間中で対応する位置と方向を検出する工程と、
    (e)映像調整制御部材が該3D立体空間中で対応する該表示画面の移動を検出すると、該映像調整制御部材がAR処理部を組み合わせて該表示画面の移動時、3D立体空間中で対応する表示画面を計算し、かつ連続して間断なく即時に更新して該電子機器上に表示する工程と、
    を含むことを特徴とする、全景リアリティシミュレーションシステムの使用方法。
  7. 前記映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る、ことを特徴とする、請求項6に記載の全景リアリティシミュレーションシステムの使用方法。
  8. 前記ネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである、ことを特徴とする、請求項6に記載の全景リアリティシミュレーションシステムの使用方法。
  9. 前記全景撮影装置に電子製品が接続される、ことを特徴とする、請求項6に記載の全景リアリティシミュレーションシステムの使用方法。
  10. 前記モバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する、ことを特徴とする、請求項6に記載の全景リアリティシミュレーションシステムの使用方法。
JP2020142581A 2020-02-21 2020-08-26 全景リアリティシミュレーションシステム及びその使用方法 Pending JP2021136683A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109105693A TW202133118A (zh) 2020-02-21 2020-02-21 實境模擬全景系統及其方法
TW109105693 2020-02-21

Publications (1)

Publication Number Publication Date
JP2021136683A true JP2021136683A (ja) 2021-09-13

Family

ID=77366307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020142581A Pending JP2021136683A (ja) 2020-02-21 2020-08-26 全景リアリティシミュレーションシステム及びその使用方法

Country Status (3)

Country Link
US (1) US20210264671A1 (ja)
JP (1) JP2021136683A (ja)
TW (1) TW202133118A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023102747A (ja) * 2022-01-12 2023-07-25 トゥースライフ カンパニー リミテッド ストリーミングファンディング後援システム及び方法
JP7449519B2 (ja) 2021-12-30 2024-03-14 17Live株式会社 映像処理のためのシステム、方法、及びコンピュータ可読媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769110B (zh) * 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
CN114143568B (zh) * 2021-11-15 2024-02-09 上海盛付通电子支付服务有限公司 一种用于确定增强现实直播图像的方法与设备
CN115379125B (zh) * 2022-10-27 2023-01-17 北京德风新征程科技有限公司 交互信息发送方法、装置、服务器和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220745A (ja) * 2014-10-06 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
WO2019056904A1 (zh) * 2017-09-25 2019-03-28 中兴通讯股份有限公司 视频传输方法、服务器、vr播放终端及计算机可读存储介质
WO2020021947A1 (ja) * 2018-07-26 2020-01-30 株式会社ドワンゴ サーバおよびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220745A (ja) * 2014-10-06 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
WO2019056904A1 (zh) * 2017-09-25 2019-03-28 中兴通讯股份有限公司 视频传输方法、服务器、vr播放终端及计算机可读存储介质
WO2020021947A1 (ja) * 2018-07-26 2020-01-30 株式会社ドワンゴ サーバおよびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7449519B2 (ja) 2021-12-30 2024-03-14 17Live株式会社 映像処理のためのシステム、方法、及びコンピュータ可読媒体
JP2023102747A (ja) * 2022-01-12 2023-07-25 トゥースライフ カンパニー リミテッド ストリーミングファンディング後援システム及び方法
JP7397140B2 (ja) 2022-01-12 2023-12-12 トゥーネーション カンパニー リミテッド ストリーミングファンディング後援システム及び方法

Also Published As

Publication number Publication date
TW202133118A (zh) 2021-09-01
US20210264671A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP2021136683A (ja) 全景リアリティシミュレーションシステム及びその使用方法
CN110636324B (zh) 界面显示方法、装置、计算机设备及存储介质
US9955147B2 (en) Zoom related methods and apparatus
US9965026B2 (en) Interactive video display method, device, and system
US9774896B2 (en) Network synchronized camera settings
CN112585977B (zh) 内容发布服务器、内容发布系统、内容发布方法及存储介质
US20070122786A1 (en) Video karaoke system
US9597590B2 (en) Methods and apparatus for accessing peripheral content
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
WO2014094537A1 (zh) 沉浸通信客户端、服务器及获取内容视图的方法
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2007501950A (ja) 3次元像表示装置
CN114268823A (zh) 一种视频播放方法、装置、电子设备及存储介质
JP3229221U (ja) 全景リアリティシミュレーションシステム
KR102040723B1 (ko) 다원 방송 송출 방법 및 장치
JP2020145654A (ja) 動画表示システム、情報処理装置および動画表示方法
WO2021179102A1 (zh) 实境仿真全景系统及其使用方法
KR20170020391A (ko) 사용자의 능동적 이용이 가능한 방송 제공방법 및 이를 이용한 단말기, 컴퓨터 판독 가능한 기록매체
WO2022065040A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
WO2022220066A1 (ja) 画像配信装置、表示装置、撮像装置、制御方法、プログラム
WO2023081755A1 (en) Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks
TW202203646A (zh) 模擬全景系統及其使用方法
KR101816446B1 (ko) 평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법
KR20220005942A (ko) 현장 서비스 제공 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220530