JP2017505565A - 多面映像の生成方法及びシステム - Google Patents

多面映像の生成方法及びシステム Download PDF

Info

Publication number
JP2017505565A
JP2017505565A JP2016537979A JP2016537979A JP2017505565A JP 2017505565 A JP2017505565 A JP 2017505565A JP 2016537979 A JP2016537979 A JP 2016537979A JP 2016537979 A JP2016537979 A JP 2016537979A JP 2017505565 A JP2017505565 A JP 2017505565A
Authority
JP
Japan
Prior art keywords
video
angle
plane
wide
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016537979A
Other languages
English (en)
Inventor
チョル キム,ファン
チョル キム,ファン
リョン カン,ス
リョン カン,ス
ヒョン カン,ジ
ヒョン カン,ジ
Original Assignee
シゼイ シジブイ カンパニー リミテッド
シゼイ シジブイ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シゼイ シジブイ カンパニー リミテッド, シゼイ シジブイ カンパニー リミテッド filed Critical シゼイ シジブイ カンパニー リミテッド
Priority claimed from PCT/KR2014/012083 external-priority patent/WO2015088228A1/en
Publication of JP2017505565A publication Critical patent/JP2017505565A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】観客席を基準として複数の視点方向に配置される複数の投射面(又は、複数のディスプレイ装置)上において再生される「多面映像」の生成方法を提供する。【解決手段】(a)360°の画角を実現する広画角撮影装置が撮影動作を行うステップと、(b)前記広画角撮影装置により360°の方向に向かって撮影された全体の映像領域のうちメイン映像領域が特定されるステップと、を含む。【選択図】図5

Description

本発明は、多面映像の生成方法及びシステムに係り、さらに詳しくは、360°の視野角(以下、画角という)を実現する広画角撮影装置を用いて所謂、「多面映像」を生成する方法及びシステムに関する。
従来には、劇場において映画、広告などの映像を再生するために、上映館内の正面に配置される単一のスクリーンに2次元の映像を投射していた。しかしながら、この種のシステム下において、観客は、平面的な2次元(2D)映像しか鑑賞できなかった。
最近には、観客に立体感のある映像を提供する3次元(3D)映像に関する技術が開発されているが、3次元(3D)映像技術は、人間の左眼及び右眼に異なる映像信号が入力され、前記二つの映像信号が脳において一つに合わせられる場合に3次元(3D)の映像として知覚される原理を利用するものであり、映像の撮影に際して異なる偏光フィルタが取り付けられた2台のカメラを用い、映像の視聴に際して偏光フィルタ付き眼鏡などをかけて左眼及び右眼に異なる映像を注入することにより実現される。
しかしながら、このような3次元(3D)技術は、ユーザに立体感のある映像を提供できるとはいえ、依然として単一のスクリーンにおいて再生される映像を鑑賞することに過ぎないため、映像それ自体への没入度が低いという限界があった。また、観客が感じる立体感の方向が単一のスクリーンが存在する方向に制限されてしまうという限界もあった。
さらに、従来の3次元(3D)技術は、映像の視聴に際して偏光フィルタ付き眼鏡などをかけることを余儀なくされるが故に、映像を視聴する観客に不便さを与える虞があり、左眼及び右眼に人為的に異なる映像を強制的に注入するが故に敏感な観客は目眩いや「むかつき」を感じる虞があった。
この理由から、単一のスクリーンに基づく従来の上映システムの問題が解消可能な所謂、「多面上映システム」が提案されたが、ここでいう「多面上映システム」とは、観客席の周りに複数の投射面(又は、複数のディスプレイ装置)を配置し、複数の投射面(又は、複数のディスプレイ装置)の上において同期化され、且つ、一体感のある映像を再生して、観客に立体感及び没入感を与える技術を意味する。
一方、このような「多面上映システム」を用いて観客の没入感及び立体感を極大化させるためには、観客席の周りに配置される複数の投射面(又は、複数のディスプレイ装置)上において、各投射面(又は、各ディスプレイ装置)の視点方向とマッチングした映像が再生されなければならない。
例えば、図1に示すように、観客席の正面、左側面、右側面に複数の投射面(又は、複数のディスプレイ装置)が配置された上映館が存在する場合、正面の投射面(又は、ディスプレイ装置)には観客席を基準として正面を眺める視点とマッチングした映像が再生され、左側の投射面(又は、ディスプレイ装置)には観客席を基準として左側を眺める視点とマッチングした映像が再生され、右側の投射面(又は、ディスプレイ装置)には観客席を基準として右側を眺める視点とマッチングした映像が再生されなければならない。
しかしながら、従来には、このような「多面上映システム」の複数の投射面(又は、複数のディスプレイ装置)において再生される所謂、「多面映像」を生成する技術が存在しなかった。
この理由から、このような技術的なニーズに応えられる新規な技術の開発が求められている。
本発明は、このような技術的な背景に基づいて案出されたものであり、上述した技術的なニーズに応えられることはもとより、この技術分野において通常の知識を有する者が容易に発明できない追加的な技術要素を提供するために案出された。
本発明は、観客席を基準として複数の視点方向に配置される複数の投射面(又は、複数のディスプレイ装置)上において再生される所謂、「多面映像」を生成する技術を提供することを解決するべき課題とする。
特に、本発明は、360°の画角を実現する広画角撮影装置を用いて前記「多面映像」を生成する技術を提供することを解決するべき課題とする。
一方、本発明が解決しようとする技術的な課題は、上述した技術的な課題に制限されず、後述する内容から通常の技術者にとって自明な範囲内における様々な技術的な課題を含む。
上述した課題を解決するために案出された本発明による多面映像の生成方法は、(a)360°の画角を実現する広画角撮影装置が撮影動作を行うステップと、(b)前記広画角撮影装置により360°の方向に向かって撮影された全体の映像領域のうちから、メイン映像領域が特定されるステップと、を含む。
また、前記多面映像の生成方法において、前記広画角撮影装置は、高さが調節可能であり、特定の高さ以上において撮影動作を行うように実現することが好ましい。
さらに、前記広画角撮影装置により360°の方向に向かって撮影された全体の映像は、2次元平面上において展開されるように表示されるか、あるいは、撮影された方向角とマッチングするように表示されることが好ましい。
このとき、前記広画角撮影装置により撮影された全体の映像は、イメージワーピングにより2次元の平面上に表示されることが好ましい。
また、前記多面映像の生成方法は、(c)前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域がクロップされるステップをさらに含むことが好ましい。
さらに、前記多面映像の生成方法は、(d)クロップされた映像領域が球状の空間又はシリンダ状の空間にマッピングされた後に、各面に対する映像が生成されるステップをさらに含むことが好ましい。
また、本発明の他の側面による多面映像の生成システムは、360°の画角を実現して360°の方向に向かって撮影動作を行う広画角撮影装置と、前記広画角撮影装置により360°の方向に向かって撮影された全体の映像領域のうちからメイン映像領域を特定し、特定されたメイン映像領域に基づいて上映館の各面において再生される映像を生成する映像処理装置と、を備える。
また、前記多面映像の生成システムにおいて、前記広画角撮影装置は、撮影動作を行うカメラモジュールと、360°の方向から入射する光を前記カメラモジュールに伝える反射モジュールと、を備えることが好ましい。
さらに、前記多面映像の生成システムにおいて、前記映像処理装置は、前記広画角撮影装置により360°の方向に向かって撮影された全体の映像を、2次元の平面上に展開されるように表示するか、あるいは、撮影された方向角とマッチングするように表示するか、何れかを具現できるように構成されることが好ましい。
さらにまた、前記多面映像の生成システムにおいて、前記映像処理装置は、前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域をクロップするように構成されることが好ましい。
このとき、前記映像処理装置は、クロップされた映像領域を球状の空間又はシリンダ状の空間にマッピングした後に、各面に対する映像を生成することが好ましい。
本発明によれば、「多面上映システム」の複数の投射面(又は、複数のディスプレイ装置)上において再生されて観客の立体感及び没入感を向上させる所謂、「多面映像」を生成できる。具体的に、本発明によれば、360°の画角を実現する広画角撮影装置を用いて、複数の視点方向に対する映像を取得でき、これに基づいて、所謂、「多面映像」を生成できる。
また、本発明によれば、1台の撮影装置のみを用いて「多面映像」を生成できる。具体的に、本発明によれば、従来のように複数の撮影装置を複数の視点方向に配置するか、前記複数の撮影装置のシャッタ動作が同期化されるように制御するか、あるいは、前記複数の撮影装置により撮影された映像データを処理(例えば、スティッチング、カラースペースの統合など)するのに長い時間をかけるか、その何れを行なわなくても、「多面映像」を生成できる。
さらに、本発明によれば、多面上映システムが構築された各上映館の構造に最適化された多面映像を生成できる。具体的に、本発明によれば、360°の画角を実現する広画角撮影装置を用いてソース映像を取得し、取得された映像を球状の空間又はシリンダ状の空間にマッピングした後に、各上映館別の多面映像を生成するので、各上映館の構造に最適化された多面映像を生成できる。
一方、本発明の効果は上述した効果に制限されるものではなく、後述する内容から通常の技術者にとって自明な範囲内において様々な効果が含まれる。
は、多面上映システムの例を示す例示図である。 は、本発明の一実施形態による多面映像の生成方法を示す手順図である。 は、本発明の一実施形態による広画角撮影装置の例を示す例示図である。 は、本発明の一実施形態による広画角撮影装置により撮影される映像を示す例示図である。 は、本発明の一実施形態による広画角撮影装置により撮影された映像が2次元の平面上に展開される形状に変換されることを示す例示図である。 は、本発明の一実施形態による広画角撮影装置により撮影された映像に基づいて生成されたソース映像が球状の空間にマッピングされたことを示す例示図である。 は、本発明の一実施形態による広画角撮影装置により撮影された映像に基づいて生成されたソース映像がシリンダ状の空間にマッピングされたことを示す例示図である。 は、本発明の一実施形態による多面映像の生成システムが備える構成要素を示す構成図である。
以下、添付図面に基づき、本発明の実施形態による「多面映像の生成方法及びシステム」について詳細に説明する。ここで説明する実施形態は、本発明の技術思想を通常の技術者が容易に理解できるようにするために提供されるものであり、これらにより本発明が限定されることはない。なお、添付図面に示す事項は、本発明の実施形態を容易に説明するために図式化されたものであり、実際に実現される形態とは異なることもある。
一方、以下で表現される各構成要素は、本発明を実現するための一例に過ぎない。よって、本発明の他の実現においては、本発明の思想及び範囲を逸脱しない範囲内において他の構成要素が使用可能である。また、各構成要素は、単にハードウェア又はソフトウェア構成要素により実現されてもよいが、同じ機能を行う様々なハードウェア及びソフトウェアの組み合わせにより実現されてもよい。なお、一つのハードウェア又はソフトウェアにより2つ以上の構成要素が一緒に実現されてもよい。
また、ある構成要素を「備える」という表現は、「開放型」の表現であり、単に当該構成要素が存在することを指し示すものに過ぎず、追加的な構成要素を排除するものであると理解されてはならない。
さらに、「多面映像」という表現は、観客席の周りに配置される複数の投射面(又は、複数のディスプレイ装置)により再生されて、観客の没入感及び立体感を向上させる映像を意味する。
以下、図2乃至図7を参照して、本発明の一実施形態による「多面映像の生成方法」について説明する。
図2を参照すると、本発明の一実施形態による多面映像の生成方法は、360°の画角を実現する広画角撮影装置100が撮影操作(以下、動作ともいう)を行うステップ(S11)と、広画角撮影装置100により360°の方向に向かって撮影された全体の映像のうちメイン映像領域が特定されるステップ(S12)と、メイン映像領域、及びメイン映像領域を基準として所定の画角範囲にある映像領域がクロップされるステップ(S13)と、クロップされた映像領域が球状の空間又はシリンダ状の空間にマッピングされた後に各面に対する映像が生成されるステップ(S14)と、を含む。
広画角撮影装置100は、外部からの制御命令に応じて撮像操作を行う。その場合、該制御命令を生成する主体は操作処理能力を有するハードウェアである。そのようなハードウェアは別途の装置形態で、例えば撮像制御装置として、独立して存在する。その代りに、映像処理装置200が制御命令を生成してもよい。
ステップS11は、360°の画角を実現する広画角撮影装置100が撮影動作を行うステップである。具体的に、ステップS11は、360°の画角を実現する広画角撮影装置100により360°の方向に向かって撮影された映像が同時に取得されるステップである。
ステップS11において活用される広画角撮影装置100は、好ましくは、図3に示すように、水平方向に360°の画角を具現するように構成される。具体的に、広画角撮影装置100は、水平の全ての方向(360°の方向)から入射する光を受信してイメージセンサに伝えるように実現される。
このために、広画角撮影装置100は、撮影動作を行うカメラモジュールと、360°の方向からの光を前記カメラモジュールに伝える反射モジュールと、を備える。ここで、前記カメラモジュールは、電荷結合素子(CCD、Charge Coupled Device)などのイメージセンサ、レンズ、デジタルシグナルプロセッサ(DSP、Digital Signal Processor)などを備える構成要素であり、前記反射モジュールを介して伝えられる光を用いて撮影動作を行う構成要素である。なお、前記反射モジュールは、360°の方向から入射する光を前記カメラモジュールに伝える構成要素である。このような前記反射モジュールは、好ましくは、円錐状に形成され、光を反射する材質により形成される。
一方、撮影現場での技術的な問題として、上述した360°の広画角撮影を行う場合、装置を管理及び制御する要員の様子が画角内に入ってしまうという問題が生じる虞がある。
この問題を解決するためには、広画角撮影装置100、特に、カメラモジュールを所定の高さ以上(例えば、2m)にすることが好ましく、特に、撮影要員の背よりも高いところ、例えば、撮影要員の頭の上から撮影を行うことにより上記の問題が解消される。
また、ステップS11において、広画角撮影装置100により360°の方向に向かって撮影された全体の映像は、様々な方式により表示される。例えば、前記全体の映像は、1)各映像を、自分が撮影された方向角とマッチングされた状態で表示する、角度タイプの表示方法、2)360°の方向に向かって撮影された全ての映像を、2次元平面の上に展開されるように表示する2次元平面タイプの表示方法などを始めとする様々な方式により表示される。図5には、広画角撮影装置100により360°の方向に向かって撮影された全体の映像が角度タイプの表示方法により表示された後に、2次元平面タイプの表示方法により表示される場合が例示されている。
一方、広画角撮影装置100により撮影された映像を2次元平面上に表示しようとするとき、不可避的に映像の歪み(distortion)が生じる虞がある。しかしながら、このような映像の歪みは、イメージワーピング技術、即ち、原映像のピクセル位置を新たな投射面である2次元平面上の位置に対応付けて補正することにより克服され、特に、イメージワーピング技術を利用する場合、映像の曲げ率(bending_modulus)が調節可能であり、撮影された映像の指定された曲げ率を固定値として保存することにより、広画角撮影装置100により撮影された映像の歪みの問題が解消される。
ステップS12は、広画角撮影装置100により360°の方向に向かって撮影された全体の映像領域のうちメイン映像領域が特定されるステップである。具体的に、ステップS12は、映画の撮影を想定したとき、360°の方向の全体の映像領域のうちメインシーン(主場面)が撮影された映像領域を特定するステップである。
このような前記メイン映像領域の特定は、様々な方式により行われる。例えば、前記メイン映像領域の特定は、ユーザ により入力されるデータに基づいて行われるか、あるいは、演算装置の映像処理により自動的に行われる。また、前記メイン映像領域の特定は、予め特定の方向(広画角撮影装置100の特定のボディ部分が向く方向、又は、絶対的な特定の水平方向)が設定された後に、当該方向に向かって撮影された映像がメイン映像領域として特定される方式によっても行われ、これらの方式に加えて、様々な方式により行われる。
図4又は図5には、広画角撮影装置100により360°の方向に向かって撮影された映像領域のうちメイン映像領域Aが特定された場合が例として示されている。
ステップS13は、広画角撮影装置100により360°の方向に向かって撮影された映像に基づいてソース映像(360°の映像のうち実際に多面映像の生成に活用される映像)が生成されるステップである。具体的に、ステップS13は、前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域がクロップされてソース映像が生成されるステップである。
この場合、前記メイン映像領域とともに前記ソース映像に含まれる映像領域の画角範囲は、様々に設定される。例えば、1)前記メイン映像領域を中心として左側及び右側に60°の画角範囲にある映像領域、2)前記メイン映像領域を中心として左側及び右側に90°の画角範囲にある映像領域、3)前記メイン映像領域を除く全ての画角範囲の映像領域(この場合には、ソース映像が360°の映像それ自体として形成される)など様々に設定される。但し、いかなる場合であっても、前記ソース映像が少なくとも270°以上の画角範囲を有する映像領域を含むように形成されることが好ましい。これは、270°以上の画角範囲を有する映像領域に基づいて多面映像を生成しなければ、観客の没入感及び立体感を極大化させる多面映像が生成されないからである。
図4又は図5を参照して、広画角撮影装置100により撮影された全体の映像領域のうち、前記メイン映像領域A及び前記メイン映像領域を基準として所定の画角範囲にある映像領域B、Cが特定されたことについて説明した。これらの映像領域A、B、Cは、一緒にクロップされた後に前記ソース映像に含まれる。
ステップS14は、前記ソース映像に基づいて、多面映像が生成されるステップである。具体的に、ステップS14は、前記ソース映像に基づいて、「多面上映システム」が構築された上映館の各面(各投射面又は各ディスプレイ装置が設けられた面)において再生されるべき映像が生成されるステップである。
この場合、前記ソース映像は、球状の空間又はシリンダ状の空間に一緒にマッピングされることが好ましく、このようなマッピング後に、上映館の各面(各投射面又は各ディスプレイ装置が設けられた面)に対する映像が生成されることが好ましい。
観客の没入感及び立体感が極大化された多面映像を生成するためには、上映館の構造が考慮された状態で各面に対する映像が生成されなければならないが、その際、前記ソース映像を球状の空間又はシリンダ状の空間にマッピングさせた状態では、各面(各投射面又は各ディスプレイ装置が設けられた面)の3次元上の配置状態と対応する映像領域が容易に特定され且つ割り当てられるからである。
図6には、前記ソース映像が球状の空間に一緒にマッピングされている場合が例示されている。また、図7には、前記ソース映像がシリンダ状の空間に一緒にマッピングされている場合が例示されている。
上述した本発明の一実施形態による「多面映像の生成方法」は、広画角撮影装置100により360°の方向に向かって撮影された映像に基づいて、多面上映システムが構築された上映館の各投射面(又は、各ディスプレイ装置)上において再生されるべき「多面映像」を生成する。より具体的に、前記「多面映像の生成方法」は、広画角撮影装置100により360°の方向に向かって撮影された映像に基づいて、メイン映像領域が含まれているソース映像を生成し、前記ソース映像を特定の空間に一緒にマッピングさせた後に、各投射面(又は、各ディスプレイ装置)の配置状態に対応する映像領域を特定して所謂、「多面映像」を生成する。
以下、図8を参照して、本発明の一実施形態による「多面映像の生成システム」について説明する。
図8を参照すると、本発明の一実施形態による「多面映像の生成システム」は、360°の画角を実現して360°の方向に向かって撮影動作を行う広画角撮影装置100と、広画角撮影装置100により360°の方向に向かって撮影された全体の映像領域のうちメイン映像領域を特定し、特定のメイン映像領域に基づいて上映館の各面において再生されるべき映像を生成する映像処理装置200と、を備える。
広画角撮影装置100は、360°の画角を実現して360°の方向に向かって撮影動作を行う構成要素である。このような広画角撮影装置100は、好ましくは、水平方向に360°の画角を実現するように実現されるが、具体的に、水平の全ての方向(360°の方向)から入射する光を受光してイメージセンサに伝えるように実現される。
また、広画角撮影装置100は、撮影動作を行うカメラモジュール110と、360°の方向から入射する光をカメラモジュール110に伝える反射モジュール120と、を備え、これらの構成要素を用いて360°の方向に向かって撮影動作を行う。ここで、カメラモジュール110は、 電荷結合素子(CCD:Charge Coupled Device)などのイメージセンサ、レンズ、デジタルシグナルプロセッサ(DSP:Digital Signal Processor)などを備える構成要素であり、反射モジュール120を介して伝えられる光を用いて撮影動作を行う構成要素である。なお、反射モジュール120は、360°の方向から入射する光をカメラモジュール110に伝える構成要素である。このような反射モジュール120は、好ましくは、円錐状に形成され、光を反射する材質により形成される。
映像処理装置200は、広画角撮影装置100が撮影した映像を受信して映像処理動作を行い、このような映像処理動作を用いて「多面映像」を生成する構成要素である。
このような映像処理装置200は、広画角撮影装置100により360°の方向に向かって撮影された全体の映像が2次元平面上に展開されるように表示するか(角度タイプの表示のための映像処理)、あるいは、撮影された方向角とマッチングするように表示する(2次元平面タイプの表示のための映像処理)。
また、映像処理装置200は、広画角撮影装置100により360°の方向に向かって撮影された全体の映像領域のうちメイン映像領域(360°の方向の全体の映像領域のうちメインシーンが撮影される映像領域)を特定する。この場合、映像処理装置200は、ユーザからデータを入力される入力装置と連動して前記メイン映像領域を特定するか、あるいは、既に設定されたアルゴリズムに基づいて自体的な演算を行って前記メイン映像領域を特定する。さらに、映像処理装置200は、既に設定された特定の方向(広画角撮影装置100のボディを基準として特定のボディ部分が向く方向、又は絶対的な特定の水平方向)に撮影された映像領域をメイン映像領域として特定する。
また、映像処理装置200は、ステップS13において、広画角撮影装置100により360°の方向に向かって撮影された映像に基づいて、ソース映像(360°の映像のうち実際に多面映像の生成に活用される映像)を生成する。具体的に、映像処理装置200は、広画角撮影装置100により撮影された全体の映像領域のうち、前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域をクロップして前記ソース映像を生成する。
さらに、映像処理装置200は、前記ソース映像に基づいて「多面映像」を生成する。具体的に、映像処理装置200は、前記ソース映像に基づいて映像処理を行って、多面上映システムが構築された上映館の各面(各投射面、又は各ディスプレイ装置が設けられた面)において再生されるべき映像を生成する。この場合、映像処理装置200は、前記ソース映像を球状の空間又はシリンダ状の空間に一緒にマッピングさせることが好ましく、このようなマッピング後に、上映館の各面(各投射面、又は各ディスプレイ装置が設けられた面)に対する映像を生成することが好ましい。
一方、映像処理装置200は、少なくとも一つの演算手段と格納手段を備えるが、ここで、前記演算手段は、汎用的な中央演算装置(CPU)であるか、特定の目的に合うように実現されたプログラマブル素子(CPLD、FPGA)、注文型半導体演算装置(ASIC)、又はマイクロコントローラチップである。なお、前記格納手段は、揮発性メモリ素子であるか、不揮発性メモリ又は不揮発性電磁気的格納素子であるか、演算手段の内部のメモリである。
上述した本発明の一実施形態による「多面映像の生成システム」は、カテゴリは異なるとはいえ、本発明の一実施形態による「多面映像の生成方法」と実質的に同じ技術的な特徴を含む。
したがって、重複する記載を防ぐために詳細に記載はしなかったが、前記「多面映像の生成方法」に関して上述した特徴は、本発明の一実施形態による「多面映像の生成システム」にも当然のことながら類推して適用可能である。逆に、前記「多面映像の生成システム」に関して上述した特徴は、前記「多面映像の生成方法」にも当然のことながら類推して適用可能である。
上述した本発明の実施形態は単なる例示のために開示されたものに過ぎず、これらにより本発明が限定されることはない。また、本発明が属する技術分野における通常の知識を有する者であれば、本発明の思想及び範囲内において様々な修正及び変更を加えることができ、このような修正及び変更は、本発明の範囲に属するものと見なすべきである。
100 広画角撮影装置
110 カメラモジュール
120 反射モジュール
200 映像処理装置

Claims (11)

  1. (a)360°の画角を実現する広画角撮影装置が撮影動作を行うステップと、
    (b)前記広画角撮影装置により360°の方向に向かって撮影された全体の映像領域のうちから、メイン映像領域が特定されるステップと、
    を含むことを特徴とする多面映像の生成方法。
  2. 前記広画角撮影装置は、高さが調節可能であり、特定の高さ以上において撮影動作を行うことを特徴とする請求項1に記載の多面映像の生成方法。
  3. 前記広画角撮影装置により360°の方向に向かって撮影された全体の映像は、
    2次元平面上において展開されるように表示されるか、あるいは、撮影された方向角とマッチングするように表示されることを特徴とする請求項1に記載の多面映像の生成方法。
  4. 前記広画角撮影装置により撮影された全体の映像は、イメージワーピングにより2次元平面上に表示されることを特徴とする請求項3に記載の多面映像の生成方法。
  5. (c)前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域がクロップされるステップをさらに含むことを特徴とする請求項1に記載の多面映像の生成方法。
  6. (d)クロップされた映像領域が球状の空間又はシリンダ状の空間にマッピングされた後に、各面に対する映像が生成されるステップをさらに含むことを特徴とする請求項5に記載の多面映像の生成方法。
  7. 360°の画角を実現して360°の方向に向かって撮影動作を行う広画角撮影装置と、
    前記広画角撮影装置により360°の方向に向かって撮影された全体の映像領域のうちからメイン映像領域を特定し、特定されたメイン映像領域に基づいて上映館の各面において再生される映像を生成する映像処理装置と、
    を備えることを特徴とする多面映像の生成システム。
  8. 前記広画角撮影装置は、
    撮影動作を行うカメラモジュールと、
    360°の方向から入射する光を前記カメラモジュールに伝える反射モジュールと、
    を備えることを特徴とする請求項7に記載の多面映像の生成システム。
  9. 前記映像処理装置は、
    前記広画角撮影装置により360°の方向に向かって撮影された全体の映像を、2次元平面上に展開されるように表示するか、あるいは、撮影された方向角とマッチングするように表示することを特徴とする請求項7に記載の多面映像の生成システム。
  10. 前記映像処理装置は、
    前記メイン映像領域、及び前記メイン映像領域を基準として所定の画角範囲にある映像領域をクロップすることを特徴とする請求項7に記載の多面映像の生成システム。
  11. 前記映像処理装置は、
    前記クロップされた映像領域を球状の空間又はシリンダ状の空間にマッピングした後に、各面に対する映像を生成することを特徴とする請求項10に記載の多面映像の生成システム。
JP2016537979A 2013-12-09 2014-12-09 多面映像の生成方法及びシステム Pending JP2017505565A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20130152606 2013-12-09
KR10-2013-0152606 2013-12-09
KR10-2014-0172173 2014-12-03
KR1020140172173A KR20150068299A (ko) 2013-12-09 2014-12-03 다면 영상 생성 방법 및 시스템
PCT/KR2014/012083 WO2015088228A1 (en) 2013-12-09 2014-12-09 Method and system for generating multi-projection images

Publications (1)

Publication Number Publication Date
JP2017505565A true JP2017505565A (ja) 2017-02-16

Family

ID=53515892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537979A Pending JP2017505565A (ja) 2013-12-09 2014-12-09 多面映像の生成方法及びシステム

Country Status (4)

Country Link
US (1) US20160328824A1 (ja)
JP (1) JP2017505565A (ja)
KR (1) KR20150068299A (ja)
CN (1) CN105324984A (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
KR102542515B1 (ko) 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR102352933B1 (ko) * 2016-09-09 2022-01-20 삼성전자주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치
CN114531590A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114245122A (zh) 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
WO2018066990A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
WO2018066989A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066987A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066992A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066993A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN117041600A (zh) 2016-10-04 2023-11-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
WO2018066991A1 (ko) 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066986A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066985A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
WO2018066981A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066984A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR102575910B1 (ko) 2016-10-28 2023-09-08 삼성전자주식회사 가이드를 출력하는 전자 장치 및 방법
WO2018123645A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像再生方法
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018217057A1 (ko) * 2017-05-26 2018-11-29 엘지전자 주식회사 360 비디오 처리 방법 및 그 장치
US20190007672A1 (en) * 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102166106B1 (ko) * 2018-11-21 2020-10-15 스크린엑스 주식회사 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997050252A1 (en) * 1996-06-24 1997-12-31 Behere Corporation Panoramic camera
JP2000132673A (ja) * 1998-10-28 2000-05-12 Sharp Corp 画像システム
EP1178352A1 (en) * 1996-06-24 2002-02-06 Behere Corporation Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20040001146A1 (en) * 2002-06-28 2004-01-01 Zicheng Liu Real-time wide-angle image correction system and method for computer image viewing
WO2006112967A1 (en) * 2005-04-14 2006-10-26 Microsoft Corporation A user interface for a system and method for head size equalization in 360 degree panoramic images
JP2006352539A (ja) * 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
US20070193123A1 (en) * 2006-02-23 2007-08-23 Magpuri Cecil D Circular motion theater
KR20070118644A (ko) * 2005-04-14 2007-12-17 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2013182219A (ja) * 2012-03-02 2013-09-12 Waseda Univ パノラマ撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
JP4100934B2 (ja) * 2002-02-28 2008-06-11 シャープ株式会社 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム
CN2667827Y (zh) * 2003-12-22 2004-12-29 爱里程科技咨询(上海)有限公司 一种准全景环绕式影视播放系统
TW200734965A (en) * 2006-03-10 2007-09-16 Sony Taiwan Ltd A perspective correction panning method for wide-angle image
CN101047790A (zh) * 2006-03-30 2007-10-03 台湾新力国际股份有限公司 广角影像的视点校正摇摄方法
US20080049099A1 (en) * 2006-08-25 2008-02-28 Imay Software Co., Ltd. Entire-view video image process system and method thereof
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
US8744162B2 (en) * 2011-03-25 2014-06-03 Midmark Corporation Image evaluation method and system

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997050252A1 (en) * 1996-06-24 1997-12-31 Behere Corporation Panoramic camera
US20010010555A1 (en) * 1996-06-24 2001-08-02 Edward Driscoll Jr Panoramic camera
EP1178352A1 (en) * 1996-06-24 2002-02-06 Behere Corporation Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
JP2002515984A (ja) * 1996-06-24 2002-05-28 ビイ ヒア・コーポレーション パノラマ・カメラ
JP2000132673A (ja) * 1998-10-28 2000-05-12 Sharp Corp 画像システム
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20040001146A1 (en) * 2002-06-28 2004-01-01 Zicheng Liu Real-time wide-angle image correction system and method for computer image viewing
WO2006112967A1 (en) * 2005-04-14 2006-10-26 Microsoft Corporation A user interface for a system and method for head size equalization in 360 degree panoramic images
JP2008536238A (ja) * 2005-04-14 2008-09-04 マイクロソフト コーポレーション 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法
CN101160591A (zh) * 2005-04-14 2008-04-09 微软公司 在360度全景图像中进行头部大小均衡的系统和方法
KR20070118644A (ko) * 2005-04-14 2007-12-17 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
EP1869619A2 (en) * 2005-04-14 2007-12-26 Microsoft Corporation System and method for head size equalization in 360 degree panoramic images
JP2006352539A (ja) * 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
WO2007101050A2 (en) * 2006-02-23 2007-09-07 Falcon's Treehouse, L.L.C. Circular motion theater
US20070193123A1 (en) * 2006-02-23 2007-08-23 Magpuri Cecil D Circular motion theater
EP1987214A2 (en) * 2006-02-23 2008-11-05 Falcon's Treehouse, L.L.C. Circular motion theater
KR20090009194A (ko) * 2006-02-23 2009-01-22 팰콘스 트리하우스 엘.엘.씨. 원형 이동 극장
CN101426993A (zh) * 2006-02-23 2009-05-06 猎鹰树屋有限责任公司 圆形运动电影院
JP2009528086A (ja) * 2006-02-23 2009-08-06 ファルコンズ トゥリーハウス リミテッド ライアビリティ カンパニー 円形移動劇場
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2013182219A (ja) * 2012-03-02 2013-09-12 Waseda Univ パノラマ撮像装置

Also Published As

Publication number Publication date
KR20150068299A (ko) 2015-06-19
CN105324984A (zh) 2016-02-10
US20160328824A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
JP2017505565A (ja) 多面映像の生成方法及びシステム
US20180205936A1 (en) Stereoscopic 3d camera for virtual reality experience
US9264695B2 (en) System and method for multi-viewpoint video capture
US10154194B2 (en) Video capturing and formatting system
CN102722080B (zh) 一种基于多镜头拍摄的多用途立体摄像方法
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
JP2010181826A (ja) 立体画像形成装置
US10306208B2 (en) Device for creating and enhancing three-dimensional image effects
US9565421B2 (en) Device for creating and enhancing three-dimensional image effects
TW201801528A (zh) 立體影像產生方法及使用此方法的電子裝置
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
WO2012108187A1 (ja) 立体視用画像生成装置および方法、並びにプログラム
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
JP2011112808A (ja) 撮像装置
TW201327019A (zh) 利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術
US10757396B2 (en) Adding new imaging capabilities to smart mobile device
Zhang et al. A new 360 camera design for multi format VR experiences
JP7395296B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011182003A (ja) パノラマカメラ及び360度パノラマ立体映像システム
JP2012134885A (ja) 画像処理装置及び画像処理方法
WO2015088228A1 (en) Method and system for generating multi-projection images
TW201133124A (en) Apparatus and method for capturing three-dimensional image
KR20170059879A (ko) 입체 영상 촬영 장치
KR20110009740A (ko) 한쪽 눈만으로도 느낄 수 있는 입체영상을 촬영하는 방법 및 그 방법을 이용한 입체영상촬영장치와 입체영상촬영카메라

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180731