JP2011217300A

JP2011217300A - 360° live panorama distribution system

Info

Publication number: JP2011217300A
Application number: JP2010085784A
Authority: JP
Inventors: Masamichi Tokuzawa; 征道徳澤
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-04-02
Filing date: 2010-04-02
Publication date: 2011-10-27

Abstract

PROBLEM TO BE SOLVED: To provide a technology for easily distributing and browsing a live panoramic moving picture at a horizontal angle of view of 360°.SOLUTION: On the basis of an existent cross platform live moving picture distribution system, a live panoramic moving picture at a horizontal angle of view of 360° captured by utilizing a one-shot mirror (single-shot mirror, panoramic annular lens), that is, a moving picture having a doughnut-shaped image form like Fig.2-1 is distributed. At the same time, that moving picture having the doughnut-shaped image form is browsed on a browsing client, such as Fig.1-8, by converting the moving picture into a normal perspective or orthogonal projection (orthogonal view) or stereographic projection (stereographic view) moving picture in real time.

Description

本発明は、水平画角３６０度のライブ・パノラマ動画をインターネット経由で簡便に配信するためのシステムに関するものである。 The present invention relates to a system for simply distributing a live panoramic video having a horizontal angle of view of 360 degrees via the Internet.

現在、水平画角３６０度のライブ・パノラマ動画をインターネット経由で簡便に配信ならびに閲覧するための実用的かつ簡便なシステムは存在しない。一般的なライブ動画を撮影する技術、撮影された画像をインターネット配信に適したフォーマットに圧縮する技術、圧縮された画像をサーバーに送信する技術、その画像をサーバーから閲覧用クライアントにストリーミング方式で配信する技術、閲覧用クライアントに配信された圧縮画像を伸張する技術、伸張された画像を閲覧用クライアント上で閲覧するためのソフトウェアに関する技術などはすでに確立され実用化されている。
一方、水平画角３６０度のライブ・パノラマ動画をインターネット経由で簡便に配信するには、上記の技術に加えて、ライブ・パノラマ動画を簡便に撮影するための技術と、閲覧用クライアント上で伸張されたライブ・パノラマ動画を簡便に閲覧できるようにするための技術が必要となる。 Currently, there is no practical and simple system for simply distributing and viewing a live panoramic video with a horizontal angle of view of 360 degrees via the Internet. Technology for shooting general live video, technology for compressing captured images into a format suitable for Internet delivery, technology for sending compressed images to the server, and delivering the images from the server to the viewing client in a streaming format Technology for expanding the compressed image distributed to the browsing client, and technology for software for browsing the expanded image on the browsing client have already been established and put into practical use.
On the other hand, in order to easily distribute live panoramic videos with a horizontal angle of view of 360 degrees via the Internet, in addition to the above technologies, technologies for simply shooting live panoramic videos and expansion on the browsing client A technology is required to enable easy viewing of live panoramic videos.

平成15年度・放送文化基金研究報告・奈良先端大・全方位ビデオ映像のネットワーク配信による実時間テレプレゼンスに関する研究2003 ・ Broadcast Culture Fund Research Report ・ Nara Advanced University ・ Real-time telepresence by omnidirectional video network distribution

本発明が解決しようとする課題は、ライブ・パノラマ動画を簡便に撮影するための技術、ならびに閲覧用クライアント上で伸張されたライブ・パノラマ動画を簡便に閲覧できるようにするための技術が存在しないという点である。 The problem to be solved by the present invention is that there is no technology for easily shooting a live panoramic video and a technology for easily browsing a live panoramic video expanded on a browsing client. That is the point.

本発明は、水平画角３６０度の静止画パノラマや動画パノラマを撮影するための装置として実用化されているワンショット・ミラー（シングルショット・ミラー、パノラミック・アニュラー・レンズなどとも呼ばれている）を、ライブ・パノラマ動画の撮影用として利用すること、ならびに、ワンショット・ミラーで撮影され、最終的に閲覧用クライアントで伸張されるライブ・パノラマ動画を実時間で通常の遠近射影法の画像（レクティリニア・ビュー、ないしはパースペクティブ・ビュー）、正射影法（オーソゴナル・ビュー）、ならびに立体射影法（ステレオグラフィック・ビュー）などに簡便に変換し閲覧できるようにするための技術を提供することを最も主要な特徴とする。第二の特徴は、ストリーミング・サーバーを介してライブ・パノラマ動画の配信を行うため、ＩＰアドレスに左右されない柔軟性のある配信と閲覧が可能になる点である。第三の特徴は、画像撮影、画像圧縮、送信、配信、画像伸張、射影変換、ならびに閲覧といった機能を実現するソフトウェアを、すべてクロス・プラットフォーム、すなわち一般的に利用されている主要オペレーティング・システム・プラットフォームの違いに左右されない単一のコードによって実現できる点である。 The present invention is a one-shot mirror (also called a single-shot mirror, a panoramic annular lens, etc.) that has been put to practical use as an apparatus for taking a still image panorama or a moving image panorama with a horizontal angle of view of 360 degrees. Is used for shooting live panoramic videos, and live panoramic videos shot with a one-shot mirror and finally stretched with a viewing client are converted to normal perspective projection images in real time ( It is most important to provide technology for easy conversion and browsing to rectilinear view (or perspective view), orthographic projection (orthogonal view), and stereographic projection (stereographic view). Main features. The second feature is that the live panorama video is distributed via the streaming server, so that flexible distribution and browsing independent of the IP address are possible. The third feature is that the software that realizes functions such as image capture, image compression, transmission, distribution, image decompression, projective transformation, and browsing are all cross-platform, that is, the main operating system commonly used. It can be realized by a single code that is not affected by platform differences.

本発明には、スポーツやコンサートなどのエンターテインメントの模様を水平画角３６０度のライブ・パノラマ動画として配信、閲覧する、あるいは家庭、商店、公共施設などに配置して極めて簡便かつ柔軟性のなるセキュリティ・システムとして利用する等々、多様な適用業務が存在する。インターネット回線を利用するため、地球上のいたるところからの配信、閲覧が可能であり、その適用範囲と拡張性は無限である。 The present invention provides an extremely simple and flexible security by distributing and viewing entertainment patterns such as sports and concerts as a live panoramic video with a horizontal angle of view of 360 degrees, or arranging it in homes, shops, public facilities, etc.・ There are various applications such as use as a system. Because it uses an Internet line, it can be distributed and viewed from anywhere on the globe, and its application range and expandability are infinite.

ＩＰアドレスに左右されない柔軟性のある配信と閲覧が可能であり、かつ一般的に利用されている主要オペレーティング・システム・プラットフォームの違いに左右されない単一のコードによって実現できるという特徴を持つ、水平画角３６０度のライブ・パノラマ動画をインターネット経由で簡便に配信ならびに閲覧するためのシステムを、最小限のシステム構成によって実現した。 A horizontal image that can be delivered and viewed in a flexible manner independent of IP addresses, and can be realized by a single code that is not affected by the differences in commonly used major operating system platforms. A system for simply delivering and viewing 360 ° live panoramic videos via the Internet has been realized with a minimum system configuration.

図１は360度ライブ・パノラマ配信システムの構成ならびに実施方法を示した説明図である（実施例１）。FIG. 1 is an explanatory diagram showing the configuration and implementation method of a 360-degree live panorama distribution system (Example 1). 図２は360度ライブ・パノラマ配信システムを構成する動画撮影装置（図１−２）で撮影された動画の一例を示した説明図である。FIG. 2 is an explanatory diagram showing an example of a moving image shot by the moving image shooting apparatus (FIG. 1-2) constituting the 360-degree live panorama distribution system. 図３は360度ライブ・パノラマ配信システムを構成する画像表示機構（図１−１１)で表示された動画の一例を示した説明図である。FIG. 3 is an explanatory diagram showing an example of a moving image displayed by the image display mechanism (FIG. 1-11) constituting the 360-degree live panorama distribution system.

図１は、本発明システムの一つの実施例を示す、システム構成図である。 FIG. 1 is a system configuration diagram showing an embodiment of the system of the present invention.

図１−１のワンショット・ミラー（シングルショット・ミラー、パノラミック・アニュラー・レンズなどとも呼ばれている）によって反射された、水平画角３６０度の景観は、図１−２の動画撮影装置によって撮影され、図２−１のような画像の動画として、図１−３のパノラマ動画撮影用クライアントに渡される。 The landscape with a horizontal angle of view of 360 degrees reflected by the one-shot mirror (also called a single-shot mirror, panoramic annular lens, etc.) in FIG. The captured image is transferred to the panoramic video shooting client of FIG. 1-3 as a moving image of the image as shown in FIG.

動画撮影用クライアント内部では、図１−４の画像圧縮機構を使用して、受け取った画像をインターネット回線経由での伝送に適したフォーマットに変換する。 In the moving image shooting client, the received image is converted into a format suitable for transmission via the Internet line using the image compression mechanism shown in FIG.

フォーマット変換後の動画は、図１−５の画像送信機構を使い、インターネット回線経由で図１−７の３６０度ライブ・パノラマ動画配信用ストリーミング・サーバー宛てに送信される。 The moving image after the format conversion is transmitted to the 360 ° live panoramic moving image distribution server of FIG. 1-7 via the Internet line using the image transmission mechanism of FIG. 1-5.

図１−７のストリーミング・サーバーは、図２−１のような画像形式の圧縮動画を受取り、この画像をインターネット回線を介して、直接ないしは、通常のＷｅｂサーバーを介して、図１−８のパノラマ動画閲覧用クライアントに向けて配信する。 The streaming server in FIG. 1-7 receives the compressed moving image in the image format as shown in FIG. 2-1, and sends the image via the Internet line directly or via a normal Web server as shown in FIG. 1-8. Deliver to panoramic video viewing clients.

図１−８のパノラマ動画閲覧用クライアント内部では、図１−９の画像受信・伸張機構が、図２−１のような画像形式の圧縮動画を受取り、伸長した後、図２−１のような画像形式の非圧縮動画として一時的に保存する。 In the panoramic video browsing client in FIG. 1-8, the image reception / decompression mechanism in FIG. 1-9 receives the compressed video in the image format as shown in FIG. Temporarily save as an uncompressed video in a simple image format.

図２−１のような画像形式の非圧縮動画として一時的に保存された動画は、図１−１０の射影変換機構によって、実時間で、図３−１に示すような通常の遠近射影法の画像（レクティリニア・ビュー、ないしはパースペクティブ・ビューとも呼ばれる）、あるいはユーザーの指定に応じて正射影法（オーソゴナル・ビュー）、あるいは立体射影法（ステレオグラフィック・ビュー）などに変換される。 A moving image temporarily stored as an uncompressed moving image in the image format as shown in FIG. 2-1 is converted into a normal perspective projection method as shown in FIG. Image (also called a rectilinear view or a perspective view), or an orthogonal projection method (orthogonal view) or a stereoscopic projection method (stereographic view) according to the user's specification.

図３−１に示すような通常の遠近法に射影変換された動画、ないしは正射影法（オーソゴナル・ビュー）、あるいは立体射影法（ステレオグラフィック・ビュー）などに変換された動画は、図１−１１の画像表示機構によってユーザーの視覚に到達できる画像として表示される。 As shown in FIG. 3-1, a moving image that has been projected and converted to a normal perspective method, or a moving image that has been converted to an orthographic method (orthogonal view) or a stereoscopic projection method (stereographic view) is shown in FIG. 11 image display mechanisms are displayed as images that can reach the user's vision.

本発明には、スポーツやコンサートなどのエンターテインメントの模様を水平画角３６０度のライブ・パノラマ動画として配信、閲覧する、あるいは家庭、商店、公共施設などに配置して極めて簡便かつ柔軟性のなるセキュリティ・システムとして利用する等々、多様な適用業務が存在する。インターネット回線を利用するため、地球上のいたるところからの配信、閲覧が可能であり、その産業上の利用範囲とその可能性は無限である。 The present invention provides an extremely simple and flexible security by distributing and viewing entertainment patterns such as sports and concerts as a live panoramic video with a horizontal angle of view of 360 degrees, or arranging it in homes, shops, public facilities, etc.・ There are various applications such as use as a system. Because it uses an Internet line, it can be distributed and viewed from anywhere on the globe, and its industrial scope and possibilities are endless.

図１−１ワンショット・ミラー（シングルショット・ミラー、パノラミック・アニュラー・レンズ）
図１−２動画撮影装置
図１−３パノラマ動画撮影用クライアント
図１−４画像圧縮機構
図１−５画像送信機構
図１−６インターネット回線
図１−７３６０度ライブ・パノラマ動画配信用ストリーミング・サーバー
図１−８パノラマ動画閲覧用クライアント
図１−９画像受信・伸張機構
図１−１０射影変換機構
図１−１１画像表示機構
図２−１動画撮影装置（図１−２）で撮影された動画の一例
図３−１画像表示機構（図１−１１)で表示された動画の一例 Figure 1-1 One-shot mirror (single-shot mirror, panoramic annular lens)
Fig. 1-2 Video shooting device Fig. 1-3 Client for panoramic video shooting Fig. 1-4 Image compression mechanism Fig. 1-5 Image transmission mechanism Fig. 1-6 Internet line Fig. 1-7 Streaming for 360-degree live panorama video distribution Server Fig. 1-8 Client for viewing panoramic video Fig. 1-9 Image reception / decompression mechanism Fig. 1-10 Projection conversion mechanism Fig. 1-11 Image display mechanism Fig. 2-1 Video taken by video camera (Fig. 1-2) Example of moving image Fig. 3-1 Example of moving image displayed by image display mechanism (Fig. 1-11)

Claims

Based on the cross-platform live video distribution system, a live panoramic video with a horizontal angle of view of 360 degrees shot using a one-shot mirror (single-shot mirror, panoramic annular lens), that is, FIG. A video having a donut-like image format such as -1 is distributed, and a video having the donut-like image format is displayed on the browsing client as shown in FIG. A system that browses images by converting them into methods such as orthographic projection (orthogonal view) or stereographic projection (stereographic view).