JP6006536B2 - 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 - Google Patents
情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 Download PDFInfo
- Publication number
- JP6006536B2 JP6006536B2 JP2012125644A JP2012125644A JP6006536B2 JP 6006536 B2 JP6006536 B2 JP 6006536B2 JP 2012125644 A JP2012125644 A JP 2012125644A JP 2012125644 A JP2012125644 A JP 2012125644A JP 6006536 B2 JP6006536 B2 JP 6006536B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- panoramic video
- range
- display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Position Input By Displaying (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明の一例は、パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムである。情報処理プログラムは、取得手段と、第1出力制御手段としてコンピュータを機能させる。
取得手段は範囲情報を取得する。範囲情報は、パノラマ動画のうちで表示される表示範囲を特定可能な情報であって、パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される表示範囲に関する情報である。第1出力制御手段は、取得手段によって取得された範囲情報に応じて出力内容を変化させてパノラマ動画の少なくとも一部を出力する。
取得手段は、取得された範囲情報を記憶部に履歴情報として記憶してもよい。このとき、第1出力制御手段は、履歴情報が記憶された後で履歴情報に基づく情報を出力する。
取得手段は、パノラマ動画における再生時点を特定可能な時間情報と、当該再生時点における表示範囲および/または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を記憶部に記憶してもよい。
情報処理プログラムは、所定の入力装置に対する入力に基づいて表示範囲を決定する範囲決定手段としてコンピュータをさらに機能させてもよい。このとき、第1出力制御手段は、所定の入力装置に対する入力に基づいて決定される表示範囲のパノラマ動画を表示装置に表示するとともに、履歴情報に基づいて生成される履歴関連情報を出力する。
第1出力制御手段は、現在の表示範囲に対する、履歴情報に含まれる範囲情報によって特定される表示範囲の向きを表す履歴関連情報をパノラマ動画とともに出力してもよい。
第1出力制御手段は、履歴情報から得られる、パノラマ動画における所定の範囲についての表示頻度を表す履歴関連情報を出力してもよい。
第1出力制御手段は、時間情報および範囲情報に関する所定の条件を満たす履歴情報の数に応じた表示頻度を表す履歴関連情報を出力してもよい。
第1出力制御手段は、パノラマ画像上における位置に関する所定の条件を満たす範囲情報の数に応じた表示頻度を表す履歴関連情報を出力してもよい。
パノラマ動画は、当該パノラマ動画中に登場するオブジェクトの位置および/または範囲を表すオブジェクト情報とともに、情報処理装置がアクセス可能な記憶部に記憶されていてもよい。このとき、第1出力制御手段は、オブジェクト情報と履歴情報とに基づいてオブジェクトの表示頻度を算出し、当該表示頻度を表す履歴関連情報をパノラマ動画とともに出力する。
第1出力制御手段は、パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置に表示させてもよい。
取得手段は、表示範囲、および/または、当該表示範囲内の位置を表す範囲情報を履歴情報として取得してもよい。このとき、情報処理プログラムは、履歴情報によって特定される表示範囲に、パノラマ動画中に登場するオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出するオブジェクト選出手段としてコンピュータをさらに機能させる。第1出力制御手段は、選出されたオブジェクトが含まれるパノラマ画像を静止画または動画として表示装置に表示させる。
情報処理プログラムは、パノラマ動画の再生中における表示範囲にオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出するオブジェクト選出手段としてコンピュータをさらに機能させてもよい。このとき、取得手段は、選出されたオブジェクトを表す情報を範囲情報として取得する。第1出力制御手段は、範囲情報が表すオブジェクトが含まれる表示範囲のパノラマ画像を静止画または動画として表示装置に表示させる。
取得手段は、パノラマ動画における再生時点を特定可能な時間情報と、当該再生時点における表示範囲および/または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を記憶部に記憶してもよい。このとき、第1出力制御手段は、複数の履歴情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置に表示させる。
取得手段は、表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。
取得手段は、表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。
情報処理プログラムは、範囲決定手段と、第2出力制御手段としてコンピュータをさらに機能させてもよい。範囲決定手段は、第1出力制御手段によってパノラマ動画が表示装置において表示される間、所定の入力装置に対する入力に基づいて表示範囲を決定する。第2出力制御手段は、第1出力制御手段によってパノラマ動画が表示装置において表示される間、範囲決定手段によって決定される表示範囲のパノラマ動画を他の表示装置に表示させる。
情報処理プログラムは、第1出力制御手段によってパノラマ動画が表示装置において表示される間に、当該表示装置とは別の他の表示装置において当該パノラマ動画を出力させる第2出力制御手段としてコンピュータをさらに機能させてもよい。このとき、取得手段は、他の表示装置においてパノラマ動画が再生される場合に範囲情報を取得する。第1出力制御手段は、他の表示装置においてパノラマ動画が再生される間に、範囲情報に応じて出力内容を変化させて表示装置にパノラマ動画を表示させる。
情報処理プログラムは、第1出力制御手段によってパノラマ動画が表示装置において表示される間、所定の入力装置に対する入力に基づいて表示範囲を決定する範囲決定手段としてコンピュータをさらに機能させてもよい。このとき、第2出力制御手段は、範囲決定手段によって決定される表示範囲のパノラマ動画を他の表示装置に表示させる。第1出力制御手段は、所定の範囲のパノラマ動画を表示装置に表示させるとともに、範囲情報に基づく表示範囲のパノラマ動画を表示装置に表示させる。
第1出力制御手段は、範囲情報に基づいて決定される表示範囲のパノラマ動画を表示装置に表示させてもよい。
また、取得手段は、表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。このとき、第1出力制御手段は、範囲情報に基づいて決定される表示範囲における変化を軽減してパノラマ動画を表示装置に表示させてもよい。
取得手段は、パノラマ動画の再生中においてユーザによって指定された位置を表す範囲情報をさらに取得してもよい。このとき、第1出力制御手段は、範囲情報に基づいて決定されるパノラマ画像上における位置を表す画像をパノラマ動画とともに表示装置に表示する。
第1出力制御手段は、範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像を表示装置に表示させてもよい。
第1出力制御手段は、パノラマ動画が表す空間と、範囲情報に基づくパノラマ動画上における位置に対応する当該空間内における位置とを表す画像を表示装置に表示させてもよい。
取得手段は、ネットワークを介して外部の装置から範囲情報を取得してもよい。
取得手段は、範囲情報に関する入力を行ったユーザを表すユーザ情報をさらに取得してもよい。このとき、出力制御手段は、パノラマ動画を出力する場合にユーザ情報を出力する。
以下、本実施形態の一例に係る情報処理システム、情報処理装置、情報処理プログラム、および動画表示方法について説明する。図1は、本実施形態に係る情報処理システムの一例を示すブロック図である。図1において、情報処理システム1は、端末装置2、情報処理装置3、モニタ4、および操作装置7を備える。本実施形態における情報処理システム1は、画像(パノラマ画像)を生成して表示装置(端末装置2および/またはモニタ4)に表示するものである。
次に、情報処理システム1において実行される、パノラマ動画を再生する処理について説明する。図2は、情報処理システム1において表示されるパノラマ動画(画像)の一例を示す図である。図2に示すように、本実施形態においては、端末装置2およびモニタ4にパノラマ画像が表示される。なお、他の実施形態においては、パノラマ画像は少なくとも1つの表示装置に表示されればよい。
本実施形態においては、パノラマ動画の再生中において、ユーザはコメント(付加情報)を入力することができる(図4,図5参照)。また、入力されたコメントは、その後パノラマ動画が再生される際に、パノラマ動画とともに出力される(図10〜図13参照)。なお、付加情報(コメント)は、画像として表示されてもよいし、音声として出力されてもよい。これによって、ユーザは、パノラマ動画を単に見るだけでなく、自分や他のユーザが入力したコメントと共にパノラマ動画を視聴することができる。したがって、本実施形態によれば、情報処理システム1は、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。また、付加情報が提示されることによって、ユーザは、パノラマ動画のうちで自分が見た範囲を他のユーザに伝えたり、他のユーザが見た範囲を知ったりすることができる。以下、コメントの入力を受け付け、入力されたコメントを出力する方法の詳細を説明する。
図4および図5を参照して、ユーザが付加情報(コメント)を入力する方法を説明する。情報処理システム1は、パノラマ動画の再生中において、端末装置2に表示されているパノラマ動画に対するコメントの入力を受け付ける。図4は、ユーザがコメントを入力する操作の一例を示す図である。本実施形態においては、情報処理システム1は、パノラマ動画が表示される画面上(タッチパネル12上)に対する入力(タッチ入力)を受け付ける。図4においては、ユーザは、パノラマ動画が表示される画面に対して直接手書きでコメントを入力することができる。なお、付加情報(コメント)の具体的な入力方法はどのような方法であってもよく、他の実施形態においては、例えばキーボードやボタン等の操作部を用いて入力が行われてもよいし、端末装置4がマイクを備える場合には音声入力が行われてもよい。
付加情報の入力が行われた場合、情報処理システム1は、付加情報と、付加情報を出力するために必要な情報とを記憶する。図6は、付加情報の入力に応じて記憶される情報(「入力情報」と呼ぶ。)の一例を示す図である。本実施形態においては、図6に示すように、付加情報と、入力範囲情報とを含む入力情報が記憶部に記憶される。この記憶部は、本実施形態においてはメモリ6とするが、情報処理システム1(情報処理装置3)のコンピュータがアクセス可能な記憶装置であればよい。
以上のようにして付加情報を含む入力情報が記憶された状態でパノラマ動画が再生される場合、情報処理システム1は、パノラマ動画とともに付加情報を出力する。本実施形態においては、情報処理システム1は、パノラマ動画とともに出力される付加情報を上記入力範囲情報に基づいて制御する。典型的には、パノラマ動画の再生中において、上記入力時点が到来し、かつ、上記入力位置が現在の表示範囲に含まれる場合、付加情報がパノラマ動画とともに表示される(図10等参照)。なお、例えば入力時点が到来していない場合、あるいは、入力位置が現在の表示範囲に含まれない場合(現在の視線方向が付加情報の入力時とは別の方向を向いている場合)には、付加情報は表示されない。以下、付加情報を出力する方法について説明する。
本実施形態においては、情報処理システム1は、付加情報を出力するか否かを上記時間情報および入力範囲情報を用いて判別する。具体的には、情報処理装置3は、(a)再生されているパノラマ動画のうちの表示範囲が、入力範囲情報により特定される表示範囲および/または位置に関する条件を満たすか否か、および、(b)再生されているパノラマ動画が、時間情報により特定される再生時点に関する条件を満たすタイミングとなるか否か、を判定する。
図10は、パノラマ動画とともに付加情報が表示される画像の一例を示す図である。付加情報を出力すると情報処理システム1が判断した場合、図10に示すように、端末装置2にはパノラマ動画上にコメント画像32が表示される。このように、本実施形態においては、パノラマ動画中に登場するあるオブジェクト(ここではビル)に対してコメントが入力されると、その後においてパノラマ動画が再生される際には、当該オブジェクトにコメントが付された状態でパノラマ動画が表示される。
他の実施形態においては、付加情報として出力される内容は、ユーザが入力したコメントに限らず、ユーザの入力に基づく他の情報であってもよい。例えば上述した評価ボタン31を用いて評価情報の入力が行われる場合には、評価ボタン31に対する入力回数を表す評価情報を付加情報として記憶し、当該入力回数を表す画像が付加情報として出力されてもよい。図14は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。上記の場合、例えば図14に示すように、入力回数に応じた長さのバー35が付加情報として表示されてもよい。なお、バー35は、付加情報の入力位置(評価ボタン31の位置)に基づく位置(例えば近傍の位置)に表示される。
本実施形態においては、上記付加情報は端末装置2に表示される。端末装置2は、表示範囲がユーザによって操作される表示装置である。したがって、ユーザは、端末装置2を操作して表示範囲を移動させる際に付加情報を認識することができるので、付加情報をより確実にユーザに認識させることができる。
情報処理システム1は、端末装置2に対する入力によって入力情報を記憶する他、情報処理システム1の外部の他の装置から入力情報を取得し、当該入力情報に含まれる付加情報をパノラマ動画とともに出力してもよい。例えば、情報処理装置3は、インターネット等のネットワークを介して外部の装置と通信可能であってもよく、このとき、当該外部の装置から入力情報を取得してもよい。なお、上記「外部の装置」は、例えば、情報処理システム1と同機能のシステムに含まれる情報処理装置であってもよいし、入力情報を記憶するサーバであってもよい。上記によれば、ユーザは、他のユーザ(例えば知人や有名人)が入力した付加情報(コメント)が付加されたパノラマ動画を見ることができる。また、ユーザは、他のユーザによる付加情報を見ることで、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。
本実施形態においては、パノラマ動画の再生中において、付加情報(コメント)の他にガイド情報が出力される。ガイド情報は、パノラマ画像上における目標をガイドするための情報である。ここで、目標とは、パノラマ画像上において設定される位置および/または範囲である。例えば、上述の付加情報が表示される位置が目標として設定されてもよいし、他のユーザが指定した位置が目標として設定されてもよいし、後述する履歴情報から得られる表示範囲が目標として設定されてもよい。ガイド情報は、パノラマ画像上において目標が設定される場所をユーザに通知するための情報とも言える。
情報処理装置3は、パノラマ画像上における範囲および/または位置を目標に設定する。目標として設定される位置および/または範囲は、どのようなものであってもよい。例えば、目標は、ユーザに対して何らかの情報が提示される位置および/または範囲であってもよい。具体的には、付加情報がパノラマ動画上に表示される場合、情報処理装置3は、付加情報に対応する位置(および/または範囲)を目標に設定してもよい。このとき、ガイド情報によって、付加情報が表示される表示範囲となるようにユーザを誘導することができる。なお、図17に示す画像は、付加情報の一例であるコメントの位置が目標に設定された場合において表示される画像の例である。また、履歴情報から生成される履歴関連情報は付加情報となり得るものであり、付加情報である履歴関連情報に対応する位置が目標に設定されてもよい。なお、詳細は後述するが、履歴情報は、パノラマ画像の再生中におけるユーザによる操作、および/または、当該操作によって決定される情報を表す。
上記目標が設定される場合、情報処理装置3は、設定された目標を表す目標情報を記憶する。本実施形態においては、目標情報は、目標位置情報と、目標期間情報とを含む。目標位置情報は、目標として設定された位置および/または範囲を特定可能な情報である。目標として設定された位置および/または範囲は、上述の範囲情報(入力範囲情報)と同様に表すことができ、例えば、仮想カメラ22の姿勢(視線方向)を表すベクトルの情報によって表されてもよいし、立体モデル21上の範囲および/または位置として表されてもよい。
本実施形態においては、ガイド情報を出力するタイミングは、当該ガイド情報に対応する目標が設定される期間に基づいて決定される。上記タイミングの具体的な決定方法はどのようなものであってもよいが、本実施形態においては、情報処理システム1は、上記期間においてガイド情報を表示する。なお、ガイド情報の表示は、上記期間の所定時間前から開始され、当該期間が終了するまで行われてもよい。
ガイド情報は、表示範囲と目標との関係を表す画像および/または音声である。本実施形態においては、上記のように、表示範囲を基準として目標への向きを表すガイド情報が出力される。本実施形態においては、ガイド情報は、図17に示すような矢印を表すガイド画像41であるが、ガイド情報は、ユーザに対して上記向きを通知することが可能な任意の出力態様で出力されてもよい。例えば他の実施形態においては、情報処理システム1は、上記向きを表す画像とともに(または画像に代えて)、当該向きを表す音声を出力してもよい。なお、上記音声は、端末装置2および/またはモニタ4から出力される。また、後述するようなマップの画像(図25参照)によって、表示範囲を基準として目標への向きをユーザに推測させることも可能である。本願のガイド画像によれば、表示範囲に対する目標の向きをより直感的にわかりやすく提示することができる。
本実施形態においては、ガイド情報は、付加情報が表示される表示装置(端末装置2)に表示される(図17、図18参照)。したがって、ユーザは、端末装置2を操作して表示範囲を移動させる際にガイド情報を認識することができるので、ユーザにガイド情報をより確実に認識させることができる。なお、他の実施形態においては、ガイド情報は、付加情報が表示される表示装置とは別の表示装置(モニタ4)に表示されてもよい。これによれば、端末装置2に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態においては、2つの表示装置の両方にガイド情報が表示されてもよい。
なお、付加情報に対応して目標が設定される場合、ガイド情報に対応する付加情報の内容は、ユーザが入力した付加情報に限らない。ガイド情報に対応する付加情報は、パノラマ動画の再生中における表示範囲および再生時点に関する条件が満たされる場合に、パノラマ動画とともに出力される情報であればよい。つまり、上記付加情報は、パノラマ動画が所定の再生時点となり、かつ、表示範囲が所定の範囲を含む場合にパノラマ動画とともに出力されるものであればよい。例えば、上記付加情報は、上記(3−4)で述べたような、外部の装置から取得される情報であってもよいし、パノラマ動画に予め登録されている情報であってもよい。また、後述する履歴関連情報は付加情報の一種であり、履歴関連情報に対してガイド情報が設定されてもよい。
本実施形態においては、情報処理システム1は、上述した「パノラマ動画が別に再生される場合」における再生内容を反映してパノラマ動画を出力することが可能である。なお、再生内容とは、パノラマ動画の表示範囲、および、表示範囲内における位置(例えばユーザによって指定された位置)を含む概念である。情報処理システム1は、例えば、過去にパノラマ動画が再生された場合に取得された履歴に基づく情報をパノラマ動画とともに出力することが可能である。また例えば、複数の表示装置において1つのパノラマ動画が同時に再生される場合において、情報処理システム1は、他の表示装置で再生されている表示範囲を表す情報を、別の表示装置においてパノラマ動画とともに出力したりすることが可能である。上記のように、本実施形態においては、情報処理システム1は、過去においてまたは他の装置においてパノラマ動画が再生される際の再生内容を、現在再生中のパノラマ動画の出力に反映する。これによって、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。例えば、他のユーザがパノラマ動画のどこを見ていたか等の興味深い情報をユーザに提示することができる。
第1の態様において、情報処理システム1は、パノラマ動画の再生中における表示範囲に関する情報を履歴情報として記憶しておき、その後において当該パノラマ動画が再生される際に、記憶した履歴情報に基づいて出力を行う(後述する第2および第3モード)。すなわち、情報処理装置3は、パノラマ動画の再生中において上述の範囲情報を取得し、情報処理装置がアクセス可能な記憶部に履歴情報として記憶する。そして、情報処理装置3は、履歴情報が記憶された後で、履歴情報に基づく情報を出力する。
情報処理システム1は、パノラマ動画の再生中において、上記の履歴情報を記憶する。本実施形態において、情報処理システム1は、パノラマ動画における再生時点を特定可能な時間情報と、当該再生時点における表示範囲および/または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を記憶する。履歴情報は、上述の記憶部(ここではメモリ6)に記憶される。図20は、履歴情報の一例を示す図である。図20に示すように、履歴情報は、上記時間情報と範囲情報との組を複数含む。本実施形態においては、時間情報はパノラマ画像のフレーム番号の情報であり、範囲情報は仮想カメラ22の姿勢を表すベクトルの情報である。本実施形態においては、時間情報と範囲情報との組がパノラマ動画の1フレーム毎に記憶されるが、他の実施形態においては、所定時間間隔で当該組が記憶されてもよいし、キーとなるフレームについて当該組が記憶されてもよいし、所定の条件が満たされたタイミングで当該組が記憶されてもよい。上記のように、時間情報と範囲情報とを関連づけた履歴情報を記憶することによって、パノラマ動画における各再生時点における表示範囲を特定することができる。
情報処理システム1は、上記履歴情報に基づいてパノラマ動画の再生を行うことが可能である。すなわち、情報処理システム1は、履歴情報に応じて出力内容(表示態様)を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、履歴情報(あるいは履歴情報に基づく情報)をユーザに提示することができる。ここで、履歴情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の(A)〜(C)の方法が考えられる。
本実施形態において、情報処理システム1は、履歴情報に基づいて生成される情報をパノラマ動画とともに出力することが可能である。以下では、履歴情報に基づいて生成される情報を「履歴関連情報」と呼ぶ。情報処理システム1は、以下に説明する各種の履歴関連情報を履歴情報から生成し、パノラマ動画が再生される際に当該履歴関連情報を出力する。これによれば、ユーザは、パノラマ動画の再生中に履歴関連情報を見ることにより、他のユーザの履歴に関する情報を知ることができる。
図21は、履歴関連情報の画像の一例を示す図である。図21に示す履歴関連情報は、履歴情報により特定される表示範囲の向きをユーザに提示するものである。すなわち、図21においては、現在の表示範囲に対する、履歴情報(履歴情報に含まれる範囲情報)により特定される表示範囲の向きを表す画像51が履歴関連情報として表示される。なお、履歴関連情報である画像51は、上述のガイド情報であるとも言える。
図22は、履歴関連情報の画像の他の一例を示す図である。図22に示す履歴関連情報は、履歴情報から得られる、パノラマ画像上における所定の範囲についての表示頻度をユーザに提示するものである。図22においては、以前のパノラマ動画の再生において現在の表示範囲が表示された回数を表す画像53が履歴関連情報として表示される。なお、上記表示頻度をユーザに提示するための画像は、回数を表す画像53の他、どのようなものであってもよい。情報処理装置3は、例えば、履歴情報に含まれる範囲情報から得られる位置およびまたは範囲毎にユーザ情報(各ユーザを表すキャラクタ等)をパノラマ動画とともに表示するようにしてもよい。これによれば、以前のパノラマ動画の再生において現在の表示範囲が表示された回数に応じた数のユーザ情報が表示されるので、ユーザは、表示されるユーザ情報の数によって当該回数の多寡を知ることができる。
本実施形態においては、履歴関連情報も上記[3.ユーザによるコメントの入力]等で説明した付加情報と同様、端末装置2に表示される。これによって、ユーザに履歴関連情報をより確実に認識させることができる。なお、履歴関連情報も上記付加情報と同様、モニタ4に表示されてもよい。これによれば、端末装置2に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態において、情報処理システム1は、モニタ4にパノラマ画像の全体を表示し、全体のパノラマ画像とともに(全体のパノラマ画像に重ねて)履歴関連情報を表示してもよい。
本実施形態において、情報処理システム1は、履歴情報に基づいて表示範囲を決定してパノラマ動画を再生することが可能である。具体的には、情報処理システム1は、パノラマ動画の各再生時点(各フレーム)における表示範囲を、履歴情報に記憶されている範囲情報に基づいて決定する。そして、決定された表示範囲のパノラマ画像を表示装置に表示させる。これによって、ユーザは、履歴情報が記憶された場合と同じ表示範囲でパノラマ動画を再生することができる。
また、他の実施形態においては、情報処理システム1は、履歴情報に基づいて補助画像を生成し、当該補助画像をパノラマ動画とともに表示してもよい。補助画像は、履歴情報に基づいて決定される表示範囲に応じた画像であり、換言すれば、当該表示範囲をユーザに認識させることができる画像である。補助画像としては、例えば、パノラマ動画が表す空間を上方から見たマップ(あるいは俯瞰図)の画像が考えられる。
過去に再生された再生内容を反映する第1の態様において、履歴情報を取得する装置と、履歴情報を反映させる装置とは同じ装置であってもよいし、異なる装置であってもよい。すなわち、情報処理装置3は、履歴情報を反映したパノラマ動画を表示する表示装置において再生されるパノラマ動画に関する範囲情報を履歴情報として取得してもよい。また、情報処理装置3は、履歴情報を反映したパノラマ動画を表示する表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。このとき、例えば上記(B)で述べたように、情報処理装置3は、2つの表示装置を用いてパノラマ動画を再生してもよい。すなわち、情報処理装置3は、パノラマ動画が上記表示装置(本実施形態においては端末装置2)において表示される間、所定の入力装置に対する入力に基づいて表示範囲を決定し、決定された表示範囲のパノラマ動画を上記他の表示装置(本実施形態においてはモニタ4)に表示させてもよい(図24)。
本実施形態において、情報処理システム1は、2つの表示装置(端末装置2およびモニタ4)において同じパノラマ動画を再生させ、一方の表示装置における再生内容を、他の表示装置におけるパノラマ動画の再生に反映させる(後述する第4モード)。すなわち、情報処理装置3は、パノラマ動画が表示装置(例えばモニタ4)において表示される間に、当該表示装置とは別の他の表示装置(例えば端末装置2)において当該パノラマ動画を出力させる。そして、情報処理装置3は、上記他の表示装置(端末装置2)においてパノラマ動画が再生される場合に上記範囲情報を取得する。さらに、情報処理装置3は、他の表示装置(端末装置2)においてパノラマ動画が再生される間に、取得された範囲情報に応じて出力内容を変化させて表示装置(モニタ4)にパノラマ動画を表示させる。
第2の態様において、情報処理システム1は、パノラマ動画が再生される際、少なくとも範囲情報を取得する。本実施形態においては、情報処理装置3は、端末装置2およびモニタ4においてパノラマ動画を再生させる際、端末装置2における再生に関する範囲情報を取得する。なお、第2の態様においては、ある表示装置における再生において取得した範囲情報をリアルタイムで別の表示装置における再生に反映させるので、時間情報は必ずしも取得されなくてもよい。ただし、現時点で取得した範囲情報に加えて、過去に取得した範囲情報に基づいて出力内容を変化させる場合には、情報処理装置3は、上記第1の態様と同様、範囲情報とともに時間情報を取得してもよい。また、情報処理装置3は、範囲情報とともに、ユーザ情報、ズーム情報、および再生制御情報等のうちいくつかを取得してもよい。
情報処理システム1は、上記範囲情報に基づいてパノラマ動画の再生を行う。すなわち、情報処理システム1は、範囲情報に応じて出力内容(表示態様)を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、他の表示装置における再生内容に関する情報(範囲情報)をユーザに提示することができる。第2の態様において、範囲情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の方法が考えられる。
なお、上記第1の態様においては、範囲情報が履歴情報として記憶される。情報処理装置3は、パノラマ動画の再生が終了した後において当該再生時に取得された履歴情報に基づく情報を出力するようにしてもよい。例えば、情報処理装置3は、パノラマ動画の再生中において表示頻度が高かったオブジェクト、あるいは、複数回の再生において表示頻度が高かった表示範囲を再生終了後に提示することができる。これによれば、パノラマ動画の再生中にユーザがどこを見ていたか、という興味深い情報をユーザに提示することができる。
以下、図29〜図33を参照して、本実施形態に係る情報処理システム1の具体的な処理および動作を説明する。図29は、本実施形態において情報処理システム1の記憶部(メモリ6)に記憶されるデータの一例を示す図である。図29に示すように、情報処理装置3のメモリ6には、情報処理プログラム70、パノラマ動画データ71、および処理用データ72が記憶される。なお、メモリ6には、図29に示すデータの他、端末装置2から取得した操作データや、各表示装置へ出力すべき画像やそれを生成するために用いられる画像のデータ等が記憶されてもよい。
・第1モード:パノラマ動画を再生中において上記付加情報の入力を受け付けるとともに、履歴情報を記憶するモード
・第2モード:パノラマ動画の再生中において上記付加情報、ガイド情報、および履歴関連情報を出力するモード
・第3モード:上記履歴情報に基づいて表示範囲を決定してパノラマ動画を再生するモード
・第4モード:2つの表示装置でパノラマ動画を再生し、一方の表示装置の再生内容を他方の表示装置における再生に反映させるモード
上記第1〜第4モードのいずれが実行されるかは、どのように決定されてもよく、例えばユーザの選択によって決定される。なお、情報処理システム1は、いずれか1つのモードのみを実行可能であってもよい。以下、図30〜図33を参照して、各モードにおける動画再生処理の流れを説明する。
図30は、本実施形態において情報処理装置3のCPU5が実行する第1モードの動画再生処理の流れの一例を示すフローチャートである。第1モードの実行が選択された場合、CPU5は、図30に示す処理を実行する。
図31は、本実施形態において情報処理装置3のCPU5が実行する第2モードの動画再生処理の流れの一例を示すフローチャートである。第2モードの実行が選択された場合、CPU5は、図31に示す処理を実行する。
図32は、本実施形態において情報処理装置3のCPU5が実行する第3モードの動画再生処理の流れの一例を示すフローチャートである。第3モードの実行が選択された場合、CPU5は、図32に示す処理を実行する。
図33は、本実施形態において情報処理装置3のCPU5が実行する第4モードの動画再生処理の流れの一例を示すフローチャートである。第4モードの実行が選択された場合、CPU5は、図33に示す処理を実行する。
2 端末装置
3 情報処理装置
4 モニタ
5 CPU
6 メモリ
21 立体モデル
22 仮想カメラ
32 コメント画像
35 バー
41,45,46,47 ガイド画像
55,56,61,65 パノラマ動画
62 マップ画像
63 視点画像
Claims (25)
- パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得手段と、
前記取得手段によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画の少なくとも一部を出力する第1出力制御手段として前記コンピュータを機能させ、
前記取得手段は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記第1出力制御手段は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記第1出力制御手段は、前記パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、情報処理プログラム。 - 前記取得手段は、前記表示範囲、および/または、当該表示範囲内の位置を表す範囲情報を履歴情報として取得し、
前記情報処理プログラムは、履歴情報によって特定される表示範囲に、パノラマ動画中に登場するオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出するオブジェクト選出手段として前記コンピュータをさらに機能させ、
前記第1出力制御手段は、選出されたオブジェクトが含まれるパノラマ画像を静止画または動画として前記表示装置に表示させる、請求項1に記載の情報処理プログラム。 - 前記情報処理プログラムは、前記パノラマ動画の再生中における表示範囲にオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出するオブジェクト選出手段として前記コンピュータをさらに機能させ、
前記取得手段は、前記選出されたオブジェクトを表す情報を前記範囲情報として取得し、
前記第1出力制御手段は、前記範囲情報が表すオブジェクトが含まれる表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、請求項1に記載の情報処理プログラム。 - 前記取得手段は、前記パノラマ動画における再生時点を特定可能な時間情報と、当該再生時点における表示範囲および/または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を前記記憶部に記憶し、
前記第1出力制御手段は、複数の履歴情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、請求項1に記載の情報処理プログラム。 - パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得手段と、
前記取得手段によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画の少なくとも一部を出力する第1出力制御手段として前記コンピュータを機能させ、
前記取得手段は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記第1出力制御手段は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記取得手段は、前記表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得する、情報処理プログラム。 - 前記第1出力制御手段によって前記パノラマ動画が前記表示装置において表示される間、前記所定の入力装置に対する入力に基づいて前記表示範囲を決定する範囲決定手段と、
前記第1出力制御手段によって前記パノラマ動画が前記表示装置において表示される間、前記範囲決定手段によって決定される表示範囲のパノラマ動画を前記他の表示装置に表示させる第2出力制御手段として前記コンピュータをさらに機能させる、請求項5に記載の情報処理プログラム。 - パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得手段と、
前記取得手段によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画の少なくとも一部を出力する第1出力制御手段と、
前記第1出力制御手段によって前記パノラマ動画が前記表示装置において表示される間に、当該表示装置とは別の他の表示装置において当該パノラマ動画を出力させる第2出力制御手段として前記コンピュータをさらに機能させ、
前記取得手段は、前記他の表示装置において前記パノラマ動画が再生される場合に前記範囲情報を取得し、
前記第1出力制御手段は、前記他の表示装置において前記パノラマ動画が再生される間に、前記範囲情報に応じて出力内容を変化させて前記表示装置に前記パノラマ動画を表示させる、情報処理プログラム。 - 前記第1出力制御手段によって前記パノラマ動画が前記表示装置において表示される間、前記所定の入力装置に対する入力に基づいて前記表示範囲を決定する範囲決定手段として前記コンピュータをさらに機能させ、
前記第2出力制御手段は、前記範囲決定手段によって決定される表示範囲のパノラマ動画を前記他の表示装置に表示させ、
前記第1出力制御手段は、所定の範囲のパノラマ動画を前記表示装置に表示させるとともに、前記範囲情報に基づく表示範囲のパノラマ動画を前記表示装置に表示させる、請求項7に記載の情報処理プログラム。 - 前記第1出力制御手段は、前記範囲情報に基づいて決定される表示範囲のパノラマ動画を前記表示装置に表示させる、請求項5から請求項8のいずれか1項に記載の情報処理プログラム。
- 前記取得手段は、前記表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得し、
前記第1出力制御手段は、前記範囲情報に基づいて決定される表示範囲における変化を軽減して前記パノラマ動画を前記表示装置に表示させる、請求項9に記載の情報処理プログラム。 - 前記取得手段は、前記パノラマ動画の再生中においてユーザによって指定された位置を表す範囲情報をさらに取得し、
前記第1出力制御手段は、前記範囲情報に基づいて決定されるパノラマ画像上における位置を表す画像を前記パノラマ動画とともに前記表示装置に表示させる、請求項1から請求項10のいずれか1項に記載の情報処理プログラム。 - 前記第1出力制御手段は、前記範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像を前記表示装置に表示させる、請求項1から請求項11のいずれか1項に記載の情報処理プログラム。
- 前記第1出力制御手段は、前記パノラマ動画が表す空間と、前記範囲情報に基づく前記パノラマ動画上における位置に対応する当該空間内における位置とを表す画像を前記表示装置に表示させる、請求項1から請求項12のいずれか1項に記載の情報処理プログラム。
- 前記取得手段は、ネットワークを介して外部の装置から前記範囲情報を取得する、請求項1から請求項13のいずれか1項に記載の情報処理プログラム。
- 前記取得手段は、前記範囲情報に関する入力を行ったユーザを表すユーザ情報をさらに取得し、
前記第1出力制御手段は、前記パノラマ動画を出力する場合に前記ユーザ情報を出力する、請求項1から請求項14のいずれか1項に記載の情報処理プログラム。 - 前記第1出力制御手段は、前記パノラマ動画の少なくとも一部とともに、前記範囲情報に基づいて生成される履歴関連情報を出力し、
前記履歴関連情報は、(1)現在の表示範囲に対する、前記範囲情報によって特定される表示範囲または位置の向き、(2)前記パノラマ動画における所定の範囲についての表示頻度、および、(3)前記パノラマ動画中に登場するオブジェクトの表示頻度、のうち少なくとも1つを表す、請求項1から請求項15のいずれか1項に記載の情報処理プログラム。 - パノラマ動画の一部の領域を表示装置に表示する情報処理装置であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御部とを備え、
前記取得部は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御部は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記出力制御部は、前記パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、情報処理装置。 - パノラマ動画の一部の領域を表示装置に表示する情報処理システムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御部とを備え、
前記取得部は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御部は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記出力制御部は、前記パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、情報処理システム。 - パノラマ動画の一部の領域を表示装置に表示するパノラマ動画表示方法であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得ステップと、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得ステップにおいて取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御ステップとを備え、
前記取得ステップにおいては、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御ステップにおいては、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記出力制御ステップにおいては、前記パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として前記表示装置に表示させる、パノラマ動画表示方法。 - パノラマ動画の一部の領域を表示装置に表示する情報処理装置であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御部とを備え、
前記取得部は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御部は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記取得部は、前記表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得する、情報処理装置。 - パノラマ動画の一部の領域を表示装置に表示する情報処理システムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御部とを備え、
前記取得部は、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御部は、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記取得部は、前記表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得する、情報処理システム。 - パノラマ動画の一部の領域を表示装置に表示するパノラマ動画表示方法であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得ステップと、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得ステップにおいて取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する出力制御ステップとを備え、
前記取得ステップにおいては、取得された範囲情報を、記憶部に履歴情報として記憶し、
前記出力制御ステップにおいては、前記履歴情報が記憶された後で前記履歴情報に基づく情報を出力し、
前記取得ステップにおいては、前記表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得する、パノラマ動画表示方法。 - パノラマ動画の一部の領域を表示装置に表示する情報処理装置であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する第1出力制御部と、
前記第1出力制御部によって前記パノラマ動画が前記表示装置において表示される間に、当該表示装置とは別の他の表示装置において当該パノラマ動画を出力させる第2出力制御部とを備え、
前記取得部は、前記他の表示装置において前記パノラマ動画が再生される場合に前記範囲情報を取得し、
前記第1出力制御部は、前記他の表示装置において前記パノラマ動画が再生される間に、前記範囲情報に応じて出力内容を変化させて前記表示装置に前記パノラマ動画を表示させる、情報処理装置。 - パノラマ動画の一部の領域を表示装置に表示する情報処理システムであって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得部と、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得部によって取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する第1出力制御部と、
前記第1出力制御部によって前記パノラマ動画が前記表示装置において表示される間に、当該表示装置とは別の他の表示装置において当該パノラマ動画を出力させる第2出力制御部とを備え、
前記取得部は、前記他の表示装置において前記パノラマ動画が再生される場合に前記範囲情報を取得し、
前記第1出力制御部は、前記他の表示装置において前記パノラマ動画が再生される間に、前記範囲情報に応じて出力内容を変化させて前記表示装置に前記パノラマ動画を表示させる、情報処理システム。 - パノラマ動画の一部の領域を表示装置に表示するパノラマ動画表示方法であって、
前記パノラマ動画の再生中において所定の入力装置に対する入力に基づいて決定される、前記パノラマ動画のうちで表示される表示範囲を特定可能、および/または、当該表示範囲内の位置を特定可能な範囲情報を取得する取得ステップと、
前記表示装置を用いて前記パノラマ動画を出力する場合、前記取得ステップにおいて取得された範囲情報に応じて出力内容を変化させて前記パノラマ動画を出力する第1出力制御ステップと、
前記第1出力制御ステップによって前記パノラマ動画が前記表示装置において表示される間に、当該表示装置とは別の他の表示装置において当該パノラマ動画を出力させる第2出力制御ステップとを備え、
前記取得ステップにおいては、前記他の表示装置において前記パノラマ動画が再生される場合に前記範囲情報を取得し、
前記第1出力制御ステップにおいては、前記他の表示装置において前記パノラマ動画が再生される間に、前記範囲情報に応じて出力内容を変化させて前記表示装置に前記パノラマ動画を表示させる、パノラマ動画表示方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012125644A JP6006536B2 (ja) | 2012-06-01 | 2012-06-01 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
US13/869,401 US9485484B2 (en) | 2012-06-01 | 2013-04-24 | Storage medium storing information processing program, information processing device, information processing system, and panoramic video display method |
US15/245,451 US9749672B2 (en) | 2012-06-01 | 2016-08-24 | Storage medium storing information processing program, information processing device, information processing system, and panoramic video display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012125644A JP6006536B2 (ja) | 2012-06-01 | 2012-06-01 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013251787A JP2013251787A (ja) | 2013-12-12 |
JP6006536B2 true JP6006536B2 (ja) | 2016-10-12 |
Family
ID=49670368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012125644A Active JP6006536B2 (ja) | 2012-06-01 | 2012-06-01 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9485484B2 (ja) |
JP (1) | JP6006536B2 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6548203B2 (ja) * | 2013-03-18 | 2019-07-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 |
CN105900053B (zh) | 2013-12-09 | 2019-07-26 | 知识产权之桥一号有限责任公司 | 用于指定链接目的地和用于观看者的界面装置和记录介质 |
JP5835383B2 (ja) * | 2014-03-18 | 2015-12-24 | 株式会社リコー | 情報処理方法、情報処理装置、およびプログラム |
JP6547240B2 (ja) * | 2014-05-21 | 2019-07-24 | セイコーエプソン株式会社 | 表示システム、端末装置、および、プログラム |
CN105306501A (zh) * | 2014-06-26 | 2016-02-03 | 国际商业机器公司 | 用于对多媒体数据进行交互式更新的方法和系统 |
US20170142486A1 (en) * | 2014-07-18 | 2017-05-18 | Sony Corporation | Information processing device, display device, information processing method, program, and information processing system |
WO2016009865A1 (ja) | 2014-07-18 | 2016-01-21 | ソニー株式会社 | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム |
US20160050349A1 (en) * | 2014-08-15 | 2016-02-18 | Sony Corporation | Panoramic video |
JP6518069B2 (ja) * | 2015-01-09 | 2019-05-22 | キヤノン株式会社 | 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体 |
JP6503881B2 (ja) * | 2015-05-20 | 2019-04-24 | 株式会社リコー | コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法 |
JP2017040687A (ja) | 2015-08-17 | 2017-02-23 | 株式会社リコー | 画像表示システム、情報処理装置、画像表示方法及びプログラム |
JP2017040686A (ja) * | 2015-08-17 | 2017-02-23 | 株式会社リコー | 画像表示システム、情報処理装置、画像表示方法及びプログラム |
CN108780584B (zh) * | 2016-03-21 | 2023-04-21 | 葫芦有限责任公司 | 用于流传输和渲染的球形视频的转换和预处理 |
KR102525575B1 (ko) * | 2016-08-12 | 2023-04-25 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
CN107888987B (zh) * | 2016-09-29 | 2019-12-06 | 华为技术有限公司 | 一种全景视频播放方法及装置 |
JP6853013B2 (ja) * | 2016-10-26 | 2021-03-31 | グリー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
JP6844420B2 (ja) * | 2017-03-21 | 2021-03-17 | 株式会社リコー | 閲覧システム、プログラム |
CN107659851B (zh) | 2017-03-28 | 2019-09-17 | 腾讯科技(北京)有限公司 | 全景图像的展示控制方法及装置 |
KR20200089657A (ko) | 2017-09-22 | 2020-07-27 | 고도 가이샤 아이피 브릿지 1 | 표시 제어 장치 및 컴퓨터 프로그램 |
CN107728787B (zh) * | 2017-10-30 | 2020-07-07 | 太平洋未来科技(深圳)有限公司 | 全景视频中的信息显示方法和装置 |
CN108211342A (zh) | 2018-01-19 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 视角调整方法和装置、存储介质及电子装置 |
JP2021096753A (ja) | 2019-12-19 | 2021-06-24 | 株式会社リコー | 情報処理システム、方法、プログラムおよび記録媒体 |
US20220295040A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system with remote presentation including 3d graphics extending beyond frame |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3685836B2 (ja) | 1995-02-28 | 2005-08-24 | 株式会社ナムコ | 3次元シューティングゲーム装置 |
JP2002320215A (ja) | 2001-02-16 | 2002-10-31 | Fujitsu Ltd | 動画像配信用サーバーコンピュータ、動画像編集方法、動画像受信用クライアントコンピュータ、動画像配信方法、動画像配信用クライアントサーバーシステム、動画像再生処理プログラム及び記録媒体 |
JP3982295B2 (ja) * | 2002-03-20 | 2007-09-26 | 日本電信電話株式会社 | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 |
JP2004070609A (ja) * | 2002-08-05 | 2004-03-04 | Canon Inc | 画像再生装置及び方法 |
US7308131B2 (en) | 2002-12-03 | 2007-12-11 | Ntt Docomo, Inc. | Representation and coding of panoramic and omnidirectional images |
US7823058B2 (en) * | 2002-12-30 | 2010-10-26 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and apparatus for interactive point-of-view authoring of digital video content |
JP4297804B2 (ja) * | 2004-02-19 | 2009-07-15 | 任天堂株式会社 | ゲーム装置及びゲームプログラム |
JP2005295266A (ja) | 2004-03-31 | 2005-10-20 | Victor Co Of Japan Ltd | 受信装置 |
WO2005107240A1 (ja) * | 2004-04-28 | 2005-11-10 | Chuo Electronics Co., Ltd. | 自動撮影方法および装置 |
US20060002590A1 (en) * | 2004-06-30 | 2006-01-05 | Borak Jason M | Method of collecting information for a geographic database for use with a navigation system |
US8103445B2 (en) | 2005-04-21 | 2012-01-24 | Microsoft Corporation | Dynamic map rendering as a function of a user parameter |
US8107769B2 (en) | 2006-12-28 | 2012-01-31 | Casio Computer Co., Ltd. | Image synthesis device, image synthesis method and memory medium storage image synthesis program |
WO2008147561A2 (en) * | 2007-05-25 | 2008-12-04 | Google Inc. | Rendering, viewing and annotating panoramic images, and applications thereof |
US8009178B2 (en) | 2007-06-29 | 2011-08-30 | Microsoft Corporation | Augmenting images for panoramic display |
JP4466733B2 (ja) * | 2007-12-14 | 2010-05-26 | ソニー株式会社 | コンテンツ処理装置および方法、プログラム、並びに記録媒体 |
CN103605452B (zh) | 2008-11-11 | 2018-04-17 | 索尼电脑娱乐公司 | 图像处理装置、以及图像处理方法 |
JP5449859B2 (ja) * | 2009-05-18 | 2014-03-19 | 任天堂株式会社 | ゲームプログラム,ゲーム装置およびゲームシステム |
US9766089B2 (en) | 2009-12-14 | 2017-09-19 | Nokia Technologies Oy | Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image |
US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
CN102906810B (zh) * | 2010-02-24 | 2015-03-18 | 爱普莱克斯控股公司 | 支持视觉受损的个体的扩增的现实全景 |
JP5533048B2 (ja) * | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
US9122707B2 (en) | 2010-05-28 | 2015-09-01 | Nokia Technologies Oy | Method and apparatus for providing a localized virtual reality environment |
US9167289B2 (en) | 2010-09-02 | 2015-10-20 | Verizon Patent And Licensing Inc. | Perspective display systems and methods |
JP5692904B2 (ja) | 2010-11-17 | 2015-04-01 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法 |
JP5975739B2 (ja) * | 2012-06-01 | 2016-08-23 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
-
2012
- 2012-06-01 JP JP2012125644A patent/JP6006536B2/ja active Active
-
2013
- 2013-04-24 US US13/869,401 patent/US9485484B2/en active Active
-
2016
- 2016-08-24 US US15/245,451 patent/US9749672B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20130322843A1 (en) | 2013-12-05 |
US9749672B2 (en) | 2017-08-29 |
US9485484B2 (en) | 2016-11-01 |
US20160366460A1 (en) | 2016-12-15 |
JP2013251787A (ja) | 2013-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6124517B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 | |
JP6006536B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 | |
JP5975739B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 | |
JP6548203B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 | |
AU2019216671B2 (en) | Method and apparatus for playing video content from any location and any time | |
TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
JP5279737B2 (ja) | 表示制御装置、視線誘導方法、および、プログラム | |
JP6450064B2 (ja) | 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。 | |
EP2441505A2 (en) | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system | |
JP2019180060A (ja) | 電子機器及びその制御方法 | |
JP2018192272A (ja) | ゲームプログラム及びゲーム装置 | |
JP2020013470A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN107506026A (zh) | 控制应用运行的方法、装置及头戴式显示设备 | |
JP2018061666A (ja) | ゲームプログラム及びゲーム装置 | |
JP2012141753A5 (ja) | ||
WO2023002792A1 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP2024033849A (ja) | 情報処理装置および情報処理方法 | |
JP2023016227A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160324 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160506 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160808 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6006536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |