JP2021022930A - 動画像表示システム - Google Patents

動画像表示システム Download PDF

Info

Publication number
JP2021022930A
JP2021022930A JP2020125516A JP2020125516A JP2021022930A JP 2021022930 A JP2021022930 A JP 2021022930A JP 2020125516 A JP2020125516 A JP 2020125516A JP 2020125516 A JP2020125516 A JP 2020125516A JP 2021022930 A JP2021022930 A JP 2021022930A
Authority
JP
Japan
Prior art keywords
display
moving image
unit
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020125516A
Other languages
English (en)
Inventor
石川 雅康
Masayasu Ishikawa
雅康 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Three Six Zero Co Ltd
Original Assignee
Three Six Zero Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Three Six Zero Co Ltd filed Critical Three Six Zero Co Ltd
Publication of JP2021022930A publication Critical patent/JP2021022930A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感に沿った動画像を表示する。【解決手段】端末装置200jの表示ユニット260に動画像表示させるための表示画像処理を開始すると、表示画像処理部131は、端末装置200jから送信された、表示画像処理の開始からの経過時間情報、及び、当該経過時間情報に対応する高精細な動画像フレーム中の代表位置情報を含む表示用パラメータ情報を参照し、当該動画フレーム内画像に基づいて、当該経過時間情報に対応して表示ユニット260に表示させる動画像のデータを生成する。例えば、表示画像処理部131が、当該代表位置を中心とし、表示ユニット260の表示面260Sにおけるピクセル構成と同様のピクセル構成の画像を生成することにより、表示ユニット260に表示させる動画像のデータを生成する。【選択図】 図1

Description

本発明は、動画像表示システムに関する。
動画像コンテンツの各フレームの一部を切り出して表示する技術として、当該動画像コンテンツの各フレームを複数のタイルに分割し、選択された1以上のタイル領域の動画像を、表示装置に表示させる技術がある(特許文献1参照:以下、「従来例」と呼ぶ)。ここで、複数のタイル領域の各フレーム内位置は、予め固定的に定められるようになっている。
なお、従来例の技術では、選択された1以上のタイル領域の動画像のデータを、表示装置の解像度等に適合させることが開示されている。
特開2016−019248号公報
上述した従来例の技術では、複数のタイル領域の各フレーム内位置は、予め固定的に定められるようになっている。この結果、表示装置に表示される動画像は、元々の動画コンテンツにおける各フレーム内の固定的な位置に対応した動画像となる。
このため、従来の動画コンテンツにおける対応する動画像内の表示装置への表示対象位置を動的に変化させることができなかった。例えば、動画コンテンツにおける特定の登場人物が当該動画コンテンツに対応する動画内の位置を動的に移動するような場合、従来例の技術では、特定の登場人物の移動に追従しつつ、当該登場人物を表示装置に表示し続けることができなかった。
本発明は、上記の事情を鑑みてなされたものであり、高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる動画像表示システムを提供することを目的とする。
本発明の動画像表示システムは、縦方向の画素数が第1の数であり、横方向の画素数が第2の数であるフレームのデータが、再生順に複数個並べられた動画像のデータを含むコンテンツのデータが記憶された第1記憶部と;前記コンテンツの再生開始からの経過時間の情報と、前記経過時間に対応するフレーム中の位置の情報との組み合わせを含む表示用パラメータを複数有する表示用パラメータ情報が記憶された第2記憶部と;前記表示用パラメータを参照しつつ、前記動画像の各フレームから、縦方向の表示画素数が、前記第1の数よりも少ない第3の数であり、横方向の表示画素数が、前記第2の数よりも少ない第4の数である、画像表示部に表示させる画像を抽出する第1表示画像データ生成処理を実行する機能を有する表示画像処理部と;を備えることを特徴とする動画像表示システムである。
この動画像表示システムでは、第1記憶部に、高精細な動画像のコンテンツのデータが記憶される。また、第2記憶部に、当該動画像のコンテンツ再生開始からの経過時間の情報と、当該経過時間に対応するフレーム中の位置の情報との組み合わせを含む表示用パラメータを複数有する表示用パラメータ情報が記憶される。
なお、表示用パラメータ情報は、例えば、高精細な動画像のコンテンツに基づく、視認者の視認対象となる画像表示部への動画像の表示の態様の演出者(視認者と同一人物である場合を含む)が、視認者の趣味感を想定しつつ、予め作成する。こうした表示用パラメータ情報としては、例えば、特定の登場人物の移動に追従しつつ、当該登場人物を表示装置に表示し続けるための演出を実現させるための表示用パラメータ情報が挙げられる。
高精細な動画像のコンテンツに基づき、縦方向の画素数が第3の数であり、横方向の示画素数が、前記第2の数よりも少ない第4の数である画像を抽出する第1表示画像データ生成処理を開始すると、表示画像処理部は、表示用パラメータ情報に基づいて、高精細な動画像における各フレームに対応する表示用パラメータを特定する。引き続き、表示画像処理部は、特定された表示用パラメータにより示されるフレーム中の代表位置(例えば、中心位置)として、当該経過時間に対応して画像表示部に表示させる動画像のデータ(第1表示画像データ)を生成する。例えば、表示画像処理部が、当該代表位置を中心とし、画像表示部の表示面におけるピクセル構成と同様のピクセル構成の画像のデータ生成することにより、画像表示部に表示させる第1表示画像データを生成するようにすることができる。
したがって、本発明の動画像表示システムによれば、高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
本発明の動画像表示システムでは、前記表示用パラメータには、前記経過時間の情報及び前記位置の情報に加えて、前記経過時間に対応する表示倍率情報が更に含まれ、前記表示画像処理部は、前記表示用パラメータの前記位置の情報及び前記表示倍率情報を参照しつつ、前記動画像の各フレームから、前記画像表示部に表示する画像のデータを生成する構成とすることができる。この場合には、フレーム中の代表位置に対応するフレーム中の画像を、表示倍率情報に対応する表示倍率(=0より大きな実数)で拡大又は縮小した画像のデータを、画像表示部に表示させる動画像のデータとして生成するようにすることができる。このため、画像表示部への動画像の表示の態様の演出者の演出内容の幅が広がり、視認者の楽しみを増加させることにも繋げることができる。
また、本発明の動画像表示システムでは、前記第2記憶部に記憶されている前記表示用パラメータ情報における前記表示用パラメータが、連続するフレームごとに存在していない場合には、前記表示画像処理部は、連続していないフレーム間の表示用パラメータを、補間により算出する構成とすることができる。この場合には、例えば、画像表示部への動画像の表示の態様の演出者が、フレーム中の代表位置の移動方向及び/又は移動速度が大きく変化する時点、更には、表示パラメータに表示倍率の情報が含まれる場合には、表示倍率の変化の開始時点、並びに、開始された表示倍率の変化方向又は変化速度に従った変化の終了時点の表示用パラメータとして設定することにより、当該演出者の演出内容を反映した動画像を、画像表示部に表示させることができる。このため、高精細な動画像のフレームごとに表示パラメータを設定せずに済む。この結果、演出者による表示用パラメータ情報の作成を容易化できるとともに、表示用パラメータ情報の容量を低減させることができる。
また、本発明の動画像表示システムでは、前記第1記憶部、前記画像表示部、前記第2記憶部及び前記表示画像処理部を有する画像処理装置を備える構成とすることができる。この場合には、例えば、画像処理装置を、演算資源、記憶資源等が比較的豊富なパーソナルコンピュータ等を用いて実現することにより、簡易な構成により、高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
また、本発明の動画像表示システムでは、第1装置及び第2装置を備え、前記第1装置は、前記第1記憶部と;前記表示画像処理部と;前記第2装置から送信された前記表示用パラメータ情報を受信し、前記表示画像処理部へ送るとともに、前記表示画像処理部による生成された画像のデータを前記第2装置へ送信する第1通信部と;を備え、前記第2装置は、前記画像表示部と;前記第2記憶部と;前記画像表示部における画像表示を制御する表示制御部と;前記表示制御部による制御のもとで前記表示用パラメータ情報を前記第1装置へ送信するとともに、前記第1装置から送信された前記生成された画像のデータを受信し、前記受信した画像のデータを前記表示制御部へ送る第2通信部と;を備える構成とすることができる。この場合には、第1装置を、演算資源、記憶資源等が豊富なサーバ装置として構成するとともに、第2装置を、演算資源、記憶資源等が豊富とはいえないスマーフォンなどの小型装置を用いることができる。このため、高精細な動画像コンテンツに基づいて、解像度が高くない第2装置の表示装置を使用しつつ、視認者である第2装置の利用者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
なお、表示用パラメータ情報については、第2装置の利用者が、自らの趣味感に沿って、予め入手する。また、第2装置の利用者が、自らの趣味感に沿った表示用パラメータ情報を作成することもできる。さらに、高精細な動画像中の特定の人物の移動に追従した動画像を表示装置に表示し続けるため等の表示用パラメータ情報を作成すため、顔認識技術等を使用することにより、動的に表示用パラメータ情報を作成することもできる。
ここで、前記第2装置は、前記画像表示部の重力方向に対する姿勢方向の検出を行い、前記検出の結果の情報を前記表示制御部へ送る姿勢検出部を更に備え、前記表示画像処理部は、前記フレームのデータから、前記フレームの画像全体の縮小画像に対応する、縦方向の表示画素数が前記第4の数であり、横方向の表示画素数が前記第3の数である画像のデータを生成する第2表示画像データ生成処理を実行する機能を更に有し、前記第1表示画像データ生成処理により生成された第1表示画像データと、前記第2表示画像データ生成処理により生成された第2表示画像データとを、前記第1通信部を利用して、前記第2装置へ送信し、前記表示制御部は、前記姿勢検出部による姿勢検出結果に基づいて、前記第1表示画像データ及び前記第2表示画像データのいずれかを選択し、選択された画像データを再生フレーム順に、連続的に前記画像表示部へ送る、構成とすることができる。
この場合には、表示画像処理部は、高精細な動画像コンテンツの各フレームのデータから、各フレームの画像全体の縮小画像に対応する、縦方向の表示画素数が当該第4の数であり、横方向の表示画素数が当該第3の数である画像のデータを生成する第2表示画像データ生成処理を更に実行する。そして、表示画像処理部は、第1表示画像データ生成処理により生成された第1表示画像データと、第2表示画像データ生成処理により生成された第2表示画像データとを、第1通信部を利用して第2装置へ送信する。
こうして第1装置から送信された第1表示画像データ及び第2表示画像データを受信すると、第2装置では、表示制御部が、姿勢検出部による姿勢検出結果に基づいて、第1表示画像データ及び第2表示画像データのいずれかを選択し、選択された画像データを再生フレーム順に、連続的に画像表示部へ送る。このため、視認者による画像表示部の姿勢変更操作に応じて発生した画像表示部の姿勢変化に応じて、第1表示画像データ及び第2表示画像データのいずれかに対応する画像を画像表示部に表示することができる。
こうした表示画像の切り替えを行う場合には、表示画像処理部が、第1表示画像データ及び第2表示画像データについて、同一フレームごとの送信の同期を図りつつ、第2装置へ連続的に送信する、構成とすることができる。この場合には、第2装置の表示制御部が、フレームごとに、姿勢検出部による姿勢検出結果に基づいて、第1表示画像データ及び第2表示画像データに対応する画像のいずれかを選択し、選択された画像を画像表示部に表示することができるので、第2装置(特に、表示画像処理部)の構成を簡素なものとすることができる。
本発明の第1実施形態に係る動画像表示システムの構成を示すブロック図である。 図1の高精細動画像コンテンツデータ群の内容を説明するための図である。 高精細動画像フレームのピクセル構成を説明するための図である。 図1の端末装置の構成を示すブロック図である。 図4の表示ユニットの表示面のピクセル構成を説明するための図である。 図4の表示用パラメータ情報の内容を説明するための図である。 図1の動画像表示システムにおけるコンテンツ再生処理を説明するためのシーケンス図である。 図7の表示用加工情報の送信処理を説明するためのフローチャートである。 図7の再生用音声データの生成処理を説明するためのフローチャートである。 高精細動画像のフレームにおける抽出領域の代表位置の時間変化例を示す図である。 表示用パラメータにおける表示倍率が「1」の場合の抽出処理(第1表示画像データ生成処理)による抽出領域を説明するための図である。 表示用パラメータにおける表示倍率が「1より大きい」場合の抽出処理による抽出領域を説明するための図である。 表示用パラメータにおける表示倍率が「1未満」の場合の抽出処理による抽出領域を説明するための図である。 図7の再生用画像データの生成処理を説明するためのフローチャートである。 本発明の第2実施形態に係る動画像表示システムの構成を示すブロック図である。 本発明の第3実施形態に係る動画像表示システムの構成を示すブロック図である。 図16の端末装置の構成を示すブロック図である。 図16の動画像表示システムにおけるコンテンツ再生処理を説明するためのシーケンス図である。 図18の再生用画像データの生成処理を説明するためのフローチャートである。 縮小処理(第2表示画像データ生成処理)の例を説明するための図である。 図19の再生制御処理を説明するためのシーケンス図である。 図21における表示モードの決定を説明するための図である。
以下、本発明の実施形態を、図面を参照して説明する。なお、以下の説明及び図面においては、同一又は同等な要素には同一の符号を付し、重複する説明を省略する。
[第1実施形態]
まず、本発明の第1実施形態を、図1〜図14を参照して説明する。
<構成>
図1には、第1実施形態に係る動画像表示システム300の構成が示されている。この図1に示されるように、動画像表示システム300は、サーバ装置100と、端末装置2001,2002,…とを備えている。
ここで、サーバ装置100と、端末装置200j(j=1,2,…)とは、通信網600を介して接続されている。そして、サーバ装置100と、端末装置200jのそれぞれとの間で、様々な情報データの授受を行うようになっている。
<<サーバ装置100の構成>>
サーバ装置100は、第1記憶ユニット110と、通信ユニット120と、処理制御ユニット130とを備えている。
上記の第1記憶ユニット110は、サーバ装置100において使用される様々な情報データを記憶する。こうした情報データには、高精細動画像コンテンツデータ群HDCSが含まれている。第1記憶ユニット110には、処理制御ユニット130がアクセス可能となっている。
なお、高精細動画像コンテンツデータ群HDCSの内容については、後述する。
上記の通信ユニット120は、処理制御ユニット130による制御のもとで、通信網600を介した外部との通信を行う。この通信ユニット120を利用することにより、処理制御ユニット130は、通信網600を介して、外部との通信を行うことができるようになっている。
すなわち、処理制御ユニット130は、通信ユニット120を利用することにより、端末装置200jのそれぞれとの間で、通信を行うことができるようになっている。かかる通信では、端末装置200jからサーバ装置100へ送信される情報データには、端末装置200jの利用者が指定した後述する対応コンテンツID(CID)及び表示用パラメータ情報(DPI)が含まれる表示用加工情報(DMI)等がある。
また、当該通信では、サーバ装置100から端末装置200jへ送信される情報データには、端末装置200jにおける再生のための再生用コンテンツデータ(RCD)が含まれる。ここで、再生用コンテンツデータ(RCD)には、再生用動画像データ(第1表示画像データ)及び再生用音声データが含まれている。なお、当該再生用コンテンツデータ(RCD)は、ストリーミング形式で、サーバ装置100から端末装置200jへ送信されるようになっている。
上記の処理制御ユニット130は、表示画像処理部131と、出力音声処理部132とを備えている。なお、処理制御ユニット130は、中央処理装置(CPU)及び周辺回路を備えて構成されており、プログラムを実行することにより、表示画像処理部131と、出力音声処理部132との機能を果たすようになっている。
上記の表示画像処理部131は、通信網600及び通信ユニット120を介して、端末装置200jから送信された、端末装置200jの利用者により指定された指定情報対(CID,DPI)、及び、端末装置200jにおける表示ユニット(後述する表示ユニット260の表示面260S)のピクセル構成情報を受ける。そして、表示画像処理部131は、当該指定情報対及び当該ピクセル構成情報に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照して抽出処理(第1表示画像データ生成処理)を行い、端末装置200jにおける表示ユニット260に表示させる動画像に対応する再生用動画像データ(第1表示画像データ)を生成する。こうして生成された再生用動画像データは、再生用コンテンツデータの一部として、通信ユニット120及び通信網600を介して、当該指定情報対を発行した端末装置200jへ送信される。
なお、表示画像処理部131が実行する再生用動画像データ生成処理である抽出処理(第1表示画像データ生成処理)の詳細については、後述する。
上記の出力音声処理部132は、上述した指定情報対のうちの対応コンテンツID(CID)を特定する。そして、出力音声処理部132は、当該対応コンテンツIDに基づいて高精細動画像コンテンツデータ群HDCSを参照しつつ、端末装置200jにおける音出力ユニット(後述する音出力ユニット250)から出力させる音に対応する再生用音声データを生成する。こうして生成された再生用音声データは、再生用コンテンツデータの一部として、通信ユニット120及び通信網600を介して、当該指定情報対を発行した端末装置200jへ送信される。
(高精細動画像コンテンツデータ群HDCSの内容)
上述した高精細動画像コンテンツデータ群HDCSでは、図2に示されるように、コンテンツID(ID)とコンテンツデータ(CDT)とが関連付けられている。すなわち、IDk(k=1,2,…)に、CDTkが関連付けられている。
ここで、CDTkには、高精細動画像データHDMDk及び音声データSDTkが含まれている。当該高精細動画像データHDMDkに対応する高精細動画像の各フレームにおけるピクセル構成は、図3に示されるように、横方向のピクセル数:A及び縦方向のピクセル数:Bの構成となっている。
上述した表示画像処理部131は、後述するように、端末装置200jから送信された指定情報対(CID,DPI)及び端末装置200jにおける表示ユニット260の表示面260Sのピクセル構成に基づいて、対応コンテンツID(CID)に対応するコンテンツIDを特定する。そして、表示画像処理部131は、表示用パラメータ情報DPIに基づいて、特定されたコンテンツIDに関連付けられた高精細動画像データを参照して抽出処理を行い、端末装置200jにおける表示ユニット260に表示させる動画像に対応する再生用動画像データを生成する。
また、出力音声処理部132は、当該対応コンテンツID(CID)に対応するコンテンツIDを特定する。そして、出力音声処理部132は、特定されたコンテンツIDに関連付けられた音声データを参照して、端末装置200jにおける音出力ユニット250から出力させる音声に対応する再生用音声データを生成する。
<<端末装置200jの構成>>
上記の端末装置200jは、第1実施形態では、スマートフォン等のような小型の可搬型端末装置となっている。端末装置200jは、図4に示されるように、処理制御ユニット210と、第2記憶ユニット220と、入力ユニット230とを備えている。また、端末装置200jは、無線通信ユニット240と、音出力ユニット250と、表示ユニット260とを備えている。
上記の処理制御ユニット210は、端末装置100jの他の要素の統括制御を行うとともに、様々な処理を実行する。なお、処理制御ユニット210については、後述する。
上記の第2記憶ユニット220は、端末装置200jにおいて使用される様々な情報データを記憶する。こうした情報データには、表示用パラメータ情報群DPISが含まれている。この第2記憶ユニット220には、処理制御ユニット210がアクセス可能となっている。
なお、表示用パラメータ情報群DPISの内容については、後述する。
上記の入力ユニット230は、第1実施形態では、表示ユニット260の表示面260S上に配置されたタッチパネルを含んでおり、当該表示面260Sに表示されたソフトキーを利用できるようになっているとともに、ポインティングデバイスの機能も果たすようになっている。この入力ユニット230を利用することにより、端末装置200jの利用者は、様々な指令やデータを入力できるようになっている。入力ユニット230への入力結果は、処理制御ユニット210へ送られる。
上記の無線通信ユニット240は、処理制御ユニット210による制御のもとで、通信網600を介した外部との通信を行う。この無線通信ユニット240を利用することにより、処理制御ユニット210は、通信網600を介して、外部(サーバ装置100等)との通信を行うことができるようになっている。
上記の音出力ユニット250は、スピーカを備えて構成されている。音出力ユニット250は、処理制御ユニット210から送られた音データを受ける。そして、音出力ユニット250は、当該音データに対応する音を出力する。ここで、音出力ユニット250から出力される音には、ガイダンス音、再生用音声データに対応する音声等が含まれる。
上記の表示ユニット260は、液晶表示パネル等の表示デバイスを備えて構成されており、表示面260Sを備えている。表示ユニット260は、処理制御ユニット210から送られた表示データを受ける。そして、表示ユニット260は、当該表示データに対応する画像を表示面260Sに表示する。ここで、表示ユニット260に表示される画像には、ガイダンス画像、再生用動画像データに対応する動画像等が含まれる。
ここで、表示面260Sのピクセル構成は、図5に示されるように、横方向のピクセル数:a(<A)及び縦方向のピクセル数:b(<B)の構成となっている。
図4に戻り、上記の処理制御ユニット210は、音声出力制御部211と、動画像表示制御部212とを備えている。なお、処理制御ユニット210は、中央処理装置(CPU)及び周辺回路を備えて構成されており、様々なプログラムを実行することにより、端末装置200jとしての機能を実現するようになっている。こうした機能には、上述した音声出力制御部211の機能及び動画像表示制御部212の機能が含まれている。
上記の音声出力制御部211は、サーバ装置100からストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる再生用音声データを、通信網600及び無線通信ユニット240を介して受ける。そして、音声出力制御部211は、当該再生音声データに対応する音声を音出力ユニット250から出力させる音声再生制御処理を行う。
上記の動画像表示制御部212は、サーバ装置100からストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる再生用動画像データを、通信網600及び無線通信ユニット240を介して受ける。そして、動画像表示制御部212は、当該動再生画像データに対応する動画像を表示ユニット260に表示させる動画像再生制御処理を行う。
(表示用パラメータ情報群DPISの内容)
上述した表示用パラメータ情報群DPISでは、図6に示されるように、対応コンテンツID(CID)に、少なくとも1つの表示用パラメータ情報(DPI)が関連付けられている。すなわち、CIDm(m=1,2,…)には、DPIm,n(n=1,2,…)が関連付けされている。
ここで、CIDmは、サーバ装置100の第1記憶ユニット110内の高精細動画像コンテンツ群HDCSにおけるコンテンツID(ID1,ID2,…)のいずれかと一致している。また、CIDmに複数のDPIm,nが関連付け可能となっているのは、同一の高精細動画であっても、複数種類の表示用パラメータ情報の設定が可能であることによる。例えば、複数の登場人物が登場する高精細動画において着目する登場人物が互いに異なると、互いに異なる表示用パラメータ情報が設定されることになる。
上記のDPIm,nには、複数の表示用パラメータDPm,n,sが含まれている。そして、DPm,n,sには、経過時間情報Tm,n,s、代表点位置Pm,n,s及び表示倍率Mm,n,sが含まれている。
ここで、経過時間情報Tm,n,sは、対応コンテンツID(CIDm)に対応する高精細動画像コンテンツに基づく再生用動画像の生成開始からの経過時間に対応する情報であり、第1実施形態では、再生用動画像における何番目のフレームであるかを示す値となっている。なお、経過時間情報Tm,n,1は、経過時間が「0」に対応する情報(すなわち、高精細動画像コンテンツにおける最初のフレームであることを示す値「1」)となっている。
また、代表点位置Pm,n,sは、サーバ装置100の第1記憶ユニット110内の高精細動画像コンテンツ群HDCSにおける対応コンテンツID(CIDm)に対応する高精細動画像の各フレームにおける、経過時間情報Tm,n,sに対応するフレーム内の代表位置を示している。第1実施形態では、代表点位置Pm,n,sは、当該フレーム内から切り取られる画像の領域の中心点位置を示すようになっている。
また、表示倍率Mm,n,sは、当該フレーム内の画像の拡大倍率又は縮小倍率を示すようになっている。
なお、表示用パラメータDPm,n,sは、高精細動画像フレームFLM中の代表位置の移動方向及び/又は移動速度が大きく変化する時点、表示倍率の変化の開始時点、並びに、開始された表示倍率の変化方向又は変化速度に従った変化の終了時点ごとに設定されるようになっている。
なお、端末装置200jは、利用者が入力ユニット230を利用して表示用パラメータ情報DPIm,nを指定すると、当該表示用パラメータ情報DPIm,n及び対応コンテンツIDmを、表示ユニット260における表示面260Sのピクセル構成とともに、表示用加工情報DMIm,nとして、無線通信ユニット240及び通信網600を介して、サーバ装置100へ送信するようになっている。
[動作]
次に、上記のように構成された動画像表示システム300の動作について説明する。
図7には、動画像表示システム300における動画像コンテンツの再生処理の概要が示されている。この図7に示されるように、動画像コンテンツの再生処理に際しては、まず、ステップS11において、端末装置200jから、表示用加工情報DMIm,nが送信される。なお、ステップS11の表示用加工情報送信処理の詳細については、後述する。
端末装置200jから送信された表示用加工情報DMIm,nを受信すると、サーバ装置100では、ステップS12において、表示用加工情報DMIm,n(すなわち、指定情報対(CIDm,DPIm,n)、及び、端末装置200jが備える表示ユニット260の表示面260Sのピクセル構成情報)に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照した再生用コンテンツデータの生成処理が実行される。かかる再生用コンテンツデータの生成処理には、再生用音声データの生成処理(ステップS121)と、抽出処理である再生用動画像データの生成処理(ステップS122)とが含まれ、ステップS121の処理とステップS122の処理とは、並行して実行される。
なお、ステップS121の処理は、出力音声処理部132により実行され、ステップS122の処理は、表示画像処理部131により実行されるようになっている。
ステップS121では、出力音声処理部132が、当該指定情報対における対応コンテンツID(CIDm)に基づいて高精細動画像コンテンツデータ群HDCSを参照しつつ、再生用音声データを生成する。こうして生成された再生用音声データは、再生用コンテンツデータの一部として、ストリーム形式で、当該指定情報対を発行した端末装置200jへ送信される。
なお、ステップS121において実行される再生用音声データの生成処理の詳細については、後述する。
また、ステップS122では、表示画像処理部131が、表示用加工情報DMIm(すなわち、指定情報対(CIDm,DPIm,n)、及び、端末装置200jが備える表示ユニット260の表示面260Sのピクセル構成情報)に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照して抽出処理を行って、再生用動画像データ(第1表示画像データ)を生成する。こうして生成された動画像データは、再生用コンテンツデータの一部として、ストリーム形式で、当該表示用加工情報DMIm,nを発行した端末装置200jへ送信される。
なお、ステップS122において実行される再生用動画像データの生成処理の詳細については、後述する。
以上のようにして、サーバ装置100から送信されたストリーム形式の再生用コンテンツデータを受信すると、端末装置200jでは、ステップS13において、再生制御処理が行われる。かかる再生制御処理に際して、音声出力制御部211が、サーバ装置100からストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる再生用音声データを受ける。そして、音声出力制御部211は、当該再生用音声データに対応する音声を音出力ユニット250から出力させる制御を行う。
また、動画像表示制御部212は、サーバ装置100からストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる再生用動画像データを受ける。そして、動画像表示制御部212は、当該再生用動画像データに対応する画像を表示ユニット260に表示させる制御を行う。
以上の再生制御の結果、音出力ユニット250から、サーバ装置100から送信された音声データに対応する音声が出力される。また、表示ユニット260の表示面260Sに、サーバ装置100から送信された動画像データに対応する動画像が表示される。
なお、入力ユニット230から再生処理中止指定を受けると、端末装置200jの処理制御ユニット210は、再生処理終了指令STPをサーバ装置100へ送信した後、ステップS13の処理を終了する。そして、処理制御ユニット210による処理はステップS11へ戻る。
当該再生処理終了指令STPを受信すると、サーバ装置100の処理制御ユニット130は、ステップS12の処理を終了する。その後、処理制御ユニット130は、ステップS12の処理の再実行を開始する。
また、ステップS12の処理中に再生用コンテンツデータの生成処理対象であった対応コンテンツID(CIDm)に対応する高精細動画像コンテンツの全てに対する再生用コンテンツデータの生成処理が終了すると、処理制御ユニット130は、今回の再生用コンテンツデータの生成処理の完了報告ECTを端末装置200jへ送信した後、ステップS12の処理を終了する。そして、処理制御ユニット130は、ステップS12の処理の再実行を開始する。
当該完了報告ECTを受信すると、端末装置200jの処理制御ユニット210は、ステップS13の処理を終了する。そして、処理制御ユニット210による処理はステップS11へ戻る。
<ステップS11における表示用加工情報送信処理>
次に、ステップS11における表示用加工情報送信処理について説明する。
かかる表示用加工情報送信処理に際しては、図8に示されるように、まず、ステップS21において、処理制御ユニット210が、入力ユニット230から送られた表示用パタメータ情報の指定を受けたか否かを判定することにより、表示用パタメータ情報の指定入力が行われたか否かを判定する。ステップS21における判定の結果が否定的であった場合(ステップS21:N)には、ステップS21の処理が繰り返される。
表示用パタメータ情報の指定入力が行われ、ステップS21における判定の結果が肯定的となると(ステップS21:Y)、処理はステップS22へ進む。なお、表示用パタメータ情報DPIm,nの指定入力がされたものとして、以下の説明を行う。
ステップS22では、処理制御ユニット210が、指定入力された表示用パタメータ情報DPIm,nに基づいて、当該表示用パタメータ情報DPIm,n、対応コンテンツIDm及び表示面260Sのピクセル構成情報を含む表示用加工情報DMIm,nを生成する。そして、ステップS23において、処理制御ユニット210が、生成された表示用加工情報DMIm,nを、サーバ装置100へ送信する。
こうしてステップS23の処理が終了すると、処理はステップS21へ戻る。以後、ステップS21〜S23の処理が繰り返される。
<ステップS121おける再生用音声データの生成処理>
次に、ステップS121における再生用音声データの生成処理について説明する。
当該再生用音声データの生成処理では、図9に示されるように、まず、ステップS31において、出力音声処理部132が、表示用加工情報DMIm,nを受信したか否かを判定する。ステップS31における判定の結果が否定的であった場合(ステップS31:N)には、ステップS31の処理が繰り返される。
表示用加工情報DMIm,nを受信し、ステップS31における判定の結果が肯定的となると(ステップS31:Y)、処理はステップS32へ進む。このステップS32では、出力音声処理部132が、表示用加工情報DMIm,nに含まれる対応コンテンツID(CIDm)に基づいて、最初にストリーム送信すべき再生用音声データブロックを生成する。
かかる再生用音声データブロックの生成に際して、出力音声処理部132は、まず、対応コンテンツID(CIDm)に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツ群HDCSの中から再生用音声データの生成対象となる音声データを特定する。引き続き、出力音声処理部132は、特定された音声データを参照して、最初に送信すべき再生用音声データブロックを生成する。
次に、ステップS33において、出力音声処理部132は、生成された再生用音声データブロックに含まれる再生用音声データを、再生用コンテンツデータRCDの一部として、表示用加工情報DMIm,nを発行した端末装置200jへストリーム形式で送信する。
次いで、ステップS34において、出力音声処理部132が、再生用音声データの生成処理を終了するか否かを判定する。かかる判定に際して、出力音声処理部132は、上述した再生処理終了指令STPを受信した、又は、当該特定された音声データの全てに対する再生用音声データの生成処理が終了した場合に、肯定的な判定を行う。
ステップS34の判定の結果が否定的であった場合(ステップS34:N)には、処理は、ステップS35へ進む。このステップS35では、出力音声処理部132が、特定されている音声データを参照して、次にストリーム送信すべき再生用音声データブロックを生成する。
ステップS35の処理が終了すると、処理はステップS33へ戻る。引き続き、ステップS34において肯定的な判定がなされるまで、ステップS33〜S35の処理が繰り返される。
そして、ステップS34における判定の結果が肯定的となると(ステップS34:Y)、処理はステップS31へ戻る。以後、ステップS31〜S35の処理が繰り返される。
<ステップS122おける再生用動画像データ(第1表示画像データ)の生成処理>
次に、ステップS122における再生用動画像データの生成処理について説明する。
<<表示用パラメータDPm,n,sと高精細動画像フレームFLMとの関係>>
再生用動画像データの生成処理の説明に先立って、表示用パラメータDPm,n,s(Tm,n,s,Pm,n,s,Mm,n,s)と、経過時間情報Tm,n,sに対応する高精細動画像フレームFLMとの関係を説明する。なお、表示用パラメータDPm,n,sは、上述したように、高精細動画像フレームFLM中の代表位置の移動方向及び/又は移動速度が大きく変化する時点、表示倍率の変化の開始時点、並びに、開始された表示倍率の変化方向又は変化速度に従った変化の終了時点ごとに設定されるようになっている。
(パラメータ対(Tm,n,s,Pm,n,s)と高精細動画像フレームFLMとの関係)
表示用パラメータDPm,n,sにおけるパラメータ対(Tm,n,s,Pm,n,s)は、高精細動画像コンテンツに基づく再生用動画像データの生成処理からの経過時間と、高精細動画像フレームFLM内における代表点位置との関係を示すようになっている。こうした関係の一例が、図10に示されている。図10に示される例において、パラメータ対(Tm,n,s,Pm,n,s)、(Tm,n,s+1,Pm,n,s+1)及び(Tm,n,s+3,Pm,n,s+3)が設定されているのは、代表点位置の移動方向が大きく変化しているためである。また、パラメータ対(Tm,n,s+2,Pm,n,s+2)が設定されているのは、代表点位置の移動速度が大きく変化しているためである。
(パラメータ対(Pm,n,s,Mm,n,s)と高精細動画像フレームFLMとの関係)
表示用パラメータDPm,n,sにおけるパラメータ対(Pm,n,s,Mm,n,s)は、再生用動画像データの生成を行うための基礎となる高精細動画像フレームFLM内の領域の特定に用いられる。
表示倍率Mm,n,sが「1」の場合には、図11に示されるように、位置Pm,n,sを中心位置とし、横方向のピクセル数:a及び横方向のピクセル数:bの領域EXA(M=1)(すなわち、表示ユニット260の表示面260Sと同一のピクセル構成の領域)を再生用動画像データの生成を行うための基礎となる高精細動画像フレームFLM内の領域として特定する。なお、この場合には、当該領域EXA(M=1)内の画像に対して拡大処理又は縮小処理を施すことなく、表示画像処理部131は、当該領域EXA(M=1)内の画像のデータに基づいて再生用動画像データを生成する。
表示倍率Mm,n,sが「1より大きな」の場合には、図12に示されるように、位置Pm,n,sを中心位置とし、横方向のピクセル数:a/Mm,n,s及び横方向のピクセル数:b/Mm,n,sの領域EXA(M>1)(すなわち、上述した領域EXA(M=1)よりも小さな面積の領域)を再生用動画像データの生成を行うための基礎となる高精細動画像フレームFLM内の領域として特定する。なお、この場合には、当該領域EXA(M>1)内の画像に対して拡大処理を施して、表示ユニット260の表示面260Sと同一のピクセル構成の画像に変換することにより、表示画像処理部131は、当該領域EXA(M>1)内の画像のデータに基づいて再生用動画像データを生成する。
表示倍率Mm,n,sが「1未満」の場合には、図13に示されるように、位置Pm,n,sを中心位置とし、横方向のピクセル数:a/Mm,n,s及び横方向のピクセル数:b/Mm,n,sの領域EXA(M<1)(すなわち、上述した領域EXA(M=1)よりも大きな面積の領域)を再生用動画像データの生成を行うための基礎となる高精細動画像フレームFLM内の領域として特定する。なお、この場合には、当該領域EXA(M<1)内の画像に対して縮小処理を施して、表示ユニット260の表示面260Sと同一のピクセル構成の画像に変換することにより、表示画像処理部131は、当該領域EXA(M<1)内の画像のデータに基づいて再生用動画像データを生成する。
なお、上述したように、高精細動画像の各フレームに対応して表示用パラメータDPm,n,s(Tm,n,s,Pm,n,s,Mm,n,s)が設定される訳ではない。このため、経過時間情報Tm,n,sが示す経過時間tに対応する高精細動画像のフレームの次のフレームが、経過時間情報Tm,n,s+1が示す経過時間ts+1に対応する高精細動画像のフレームではない場合には、経過時間tに対応する高精細動画像のフレームとの間のフレームに対応する位置P(t)(t<t<ts+1)及び表示倍率A(t)を補間(第1実施形態では、「直線補間」)により算出するようになっている。
すなわち、位置P(t)及び表示倍率A(t)の算出に際して、経過時間tと経過時間ts+1との間のフレーム数を「U」とした場合に、u(1,…,U)番目のフレームに対応する位置P(t,u)及び表示倍率A(t,u)を、次の(1)式及び(2)式により算出する。
P(t,u)=Pm,n,s+(Pm,n,s+1−Pm,n,s)・(u/U) …(1)
A(t,u)=Am,n,s+(Am,n,s+1−Am,n,s)・(u/U) …(2)
上述の表示用パラメータDPm,n,sと高精細動画像フレームFLMとの関係を前提として、ステップS122における再生用動画像データの生成処理について、以下に説明する。
当該再生用動画像データの生成処理(抽出処理)では、図14に示されるように、まず、ステップS41において、表示画像処理部131が、表示用加工情報DMIm,nを受信したか否かを判定する。ステップS41における判定の結果が否定的であった場合(ステップS41:N)には、ステップS41の処理が繰り返される。
表示用加工情報DMIm,nを受信し、ステップS41における判定の結果が肯定的となると(ステップS41:Y)、処理はステップS42へ進む。このステップS42では、表示画像処理部131が、第1記憶ユニット110に記憶されている高精細動画像コンテンツ群HDCSの中から再生用動画像データの生成対象となる高精細動画像データを特定し、表示用パラメータDPm,n,1(Tm,n,1,Pm,n,1,Mm,n,1)を、最初の再生用動画像フレームに関する再生用動画像データを生成するための表示用パラメータとして特定する。
次に、ステップS43において、ステップS42において特定された表示用パラメータに基づいて、表示画像処理部131が、上述のようにして、最初の再生用動画像データを生成する。引き続き、ステップS44において、表示画像処理部131が、生成された再生用動画像データを、再生用コンテンツデータRCDの一部として、表示用加工情報DMIm,nを発行した端末装置200jへストリーム形式で送信する。
次いで、ステップS45において、表示画像処理部131が、再生用動画像データの生成処理を終了するか否かを判定する。かかる判定に際して、表示画像処理部131は、上述したステップS34における出力音声処理部132の場合と同様に、上述した再生処理終了指令STPを受信した、又は、当該特定された高精細動画像データの全てに対する再生用動画像データの生成処理が終了した場合に、肯定的な判定を行う。
ステップS45の判定の結果が否定的であった場合(ステップS45:N)には、処理は、ステップS46へ進む。このステップS46では、表示画像処理部131が、次の再生用動画像フレームに関する再生用動画像データを生成するための表示用パラメータを特定する。
すなわち、次の再生用動画像データを生成するための表示用パラメータが表示用加工情報DMIm,nにおいて明示的に設定されている場合には、当該明示されている表示用パラメータを、次の再生用動画像データを生成するための表示用パラメータとして特定する。一方、次の再生用動画像データを生成するための表示用パラメータが表示用加工情報DMIm,nにおいて明示的に設定されている場合には、上述した補間演算により、次の再生用動画像データを生成するための表示用パラメータとして特定する。
次に、ステップS47において、直前のステップS46において特定された表示用パラメータに基づいて、表示画像処理部131が、上述のようにして、次の再生用動画像データを生成する。そして、処理はステップS44へ戻る。引き続き、ステップS45において肯定的な判定がなされるまで、ステップS44〜S47の処理が繰り返される。
そして、ステップS45における判定の結果が肯定的となると(ステップS45:Y)、処理はステップS41へ戻る。以後、ステップS41〜S47の処理が繰り返される。
なお、今回の再生用動画像データの生成処理において、ステップS45及び上述したステップS34における判定の結果が、共に肯定的となった場合に、処理制御ユニット13が、今回の再生用コンテンツデータの生成処理の完了報告ECTを端末装置200jへ送信する。
以上説明したように、第1実施形態の動画表示システム300では、サーバ装置100の第1記憶ユニット110に、高精細な動画像のコンテンツのデータが記憶される。また、端末装置200jの第2記憶ユニット220に、当該動画像のコンテンツに基づく再生用コンテンツデータの生成からの経過時間情報Tm,n,sと、当該経過時間情報Tm,n,sに対応する高精細動画フレームFLM中の位置Pm,n,sとの組み合わせを含む表示用パラメータDPm,n,sを複数有する表示用パラメータ情報DPIm,nが記憶される。
そして、高精細動画像コンテンツに基づき、端末装置200jの表示ユニット260に表示させるための再生用動画像データ(第1表示画像データ)を生成する再生用動画像データの生成処理(第1表示画像データ生成処理)を開始すると、表示画像処理部131は、端末装置200jから送信された表示用パラメータ情報DPIm,nを含む表示用加工情報DMIm,nに基づいて、高精細な動画像における各フレームに対応する表示用パラメータを特定する。引き続き、表示画像処理部131は、特定された表示用パラメータにより示されるフレーム中の代表位置として、当該経過時間に対応して表示ユニット260に表示させる動画像のデータ(再生用動画像データ)を生成する。
したがって、第1実施形態の動画像表示システム300によれば、高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
また、第1実施形態の動画表示システム300では、表示用パラメータDPm,n,sには、経過時間情報Tm,n,s及び位置Pm,n,sに加えて、経過時間情報Tm,n,sに対応する表示倍率Mm,n,sが更に含まれ、表示画像処理部131は、経過時間情報Tm,n,s、位置Pm,n,s及び表示倍率Mm,n,sに基づいて、高精彩動画像の各フレームから、表示ユニット260に表示する画像のデータ(再生用動画像データ)を生成する。このため、表示ユニット260への動画像の表示の態様の演出者の演出内容の幅が広がり、視認者の楽しみを増加させることにも繋げることができる。
また、第1実施形態の動画表示システム300では、表示用パラメータ情報DPIm,nにおける表示用パラメータDPm,n,sが、連続する高精細動画フレームごとに存在していない場合には、表示画像処理部131は、連続していないフレーム間の表示用パラメータを、補間により算出する。このため、演出者による表示用パラメータ情報の作成を容易化できるとともに、表示用パラメータ情報の容量を低減させることができる。
また、第1実施形態の動画像表示システム300は、第1記憶ユニット110及び表示画像処理部131を備え、演算資源、記憶資源等が豊富なサーバ装置100と、第2記憶ユニット220を備える端末装置200jとを備え、サーバ装置100と端末装置200jとが通信可能となっている。このため、演算資源、記憶資源等が豊富とはいえないスマーフォン等の小型装置を用いつつ、高精細な動画像コンテンツに基づいて、解像度が高くないスマーフォン等の表示デバイスを使用しつつ、視認者であるスマーフォン等の利用者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
[第2実施形態]
次に、本発明の第2実施形態を、主に図15を参照して説明する。
<構成>
図15は、第2実施形態に係る動画像表示システム500の構成が示されている。この図15に示されるように、動画像表示システム500は、画像処理装置400を備えている。ここで、画像処理装置400は、演算資源及び記憶資源が比較的豊富な、例えばパーソナルコンピュータ等により実現できるようになっている。
上記の画像処理装置400は、上述した端末装置200jと比べて、(i)第1記憶ユニット110を備える点、(ii)無線通信ユニット240を備えてない点、及び、(iii)処理制御ユニット210に代えて処理制御ユニット410を備えている点が異なっている。
上記の処理制御ユニット410は、表示画像処理部411と、出力音声処理部412とを備えている。なお、処理制御ユニット410は、中央処理装置(CPU)及び周辺回路を備えて構成されており、様々なプログラムを実行することにより、画像処理装置400としての機能を実現するようになっている。こうした機能には、上述した表示画像処理部411の機能及び出力音声処理部412の機能が含まれている。
表示画像処理部411は、通信制御機能を利用しないことを除いて、上述した表示画像処理部131及び動画像表示制御部212の双方の機能を有している。また、出力音声処理部412は、通信制御機能を利用しないことを除いて、上述した出力音声処理部132及び音声出力制御部211の双方の機能を有している。
<動作>
次に、上記のように構成された動画像表示システム500の動作について説明する。
動画像表示システム500では、入力ユニット230から送られた表示用パタメータ情報の指定を受けると、表示画像処理部411が、表示画像処理部131及び動画像表示制御部212の双方の機能(通信制御機能を除く)に対応する動作を実行して、再生用動画像データを生成する。そして、生成された再生用動画像データは、表示ユニット260へ送られる。この結果、再生用動画像データに応じた動画像が表示ユニット260に表示される。
また、当該表示用パタメータ情報の指定を受けると、出力音声処理部412が、出力音声処理部132及び音声出力制御部211の双方の機能(通信制御機能を除く)に対応する動作を実行して、再生用音声データを生成する。そして、生成された再生用音声データは、音出力ユニット250へ送られる。この結果、再生用音声データに応じた音声が音出力ユニット250から出力される。
以上説明したように、第2実施形態の動画像表示システム500では、表示画像処理部411が、表示画像処理部131及び動画像表示制御部212の双方の機能(通信制御機能を除く)による動作を実行して、再生用動画像データを生成する。また、出力音声処理部412が、出力音声処理部132及び音声出力制御部211の双方の機能(通信制御機能を除く)による動作を実行して、再生用音声データを生成する。
したがって、第2実施形態の動画像表示システム500によれば、上述した第1実施形態の動画像表示システム300の場合と同様の効果を奏することができる。
また、第2実施形態の動画像表示システム500では、画像処理装置400を、演算資源、記憶資源等が比較的豊富なパーソナルコンピュータ等を用いて実現することにより、簡易な構成により、高精細な動画像コンテンツに基づいて、解像度が高くない表示装置を使用しつつ、視認者の趣味感等に応じて、高精細動画像内の表示装置への表示対象位置を動的に変化させた動画像を表示することができる。
[第3実施形態]
まず、本発明の第1実施形態を、図16〜図22を参照して説明する。
<構成>
図16には、第3実施形態に係る動画像表示システム300Bの構成が示されている。この図1に示されるように、動画像表示システム300Bは、サーバ装置100Bと、端末装置200B1,200B2,…とを備えている。
ここで、サーバ装置100Bと、端末装置200Bj(j=1,2,…)とは、通信網600を介して接続されている。そして、サーバ装置100Bと、端末装置200Bjのそれぞれとの間で、様々な情報データの授受を行うようになっている。
<<サーバ装置100Bの構成>>
サーバ装置100Bは、上述した第1実施形態のサーバ装置100と比べて、処理制御ユニット130に代えて処理制御ユニット130Bを備えている点が異なっている。そして、処理制御ユニット130Bは、上述した処理制御ユニット130と比べて、表示画像処理部131に代えて表示画像処理部131Bを備える点が異なっている。以下、かかる相違点に主に着目して、サーバ装置100Bに関連する説明を行う。
上記の処理制御ユニット130Bは、表示画像処理部131Bと、出力音声処理部132とを備えている。なお、処理制御ユニット130Bは、中央処理装置(CPU)及び周辺回路を備えて構成されており、プログラムを実行することにより、表示画像処理部131Bと、出力音声処理部132との機能を果たすようになっている。
上記の表示画像処理部131Bは、通信網600及び通信ユニット120を介して、端末装置200Bjから送信された、端末装置200Bjの利用者により指定された指定情報対(CID,DPI)、及び、端末装置200Bjにおける表示ユニットのピクセル構成情報を受ける。そして、表示画像処理部131Bは、当該指定情報対及び当該ピクセル構成情報に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照して抽出処理(第1表示画像データ生成処理)を行い、端末装置200Bjにおける表示ユニット260に表示させるための動画像の第1候補に対応する第1再生用動画像データ(第1表示画像データ)を生成する第1表示画像データ生成処理を行う。また、表示画像処理部131Bは、当該第1表示画像データ生成処理とともに、高精細動画像コンテンツデータ群HDCSを参照して縮小処理(第2表示画像データ生成処理)を行い表示ユニット260に表示させるための動画像の第2候補に対応する第2再生用動画像データ(第2表示画像データ)を生成する第2表示画像データ生成処理を行う。こうして生成された第1及び第2再生用動画像データは、再生用コンテンツデータ(RCD)の一部として、通信ユニット120及び通信網600を介して、当該指定情報対を発行した端末装置200Bjへ送信される。
なお、表示画像処理部131Bが実行する再生用動画像データ生成処理(第1及び第2表示画像データ生成処理)の詳細については、後述する。
<<端末装置200Bjの構成>>
上記の端末装置200Bjは、第1実施形態の場合と同様に、スマートフォン等のような小型の可搬型端末装置となっている。端末装置200Bjは、図17に示されるように、上述した第1実施形態の端末装置200jと比べて、処理制御ユニット210に代えて処理制御ユニット210Bを備える点、及び、姿勢検出ユニット280を更に備える点が異なっている。そして、処理制御ユニット210Bは、上述した処理制御ユニット210と比べて、動画像表示制御部212に代えて動画像表示制御部212Bを備える点が異なっている。以下、かかる相違点に主に着目して、端末装置200Bjに関連する説明を行う。
上記の動画像表示制御部212Bは、サーバ装置100Bからストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる第1及び第2再生用動画像データを、通信網600及び無線通信ユニット240を介して受ける。そして、動画像表示制御部212Bは、姿勢検出ユニット280による検出結果に応じて、フレームごとに、当該第1及び第2再生用動画像データのいずれかのデータに対応する動画像を表示ユニット260に表示させる制御を行う。
上記の姿勢検出ユニット280は、ジャイロセンサ等を備えている。第3実施形態では、姿勢検出ユニット280は、重力方向と、表示面260Sの縦方向(図4参照)との交差角θを検出する。そして、姿勢検出ユニット280は、検出結果を処理制御ユニット210B(より詳しくは、動画像表示制御部212B)へ送る。
[動作]
次に、上記のように構成された動画像表示システム300Bの動作について説明する。
図18には、動画像表示システム300Bにおける動画像コンテンツの再生処理の概要が示されている。この図18に示されるように、動画像コンテンツの再生処理に際しては、上述した第1実施形態の場合と同様に、まず、ステップS11において、端末装置200Bjから、表示用加工情報DMIm,nが送信される。
端末装置200Bjから送信された表示用加工情報DMIm,nを受信すると、サーバ装置100Bでは、ステップS12Bにおいて、表示用加工情報DMIm,n(すなわち、指定情報対(CIDm,DPIm,n)、及び、端末装置200Bjが備える表示ユニット260の表示面260Sのピクセル構成情報)に基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照した再生用コンテンツデータの生成処理が実行される。かかる再生用コンテンツデータの生成処理には、第1実施形態の場合と同様の再生用音声データの生成処理(ステップS121)と、抽出処理及び縮小処理である再生用動画像データの生成処理(ステップS122B)とが含まれる。ここで、ステップS121の処理とステップS122Bの処理とは、並行して実行される。
なお、ステップS122Bの処理は、表示画像処理部131Bにより実行されるようになっている。
また、ステップS122Bでは、表示画像処理部131Bが、表示用加工情報DMImに基づいて、第1記憶ユニット110に記憶されている高精細動画像コンテンツデータ群HDCSを参照して、第1実施形態の場合と同様に抽出処理(第1表示画像データ生成処理)を行って、第1再生用動画像データ(第1表示画像データ)を生成する。また、ステップS122Bでは、表示画像処理部131Bが、高精細動画像コンテンツデータ群HDCSを参照して、縮小処理(第2表示画像データ生成処理)を行って、第2再生用動画像データ(第2表示画像データ)を生成する。こうして生成された第1及び第2再生用動画像データは、再生用コンテンツデータの一部として、ストリーム形式で、当該表示用加工情報DMIm,nを発行した端末装置200Bjへ送信される。
なお、ステップS122Bにおいて実行される第1及び第2再生用動画像データの生成処理の詳細については、後述する。
以上のようにして、サーバ装置100Bから送信されたストリーム形式の再生用コンテンツデータを受信すると、端末装置200Bjでは、ステップS13Bにおいて、再生制御処理が行われる。かかる再生制御処理に際して、音声出力制御部211が、第1実施形態の場合と同様にして、サーバ装置100Bからストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる再生用音声データを受け、当該再生用音声データに対応する音声を音出力ユニット250から出力させる音声再生制御処理を行う(ステップS131)。
また、動画像表示制御部212Bは、サーバ装置100Bからストリーミング形式で送信された再生用コンテンツデータ(RCD)に含まれる第1及び第2再生用動画像データを受ける。そして、動画像表示制御部212Bは、姿勢検出ユニット280による検出結果に応じて、当該第1及び第2再生用動画像データに対応する画像のいずれかを表示ユニット260に表示させる制御をフレームごとに行う動画像再生制御処理を行う(ステップS132)。
なお、ステップS132における動画像再生制御処理の詳細については後述する。
以上の再生制御の結果、音出力ユニット250から、サーバ装置100Bから送信された音声データに対応する音声が出力される。また、表示ユニット260の表示面260Sに、サーバ装置100Bから送信された第1及び第2再生用動画像データのいずれかに対応する動画像が表示される。
なお、第1実施形態の処理制御ユニット210の場合と同様に、入力ユニット230から再生処理中止指定を受けると、端末装置200Bjの処理制御ユニット210Bは、再生処理終了指令STPをサーバ装置100Bへ送信した後、ステップS13Bの処理を終了する。そして、処理制御ユニット210Bによる処理はステップS11へ戻る。
当該再生処理終了指令STPを受信すると、サーバ装置100Bの処理制御ユニット130Bは、ステップS12Bの処理を終了する。その後、処理制御ユニット130Bは、ステップS12Bの処理の再実行を開始する。
また、ステップS12Bの処理中に再生用コンテンツデータの生成処理対象であった対応コンテンツID(CIDm)に対応する高精細動画像コンテンツの全てに対する再生用コンテンツデータの生成処理が終了すると、処理制御ユニット130Bは、今回の再生用コンテンツデータの生成処理の完了報告ECTを端末装置200Bjへ送信した後、ステップS12Bの処理を終了する。そして、処理制御ユニット130Bは、ステップS12Bの処理の再実行を開始する。
当該完了報告ECTを受信すると、端末装置200Bjの処理制御ユニット210Bは、ステップS13Bの処理を終了する。そして、処理制御ユニット210Bによる処理はステップS11へ戻る。
<ステップS122Bにおける再生用動画像データの生成処理>
次に、ステップS122Bにおける第1及び第2再生用動画像データの生成処理について説明する。
当該再生用動画像データの生成処理では、図19に示されるように、まず、ステップS41において、表示画像処理部131Bが、表示用加工情報DMIm,nを受信したか否かを判定する。ステップS41における判定の結果が否定的であった場合(ステップS41:N)には、ステップS41の処理が繰り返される。
表示用加工情報DMIm,nを受信し、ステップS41における判定の結果が肯定的となると(ステップS41:Y)、処理はステップS42へ進む。このステップS42では、表示画像処理部131Bが、第1記憶ユニット110に記憶されている高精細動画像コンテンツ群HDCSの中から再生用動画像データの生成対象となる高精細動画像データを特定し、表示用パラメータDPm,n,1(Tm,n,1,Pm,n,1,Mm,n,1)を、最初の再生用動画像フレームに関する再生用動画像データを生成するための表示用パラメータとして特定する。
次に、ステップS43Bにおいて、ステップS42において特定された表示用パラメータに基づいて、表示画像処理部131Bが、第1実施形態の場合と同様の抽出処理を行って、最初の第1再生用動画像データを生成する。また、表示画像処理部131Bが、縮小処理を行って、最初の第2再生用動画像データを生成する。
上記の縮小処理は、縮小率R(=min(b/A,a/B))で高精細画像のフレームの画素構成の縮小を行って、表示面260Sの画素構成に適合させる処理である。図20には、縮小率R(=b/A=a/B)の場合における縮小処理の例が示されている。
図19に戻り、次に、ステップS44Bにおいて、表示画像処理部131Bが、生成された第1及び第2再生用動画像データの双方を、再生用コンテンツデータRCDの一部として、表示用加工情報DMIm,nを発行した端末装置200Bjへストリーム形式で送信する。
次いで、ステップS45において、表示画像処理部131Bが、再生用動画像データの生成処理を終了するか否かを、第1実施形態の場合と同様にして判定する。ステップS45の判定の結果が否定的であった場合(ステップS45:N)には、処理は、ステップS46へ進む。このステップS46では、表示画像処理部131Bが、第1実施形態の場合と同様にして、次の再生用動画像フレームに関する第1再生用動画像データを生成するための表示用パラメータを特定する。
次に、ステップS47Bにおいて、直前のステップS46において特定された表示用パラメータに基づいて、表示画像処理部131Bが、上述のステップS43Bの場合と同様の抽出処理及び縮小処理を行って、次の第1及び第2再生用動画像データを生成する。そして、処理はステップS44Bへ戻る。引き続き、ステップS45において肯定的な判定がなされるまで、ステップS44B〜S47Bの処理が繰り返される。
そして、ステップS45における判定の結果が肯定的となると(ステップS45:Y)、処理はステップS41へ戻る。以後、ステップS41〜S47Bの処理が繰り返される。
<ステップS132における動画像再生制御処理>
ステップS132における動画像再生制御処理に際しては、図21に示されるように、まず、ステップS51において、動画像表示制御部212Bが、第1実施形態における再生制御処理の終了条件と同様の条件が満たされたか否かを判定することにより、今回の動画像再生制御を終了するか否かを判定する。
ステップS51における判定の結果が否定的であった場合(ステップS51:N)には、処理はステップS52へ進む。このステップS52では、動画像表示制御部212Bが、新たなフレームの第1及び第2再生用動画像データを受けたか否かを判定する。ステップS52における判定の結果が否定的であった場合(ステップS52:N)には、処理はステップS51へ戻る。
以後、ステップ51又はステップS52における判定の結果が肯定的となるまで、ステップS51,S52の処理が繰り返される。
ステップS52における判定の結果が肯定的となると(ステップS52:Y)、処理はステップS53へ進む。このステップS53では、動画像表示制御部212Bが、姿勢検出ユニット280による現時点における検出結果(交差角θ)を取得する。
次に、ステップS54において、動画像表示制御部212Bが、現時点の表示モード、及び、直前のステップS53において取得された交差角θに基づいて、表示モードを決定する。かかる表示モードを決定に際して、第3実施形態では、動画像表示制御部212Bは、図22に示されるようなヒステリシス特性を有するようにして表示モードを決定するようになっている。
次いで、ステップS55において、動画像表示制御部212Bが、直前のステップS54において決定された表示モードが第1表示モードであるか否かを判定する。ステップS55における判定の結果が肯定的であった場合(ステップS55:Y)には、処理はステップS56へ進む。このステップS56では、動画像表示制御部212Bが、第1及び第2再生用動画像データのうちの第1再生用動画像データを選択し、選択された再生用動画像データを表示ユニット260へ送る。そして、処理はステップS51へ戻る。
ステップS55における判定の結果が否定的であった場合(ステップS55:N)には、処理はステップS57へ進む。このステップS57では、動画像表示制御部212Bが、第1及び第2再生用動画像データのうちの第2再生用動画像データを選択し、選択された再生用動画像データを表示ユニット260へ送る。そして、処理はステップS51へ戻る。
以後、ステップS51における判定の結果が肯定的となるまで、ステップS51〜S57の処理が繰り返される。そして、ステップS51における判定の結果が肯定的となると(ステップS51:Y)、ステップS132の処理を終了する。
以上説明したように、第3実施形態の動画表示システム300Bでは、サーバ装置100Bの表示画像処理部131Bが、上述した第1実施形態の場合と同様の抽出処理(第1表示画像データ生成処理)により第1表示画像データに加えて、縮小処理(第2表示画像データ生成処理)により、高精細な動画像コンテンツの各フレームのデータから、各フレームの画像全体の縮小画像に対応する画像のデータを生成する。そして、表示画像処理部131Bは、第1表示画像データ生成処理により生成された第1表示画像データと、第2表示画像データ生成処理により生成された第2表示画像データとを、端末装置200Bjへ送信する。
こうしてサーバ装置100Bから送信された第1表示画像データ及び第2表示画像データを受信すると、端末装置200Bjでは、動画像表示制御部212Bが、姿勢検出ユニット280による姿勢検出結果に基づいて、第1表示画像データ及び第2表示画像データのいずれかを選択し、選択された画像データを再生フレーム順に、連続的に表示ユニット260へ送る。このため、視認者による表示ユニット260の表示面260Sの姿勢変更操作に応じて発生した表示面260Sの姿勢変化に応じて、第1表示画像データ及び第2表示画像データのいずれかに対応する画像を画像表示部に表示することができる。
また、第3実施形態では、表示画像処理部131Bが、第1表示画像データ及び第2表示画像データについて、同一フレームごとの送信の同期を図りつつ、端末装置200Bjへ連続的に送信する。このため、端末装置200Bjの動画像表示制御部212Bが、フレームごとに、姿勢検出ユニット280による姿勢検出結果に基づいて、第1表示画像データ及び第2表示画像データに対応する画像のいずれかを選択し、選択された画像を画像表示部に表示することができるので、端末装置(特に、動画像表示制御部)の構成を簡素なものとすることができる。
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載の範囲で、様々な変形が可能である。
例えば、上記の第1,3実施形態では、再生用動画像データ及び再生用音声データがストリーミング形式でダウンロードされるようにしたが、ファイル形式でダウンロードされるようにしてもよい。
また、上記の第1,3実施形態では、端末装置において表示用加工情報を生成するようにした。これに対し、端末装置以外の装置で生成された複数の表示用加工情報のうちにおいて当該端末装置の利用者の趣味感に適合する表示用加工情報を、ネットワーク経由又は記録媒体を介して、当該端末装置が入手するようにしてもよい。
また、上記の第1,3実施形態では、端末装置から送信された表示用加工情報を受信すると、再生用コンテンツデータの生成処理を開始するようにした。これに対し、サーバ装置が、端末装置の利用者による選択対象となり得る複数の表示用加工情報を取得しておき、当該複数の表示用加工情報に対応する再生用コンテンツデータの生成処理を行うようにするとともに、各端末装置が利用者の趣味感に適合する表示用加工情報の識別子を入手するようにしてもよい。この場合には、端末装置から送信された表示用加工情報の識別子を指定した配信要求を受信すると、サーバ装置が、事前に生成された当該識別子に対応する再生用コンテンツデータの配信を開始するようにすることができる。
また、上記の第1〜第3実施形態では、再生用動画像データ及び再生用音声データの双方を生成するようにしたが、高精細動画コンテンツデータに高精細動画データのみが含まれる場合には、再生用動画像データのみを生成するようにしてもよい。
また、上記の第1〜第3実施形態では、利用者の指定により、再生用コンテンツデータの生成処理を中止させるようにしたが、当該再生用コンテンツデータの生成処理の一時中断及び再開を利用者が更に指定できるようにしてもよい。
また、上記の第1,3実施形態では、端末装置が画像表示面のピクセル構成そのものを表示画像処理部へ通知するようにしたが、希望するピクセル構成を表示画像処理部へ通知するようにしてもよい。さらに、表示画像処理部が、既定のピクセル構成を保有するようにし、画像表示面のピクセル構成及び希望するピクセル構成のいずれも通知されない場合には、当該既定のピクセル構成を採用して再生用動画像データを生成するようにしてもよい。
また、上記の第1実施形態に対する上記の第2実施形態への変形と同様の変形を、上記の第3実施形態に対して行うようにしてもよい。
以上説明したように、本発明は、動画像表示システムの分野で利用することができる。
100,100B … サーバ装置(第1装置)
110 … 第1記憶ユニット(第1記憶部)
120 … 通信ユニット(第1通信部)
130,130B … 処理制御ユニット
131,131B … 表示画像処理部
132 … 出力音声処理部
200j,200Bj … 端末装置(第2装置)
210,210B … 処理制御ユニット
211 … 音声出力制御部
212,212B … 動画像表示制御部(表示制御部)
230 … 入力ユニット
240 … 無線通信ユニット(第2通信部)
250 … 音出力ユニット
260 … 表示ユニット(画像表示部)
260S … 表示面
280 … 姿勢検出ユニット(姿勢検出部)
300,300B … 動画像表示システム
400 … 画像処理装置
410 … 処理制御ユニット
411 … 表示画像処理部
412 … 出力音声処理部
500 … 動画像表示システム
600 … 通信網
HDCS … 高精細動画像コンテンツデータ群
DPIS … 表示用パラメータ情報群
FLM … 高精細動画像フレーム

Claims (7)

  1. 縦方向の画素数が第1の数であり、横方向の画素数が第2の数であるフレームのデータが、再生順に複数個並べられた動画像のデータを含むコンテンツのデータが記憶された第1記憶部と;
    前記コンテンツの再生開始からの経過時間の情報と、前記経過時間に対応するフレーム中の位置の情報との組み合わせを含む表示用パラメータを複数有する表示用パラメータ情報が記憶された第2記憶部と;
    前記表示用パラメータを参照しつつ、前記動画像の各フレームから、縦方向の表示画素数が、前記第1の数よりも少ない第3の数であり、横方向の表示画素数が、前記第2の数よりも少ない第4の数である、画像表示部に表示させる画像を抽出する第1表示画像データ生成処理を実行する機能を有する表示画像処理部と;
    を備えることを特徴とする動画像表示システム。
  2. 前記表示用パラメータには、前記経過時間の情報及び前記位置の情報に加えて、前記経過時間に対応する表示倍率情報が更に含まれ、
    前記表示画像処理部は、前記表示用パラメータの前記位置の情報及び前記表示倍率情報を参照しつつ、前記動画像の各フレームから、前記画像表示部に表示する画像のデータを生成する、
    ことを特徴とする請求項1に記載の動画像表示システム。
  3. 前記第2記憶部に記憶されている前記表示用パラメータ情報における前記表示用パラメータが、連続するフレームごとに存在していない場合には、前記表示画像処理部は、連続していないフレーム間の表示用パラメータを、補間により算出する、ことを特徴とする請求項1又は2記載の動画像表示システム。
  4. 前記第1記憶部、前記画像表示部、前記第2記憶部及び前記表示画像処理部を有する画像処理装置を備える、ことを特徴とする請求項1〜3のいずれか一項に記載の動画像表示システム。
  5. 第1装置及び第2装置を備え、
    前記第1装置は、
    前記第1記憶部と;
    前記表示画像処理部と;
    前記第2装置から送信された前記表示用パラメータ情報を受信し、前記表示画像処理部へ送るとともに、前記表示画像処理部により生成された画像のデータを前記第2装置へ送信する第1通信部と;を備え、
    前記第2装置は、
    前記画像表示部と;
    前記第2記憶部と;
    前記画像表示部における画像表示を制御する表示制御部と;
    前記表示制御部による制御のもとで前記表示用パラメータ情報を前記第1装置へ送信するとともに、前記第1装置から送信された前記生成された画像のデータを受信し、前記受信した画像のデータを前記表示制御部へ送る第2通信部と;を備える、
    ことを特徴とする請求項1〜3のいずれか一項に記載の動画像表示システム。
  6. 前記第2装置は、
    前記画像表示部の重力方向に対する姿勢方向の検出を行い、前記検出の結果の情報を前記表示制御部へ送る姿勢検出部を更に備え、
    前記表示画像処理部は、
    前記フレームのデータから、前記フレームの画像全体の縮小画像に対応する、縦方向の表示画素数が前記第4の数であり、横方向の表示画素数が前記第3の数である画像のデータを生成する第2表示画像データ生成処理を実行する機能を更に有し、
    前記第1表示画像データ生成処理により生成された第1表示画像データと、前記第2表示画像データ生成処理により生成された第2表示画像データとを、前記第1通信部を利用して、前記第2装置へ送信し、
    前記表示制御部は、前記姿勢検出部による姿勢検出結果に基づいて、前記第1表示画像データ及び前記第2表示画像データのいずれかを選択し、選択された画像データを再生フレーム順に、連続的に前記画像表示部へ送る、
    ことを特徴とする請求項5に記載の動画像表示システム。
  7. 前記表示画像処理部は、前記第1表示画像データ及び前記第2表示画像データについて、同一フレームごとの送信の同期を図りつつ、前記第2装置へ連続的に送信する、ことを特徴とする請求項6に記載の動画像表示システム。
JP2020125516A 2019-07-26 2020-07-22 動画像表示システム Pending JP2021022930A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019137560 2019-07-26
JP2019137560 2019-07-26

Publications (1)

Publication Number Publication Date
JP2021022930A true JP2021022930A (ja) 2021-02-18

Family

ID=74573823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020125516A Pending JP2021022930A (ja) 2019-07-26 2020-07-22 動画像表示システム

Country Status (1)

Country Link
JP (1) JP2021022930A (ja)

Similar Documents

Publication Publication Date Title
US9781356B1 (en) Panoramic video viewer
JP6566698B2 (ja) 表示制御装置および表示制御方法
JP6486377B2 (ja) ビデオ送信
JP6175969B2 (ja) 情報処理装置、情報処理システム及びプログラム
WO2015122052A1 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
US20240077941A1 (en) Information processing system, information processing method, and program
KR101757765B1 (ko) 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법
JP2009177431A (ja) 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等
WO2020138258A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2014072608A (ja) 情報処理システム、情報処理装置、表示装置、及びプログラム
CN110928509A (zh) 显示控制方法、显示控制装置、存储介质、通信终端
JP4830419B2 (ja) 動画像視聴システム、動画像視聴装置、その制御方法、及びプログラム
CN106919376B (zh) 动态画面传输方法、伺服器装置及用户装置
US11846783B2 (en) Information processing apparatus, information processing method, and program
JP2021022930A (ja) 動画像表示システム
US20230217084A1 (en) Image capture apparatus, control method therefor, image processing apparatus, and image processing system
JP2005266061A (ja) 再生装置
JP5861684B2 (ja) 情報処理装置、及びプログラム
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム
JP4924168B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2005107681A (ja) 複数画面画像表示システム、複数画像表示装置の相対位置検出方法、複数画像表示装置の相対位置検出プログラムおよび複数画像表示装置の相対位置検出プログラムを記録した記録媒体
JP6597041B2 (ja) サーバー装置及び情報処理システム
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
JP4544262B2 (ja) 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム