JP2009177431A - 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等 - Google Patents

Abstract

【課題】デジタルカメラワークを適用して、一部の領域の画像を抜き出し再生する際に、視聴者の望んだ範囲の画像を抜き出して再生することを可能とする。
【解決手段】動画像を記憶手段から読み出す読み出し手段と、読み出された動画像を構成する複数の静止画像夫々から部分静止画像を抜き出す範囲を各当該静止画像に対応付けて規定する再生制御情報に基づいて、当該各静止画像から部分静止画像を夫々抜き出す抜き出し手段と、夫々抜き出された部分静止画像を順次再生することによって、新たな動画像として再生する再生手段と、各静止画像から部分静止画像を抜き出す範囲を指定するために用いられる入力手段と、を備え、抜き出し手段は、入力手段を用いて範囲が指定された場合には、再生制御情報に代えて当該指定に基づいて、各静止画像から部分静止画像を抜き出す。
【選択図】図５

Description

本発明は、撮影等により生成された動画像に対して、パンニングやズーミング等の所謂デジタルカメラワークを適用して、一部の領域の画像を抜き出し再生する動画像再生システム、サーバ装置、端末装置及び動画像生成方法等の技術分野に関する。

近年、高性能の携帯型映像撮影装置が安価に販売されるようになってきていることから、ＨＤ（High Definition）映像の撮影は、テレビ・映画撮影用のみならず、一般消費者でも可能となってきている。また、一般のユーザが、撮影した映像を、例えば、ＹｏｕＴｕｂｅ（登録商標）等の動画配信サイトを介して、映像情報として配信することも広く行われるようになってきている。

このように、デジタル化された映像を楽しむ人々が今後増加していくことが予測される一方で、高解像度の映像情報を、そのままの形態で配信を行うことは、映像情報の画素数やデータ量の観点において、現在では非現実的であり、また、ディスプレイ面積の小さい携帯電話等の携帯型映像携帯用再生端末を用いての視聴には不向きである。そのため、映像情報に加工を施して、インターネット上で配信可能にしたり、携帯型映像携帯用再生端末でも臨場感のある映像の再生が可能となるようにすることが必要となってくる。

しかしながら、ダウンサンプリングやデータの圧縮といった、これまで一般的な方法を用いたのでは、画質が大きく劣化するという問題が生ずる。

こうした状況の中、近年では、デジタルカメラワークと称される技術が用いられるようになってきた。ここで、デジタルカメラワークとは、撮影装置（以下、単に「カメラ」と称する）自体の操作やその際の撮影技術とは別に、一旦撮影されたことによって生成された映像情報に対して、コンピュータによる情報処理を施すことにより、撮影された映像全体を仮想的な撮影可能範囲として、仮想的なカメラのアングルや構図等を自動的に決定すること、及び、その技術をいう。より具体的には、全体映像の一部分の領域の位置やサイズを時間の変化に伴って連続的に変化させながら、その領域から映像を抜き出すことで、仮想的なパンニングやズーミング等を表現することをいう。

なお、デジタルカメラワークにおいて、パンニングとは、仮想的なカメラのアングルを移動させること、すなわち、映像を抜き出す領域を移動させることをいい、ズーミングとは、仮想的なカメラによる撮影映像の拡大率を変化させること、すなわち、映像を抜き出す領域のサイズを変化させることをいう。

このデジタルカメラワークを適用することで、高解像度の映像から、映像本来の縦横画素数よりも小さい画素数となる一部の領域の映像を抜き出して画面に表示させたり、この一部の領域の映像を抜き出して新たな映像情報を生成することで、画質を大きく劣化させることなく、インターネット上での配信を可能とさせたり、携帯型映像携帯用再生端末でも臨場感のある映像の再生が可能となることが期待される。

こうしたデジタルカメラワークに関しては、従来、様々な方法が提案されてきた。

例えば、非特許文献１には、時間短縮講義ビデオの生成方法において、黒板全体を含んだ映像を固定カメラにより撮影しておき、撮影された高解像度映像からトリミングを行う際に、フレーム間差分法によって講師の位置座標を求め、講師の位置座標の変化の激しい区間をパンニング区間とし、変化の少ない区間をズーミング区間として、トリミング位置及び拡大率を決定し、講義ビデオを生成する方法が開示されている。

また、特許文献１には、サッカーの試合のシーンを、サッカーコート全体が映るようにして固定撮影された素材映像に対してデジタルカメラワークを用いて映像を抜き出す際に、背景差分法により選手を抽出して、選手の移動が大きい点を重心としてフレーム位置を設定したり、サッカーボールの位置を検出して、この位置に基づいてフレーム位置を設定する方法が開示されている。
横井、外2名、"講義イベント検出に基づく短縮講義ビデオの自動生成"、第12回画像センシングシンポジウム予稿集、2006年、p.535-540 特開２００５−２２３４８７号公報

しかしながら、上述した文献に記載された方法では、撮影対象、あるいは、制作者側の意図のみに基づいてデジタルカメラワークを決定するため、視聴者の意思を反映することができなかった。例えば、特許文献１に記載の方法では、選手の移動の大きさやサッカーボールの位置等に基づいて、自動的にフレーム位置が決定されてしまうので、例えば、特定の選手等を追って見たいと視聴者が望んでも、その望みがデジタルカメラワークに反映されないという問題がある。

本発明は、以上の問題に鑑みてなされたものであり、デジタルカメラワークを適用して、一部の領域の画像を抜き出し再生する際に、視聴者の望んだ範囲の画像を抜き出して再生することを可能とする動画像再生システム、サーバ装置、端末装置及び動画像生成方法等を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生する動画像再生システムであって、前記動画像を記憶手段から読み出す読み出し手段と、前記読み出された動画像を構成する複数の静止画像夫々から前記部分静止画像を抜き出す範囲を各当該静止画像に対応付けて規定する再生制御情報に基づいて、当該各静止画像から前記部分静止画像を夫々抜き出す抜き出し手段と、夫々抜き出された前記部分静止画像を順次再生することによって、新たな動画像として再生する再生手段と、各前記静止画像から前記部分静止画像を抜き出す範囲を指定するために用いられる入力手段と、を備え、前記抜き出し手段は、前記入力手段を用いて前記範囲が指定された場合には、前記再生制御情報に代えて当該指定に基づいて、各前記静止画像から前記部分静止画像を抜き出すことを特徴とする。

この発明によれば、通常は、再生制御情報によって、各静止画像から部分静止画像を抜き出す範囲が決定されるが、視聴者により、部分静止画像を抜き出す範囲が指定された場合には、この指定された範囲で部分静止画像を抜き出す範囲が決定されるので、予め定められたデジタルカメラワークを適用して、一部の領域の画像を抜き出し再生することができるとともに、視聴者により指定されたデジタルカメラワークを適用することで、視聴者の望んだ範囲の画像を抜き出して再生することができる。

請求項２に記載の発明は、請求項１に記載の動画像再生システムにおいて、前記抜き出し手段は、前記入力手段を用いて前記範囲が指定された場合には、当該指定された範囲まで、各前記静止画像から当該部分静止画像を抜き出す毎に、当該抜き出す範囲を漸次変化させながら、当該各静止画像から当該部分静止画像を抜き出すことを特徴とする。

この発明によれば、視聴者により、部分静止画像を抜き出す範囲が指定された場合には、当該指定された範囲まで、各静止画像から当該部分静止画像を抜き出す毎に、当該抜き出す範囲が漸次変化するので、動画像の再生に沿って、再生制御情報に規定された範囲から視聴者に指定された範囲まで、部分静止画像の範囲が次第に変化することとなり、部分静止画像の範囲が突然変わることを抑制することができ、視聴者にとって視聴しやすいように再生を行うことができる。

請求項３に記載の発明は、請求項２に記載の動画像再生システムにおいて、前記抜き出し手段は、各前記静止画像から前記部分静止画像を抜き出す範囲を変化させる場合に、その変化する速度を漸次変化させることを特徴とする。

この発明によれば、視聴者により、部分静止画像を抜き出す範囲が指定された場合には、当該指定された範囲まで、各静止画像から当該部分静止画像を抜き出す毎に、当該抜き出す範囲が漸次変化するとともに、抜き出す範囲の変化する速度が漸次上がりながら当該範囲の変化が開始され、且つ、抜き出す範囲の変化する速度が漸次下がりながら当該範囲の変化が停止されるので、部分静止画像の範囲が急激に変化することを抑制することができ、視聴者にとってより視聴しやすいように再生を行うことができる。

請求項４に記載の発明は、請求項１に記載の動画像再生システムにおいて、当該動画像再生システムは、端末装置と、当該端末装置がネットワークを介して接続可能なサーバ装置と、を含んで構成され、前記端末装置は、前記再生手段と前記入力手段と、前記サーバ装置から前記部分静止画像を受信する部分静止画像受信手段と、前記入力手段を用いて指定された前記範囲を示す指定情報を前記サーバ装置に送信する指定情報送信手段と、を備え、前記再生手段は、前記受信された部分静止画像を順次再生し、前記サーバ装置は、前記読み出し手段と、前記抜き出し手段と、前記抜き出された部分静止画像を前記端末装置に送信する部分静止画像送信手段と、前記端末装置から前記指定情報を受信する指定情報受信手段と、を備え、前記抜き出し手段は、前記指定情報を受信した場合には、前記再生制御情報に代えて当該指定情報に基づいて、各前記静止画像から前記部分静止画像を抜き出すことを特徴とする。

請求項５に記載の発明は、請求項４に記載の動画像再生システムに含まれるサーバ装置であって、前記読み出し手段、前記抜き出し手段、前記部分静止画像送信手段及び前記指定情報受信手段を備えることを特徴とする。

請求項６に記載の発明は、請求項４に記載の動画像再生システムに含まれる端末装置であって、前記再生手段、前記入力手段、前記部分静止画像受信手段及び前記指定情報送信手段を備えることを特徴とする。

請求項７に記載の発明は、コンピュータを、請求項１乃至４の何れか１項に記載の動画像再生システムとして機能させることを特徴とする。

請求項８に記載の発明は、コンピュータを、請求項５に記載のサーバ装置として機能させることを特徴とする。

請求項９に記載の発明は、コンピュータを、請求項６に記載の端末装置として機能させることを特徴とする。

請求項１０に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生する動画像再生方法であって、読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、抜き出し手段が、前記読み出された動画像を構成する複数の静止画像夫々から前記部分静止画像を抜き出す範囲を各当該静止画像に対応付けて規定する再生制御情報に基づいて、当該各静止画像から前記部分静止画像を夫々抜き出す抜き出し工程と、再生手段が、夫々抜き出された前記部分静止画像を順次再生することによって、新たな動画像として再生する第１再生工程と、各前記静止画像から前記部分静止画像を抜き出す範囲が入力手段を用いて指定された場合に、前記再生手段が、前記再生制御情報に代えて当該指定に基づいて、各前記静止画像から前記部分静止画像を抜き出す第２再生工程と、を備えることを特徴とする。

本発明によれば、予め定められたデジタルカメラワークを適用して、一部の領域の画像を抜き出し再生することができるとともに、視聴者により指定されたデジタルカメラワークを適用することで、視聴者の望んだ範囲の画像を抜き出して再生することができる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、動画配信システムに対して本発明を適用した場合の実施形態である。

［１．動画配信システムの構成及び機能概要］
先ず、本実施形態に係る動画配信システムＳの構成及び機能概要について、図１を用いて説明する。なお、図１は、本実施形態に係る動画配信システムＳの概要構成の一例を示す図である。

図１に示すように、動画配信システムＳは、サーバ装置の一例としての動画配信サーバ１と、端末装置の一例としての複数の携帯用再生端末２と、を含んで構成されている。

動画配信サーバ１と、携帯用再生端末２とは、ネットワークの一例としてのインターネットＩＮを介して相互にデータの送受信が可能（例えば、通信プロトコルにＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等を用いて、相互にデータの送受信が可能）になっている。

上述した動画配信システムＳにおいて、動画配信サーバ１において、映像データ（動画像の一例）がデータベースに格納されており、携帯用再生端末２からの要求に応じて、動画配信サーバ１から携帯用再生端末２に対して映像データが配信されるようになっている。このとき、映像データは、例えば、ＲＴＰ（Real-time Transport Protocol）等のプロトコルを用いて配信されるようになっており、ストリーミングにより、携帯用再生端末２においては、映像データを受信しながらその映像データを再生することが可能となっている。

また、動画配信システムＳにおいては、映像データ毎に、予め定められたデジタルカメラワークで、携帯用再生端末２が映像データを再生するようになっている。具体的には、映像データ夫々に対応して、デジタルカメラワークを規定するカメラワークデータ（再生制御情報の一例）がデータベースに格納されており、動画配信サーバ１がカメラワークデータに基づいて、映像データを構成する複数のフレーム画像（静止画像の一例）夫々の一部の画像（部分静止画像の一例）を、当該映像データの再生に沿って抜き出して、携帯用再生端末２に配信するようになっている。

また更に、動画配信システムＳにおいては、携帯用再生端末２を利用するユーザの操作によって、デジタルカメラワークを変更するようになっている。具体的には、ユーザによる、パンニングやズーミング等の操作内容が、携帯用再生端末２から動画配信サーバ１に送信され、この操作内容に基づいて、動画配信サーバ１が、デジタルカメラワークを決定するようになっている。

［１．１ 動画配信サーバの構成及び機能］
次に、動画配信サーバ１の構成及び機能について説明する。

図１に示すように、動画配信サーバ１は、インターネットＩＮに接続して、携帯用再生端末２等との通信状態を制御する通信部１１と、各種プログラム及びデータ等を記憶する記憶手段の一例としての記憶部１２（例えば、ハードディスクドライブ等）と、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えるシステム制御部１３と、を備え、システム制御部１３と各部とは、システムバス１４を介して接続されている。

記憶部１２には、データベースが構築されている。このデータベースには、映像データとカメラワークデータとが、複数登録されており、例えばカメラワークデータに、対象となる映像データのファイル名等が記述されていることにより、映像データとカメラワークデータとが対応付けられている。

映像データは、例えば、ＭＰＥＧ−２（Moving Picture Experts Group phase ２）等の規格に基づいて記録されたデータである。

カメラワークデータは、例えば、ＸＭＬ（Extensible Markup Language）、ＷＭＬ（Wireless Markup Language）、ＳＭＩＬ（Synchronized Multimedia Integration Language）、ＭＰＥＧ−７（Moving Picture Experts Group phase 7）等により規定されている形式で記述されている。

このカメラワークデータには、例えば、映像データの全再生期間のうち、抜き出し再生を行う抜き出し再生期間における各フレームから抜き出し再生する画像の領域を示すＲＯＩ（Region Of Interest）の当該フレーム画像上における中心座標、サイズ（縦の画素数及び横の画素数）が、当該フレームの番号に対応付けて設定されている。以下、ＲＯＩの中心座標及びサイズを総称して、「ＲＯＩの範囲」という。

なお、ここで、ＲＯＩの中心座標及びサイズを、フレーム番号に対応付ける代わりに、例えば、抜き出し再生期間を所定時間（例えば、０．０５秒）で区切って、この区切られた時間帯毎に対応付けて設定されるように構成しても良い。この場合であれば、区切られた時間帯に対応する１または複数のフレームに対応付けて、ＲＯＩの中心座標、サイズが設定されたことと同様の結果となる。

また、記憶部１２には、動画配信用プログラム（サーバ装置用プログラムの一例）が記憶されている。なお、各種プログラムは、例えば、他のサーバ装置等から通信部１１を介して取得されるようにしても良いし、記録媒体に記録されてドライブ等を介して読み込まれるようにしても良い。

次に、システム制御部１３は、本実施形態において、読み出し手段、抜き出し手段、部分静止画像送信手段及び指定情報受信手段等の一例を構成している。そして、システム制御部１３は、ＣＰＵが、ＲＯＭや記憶部１２に記憶された各種プログラムを読み出し実行することにより、動画配信サーバ１の各部を制御するとともに、動画配信用プログラムを読み出し実行することにより、上述した各手段等として機能するようになっている。

具体的に、システム制御部１３は、読み出し手段として、携帯用再生端末２から要求された映像データを記憶部１２から読み出して、当該データを構成するフレーム画像にアクセスし、抜き出し手段として、読み出された映像データに対応するカメラワークデータに規定されている範囲で、読み出された映像データを構成する各フレーム画像から一部の画像を抜き出し、部分静止画像送信手段として、抜き出された画像を、フレームデータ（部分静止画像の一例）として携帯用再生端末２に送信するようになっている。

また、指定情報受信手段としてのシステム制御部１３は、携帯用再生端末２から、パンニング要求、ズームイン要求、ズームアウト要求または戻し要求（何れも、指定情報の一例）を受信するようになっている。これらの要求を受信したシステム制御部１３は、抜き出し手段として、カメラワークデータに代えて、受信した要求に設定されている情報に基づいて、各フレーム画像から一部の画像を抜き出すようになっている。

なお、これらの処理についての詳細は、後述する。

［１．２ 携帯用再生端末の構成及び機能］
次に、携帯用再生端末２の構成及び機能について説明する。

図１に示すように、携帯用再生端末２は、ユーザからの操作指示の入力を受け付け、その指示内容を指示信号としてシステム制御部２６に出力する入力手段の一例としての操作部２１（例えば、タッチスクリーン、操作ボタン等）と、文字や、映像データ等に対応する動画像等の情報を画面に表示する表示手段の一例としての表示部２２（例えば、液晶ディスプレイ、有機ＥＬディスプレイ等）と、スピーカ、増幅回路等を有し、記憶部２５に記憶された映像データ等に対応する音声等を生成してスピーカにより拡声する音声出力部２３と、インターネットＩＮに接続して動画配信サーバ１等との通信を制御する通信部２４と、例えば、各種プログラム及びデータ等を記憶する記憶部２５（例えば、フラッシュメモリ等）と、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるシステム制御部２６と、を備え、システム制御部２６と各部とはシステムバス２７を介して相互に接続されている。なお、携帯用再生端末２としては、例えば、動画再生可能な、所謂、携帯型のデジタルオーディオプレーヤーや、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ノートパソコン等を適用することができる。

操作部２１を構成するタッチスクリーンは、例えば、表示部２２を構成するディスプレイ画面（以下、単に「画面」ともいう）の前面に取り付けられており、ユーザが、手の指などによって押圧操作を行うことにより、画面上に表示されている項目を選択したり、表示物を画面内で移動させること等が可能となっている。また、携帯用再生端末２で映像データを再生している際に、タッチスクリーンに対して操作を行うことによって、デジタルカメラワークを変更することができるようになっている。なお、操作方法の詳細については、後述する。

また、通信部２４は、インターネットＩＮとの接続の際に、例えば、ＰＤＣ（Personal Digital Cellular）方式や、ＩＭＴ（International Mobile Telecommunication）方式、ＰＨＳ（Personal Handyphone System）方式等を用いて、移動体通信網を介して接続するようになっていても良いし、有線ＬＡＮ（Local Area Network）や、無線ＬＡＮ等を介して接続するようになっていても良い。

また、記憶部２５（または、ＲＯＭ）には、映像データを再生して動画像を画面に表示するための動画再生プログラム（端末用プログラムの一例）が記憶されている。なお、各種プログラムは、例えば、サーバ装置等から通信部２４を介して取得されるようにしても良いし、メモリカード等の記録媒体に記録されてカードスロット等を介して読み込まれるようにしても良いし、あるいは、携帯用再生端末２の出荷時点で予め記憶させておくようにしても良い。

次に、システム制御部２６は、本実施形態において、再生手段、部分静止画像受信手段及び指定情報送信手段の一例を構成している。そして、システム制御部２６は、ＣＰＵが、ＲＯＭや記憶部２５に記憶された各種プログラムを読み出し実行することにより、携帯用再生端末２の各部を制御するとともに、前記動画再生プログラムを読み出し実行することにより、上述した各手段等として機能するようになっている。

具体的に、システム制御部２６は、部分静止画像受信手段として、動画配信サーバ１から順次送信されてくるフレームデータを受信し、再生手段として、受信された各フレームデータの画像を、フレームレートが一定となるように再生し、画面に表示させるようになっている。

また、システム制御部２６は、指定情報送信手段として、映像データの再生中に、タッチスクリーンに対する各種操作（パンニング操作、ズームイン操作、ズームアウト操作、戻し操作等）を、操作部２１を介して検出すると、この操作に対応する要求を動画配信サーバ１に送信するようになっている。

［２．カメラワークデータ生成時におけるデジタルカメラワークの決定方法］
次に、カメラワークデータを生成する際におけるデジタルカメラワークの決定方法について、図２乃至４を用いて説明する。なお、図２は、カメラワークデータ生成時におけるデジタルカメラワークの決定方法を説明するための図である。また、図３は、パンニング時におけるＲＯＩの中心座標の遷移のグラフの一例を示すグラフである。また、図４は、ズーミング時におけるＲＯＩのサイズの変化率のグラフの一例を示すグラフである。

カメラワークデータは、図示せぬカメラワークデータ生成装置により生成される。このカメラワークデータ生成装置は、例えば、キーボード、マウス等の操作部と、液晶ディスプレイ等の表示部と、ネットワークに接続する通信部と、ＤＶＤドライブ等のドライブ部と、ハードディスク等の記憶部と、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるシステム制御部と、を備えている。なお、カメラワークデータ生成装置は、例えば、パーソナルコンピュータ等を適用することができる。

カメラワークデータ生成装置が、映像データを読み出して再生することによってディスプレイ画面に映像を表示すると、ユーザ操作によって、当該映像データを構成するフレームのうち何れかのフレームがキーフレームとして指定されるとともに、当該キーフレームにおけるＲＯＩが指定される。例えば、図２においては、フレームＦ１がキーフレームとして指定され、符号ＳＲＯＩで示した範囲がＲＯＩの範囲として指定される。また、図２において、符号Ｐ１及びＰ２は、夫々フレーム画像に含まれる人物の画像であり、人物Ｐ１は、映像データの再生に伴って人物Ｐ２に近寄っていく一方で、人物Ｐ２も、映像の再生に伴って、少しだけ人物Ｐ１に近寄っていく。

また、本実施形態におけるＲＯＩとは、フレーム画像上に設定される矩形の領域であり、特に、ユーザにより指定されたＲＯＩを、以下、「指定ＲＯＩ」と称する。

カメラワークデータ生成装置は、キーフレーム及び指定ＲＯＩの指定が行われると、キーフレームの画像のうち、指定ＲＯＩの範囲内から、デジタルカメラワークによって追跡する対象物（以下、「追跡対象物」という）の画像を、例えば、フレーム間差分法によって検出し、キーフレーム以降に再生される各フレームに対して、当該フレームにおけるＲＯＩの範囲に追跡対象物の画像が含まれるように、当該ＲＯＩを決定していく。なお、ここで決定されたＲＯＩを、以下、「推定ＲＯＩ」という。例えば、図２においては、指定ＲＯＩ（符号ＳＲＯＩ）の範囲に人物Ｐ１の画像が含まれているので、人物Ｐ１の含まれるような推定ＲＯＩの範囲を決定する。

なお、図２において、符号ＩＲＯＩ１は、キーフレームＦ１における推定ＲＯＩである。また、符号ｎ１乃至ｎ５は、キーフレームＦ１からフレームＦ２までの５フレーム夫々において決定された推定ＲＯＩの範囲の画像であり、ｎ１は、キーフレームＦ１における推定ＲＯＩに対応し、ｎ５は、フレームＦ２における推定ＲＯＩ（図２中、ＩＲＯＩ２）に対応している。このように、図２においては、キーフレームＦ１以降の各フレームにおいて、人物Ｐ１が含まれるように推定ＲＯＩが決定されることによって、推定ＲＯＩの中心座標が、フレーム上の左下から右上に、少しずつ移動していくとともに、人物Ｐ１の画像が小さくなっていくに従って、推定ＲＯＩのサイズも、次第に小さくなっている。

ここで、カメラワークデータ生成装置は、推定ＲＯＩの中心座標の変動抑制を行う。具体的に、カメラワークデータ生成装置は、バイラテラルフィルタを用いて、推定ＲＯＩの中心座標を補正する。バイラテラルフィルタは、例えば、注目する画素からの距離による重みに加えて、注目する画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行う。これによって、追跡対象物が激しく移動したり、実際のカメラ撮影時において手ぶれが発生すること等により、推定ＲＯＩの中心座標のゆれが激しい場合でも、当該推定ＲＯＩの中心座標をゆるやかに移動させることができる。

また、カメラワークデータ生成装置は、デジタルカメラワークを決定する際、放送カメラマンの撮影技術、すなわち、一般的な意味においてのカメラワークに基づいて、パンニング及びズーミングを実現する。

文献１（加藤大一郎、他2名、“スタジオ番組における放送カメラマンのカメラワークと視線の動きの分析”、テレビジョン学会誌、1999年、第53巻、第5号、p.749-757）においては、実際の放送カメラマンのカメラワークを分析した結果、パンニングには以下の特徴があることが報告されている。
（１−１）パンニング速度は非対象型の曲線で表され、減速時間が加速時間に比べて６割程度長い。
（１−２）加速時の最大パンニング速度は、カメラの動きが最大速度に到達する直前に生じ、減速時には、最大速度から減速に入った直後に生じる。

こうした特徴から、本実施形態においては、以下に説明するアルゴリズムでパンニング期間（ＲＯＩが移動を開始してから、その移動を停止させるまでの期間）における、各フレームのＲＯＩのサイズを決定する。パンニング期間は、各フレームにおける推定ＲＯＩの中心座標に対して、ゼロ交差法を用いて動作特徴点を抽出することによって特定することが可能である。ここで、動作特徴点とは、映像データの再生に伴って、推定ＲＯＩの中心座標が、静止している状態から移動している状態に遷移する時点、及び、移動している状態から静止する状態に遷移する時点、並びに、推定ＲＯＩの中心座標の移動方向が急激に変化する時点をいう（例えば、右方向から左方向へ変化）。実際には、これらの時点に対応するフレームの番号で特定される。

先ず、フレーム番号をｎとし、パンニング期間の開始時点に対応するフレーム番号をｎ_ｓとし、その終了時点に対応するフレーム番号をｎ_ｅとする。ここで、上記（１−１）の特徴に従い、加速時間はパンニング期間全体の６０％、減速時間はパンニング期間全体の４０％として、加速が終了する時点に対応するフレーム番号ｎ_ｔを、以下の式（１）により求める。

そして、Ｒ（ｎ）を、フレーム番号ｎのフレームにおけるＲＯＩの中心座標とすると、

となる。そして、上記（１−２）の特徴に従い、加速期間（ｎ_ｓ＜ｎ≦ｎ_ｔ）におけるパンニングの速度α_１及び減速期間（ｎ_ｔ＜ｎ≦ｎ_ｅ）におけるパンニングの加速度α_２を、夫々以下の式（３）及び（４）により求める。

そして、パンニング期間における各フレームに対するＲＯＩの中心座標Ｒ’（ｎ）を、以下の式（５）及び（６）により求める。

上記式により求められた、パンニング期間におけるＲＯＩの中心座標Ｒ’（ｎ）の遷移は、図３に示すグラフで表される。図３に示すように、フレーム番号ｎｓから、ＲＯＩの中心座標の移動速度が漸次上がっていき、フレーム番号ｎｔで最高速度となり、ここからＲＯＩの中心座標の移動速度が漸次下がっていって、フレーム番号ｎｅで速度０となる。

一方、上述した文献１においては、実際の放送カメラマンのカメラワークを分析した結果、ズーミングについては以下の特徴があることが報告されている。
（２−１）ズームインの場合における加速時間と減速時間の平均値は、加速時間がズーミング期間全体の４７％〜６０％であるのに対し、減速時間は４０％〜５３％である。一方、ズームアウトの場合における加速時間と減速時間の平均値は、加速時間がズーミング期間全体の３８％〜６３％であるのに対し、減速時間は３７％〜６１％である。
（２−２）被写体サイズの変化率の最大値は、ズームイン時には後半に、ズームアウト時には前半に発生するようにズーミングを行っている。

こうした特徴から、本実施形態においては、以下の式（７）及び（８）により、ズーミング期間（ＲＯＩのサイズの変化が開始されてから、その変化が停止するまでの期間）におけるＲＯＩのサイズの拡大率（ＲＯＩのサイズの変化が開始される時点におけるＲＯＩのサイズを１とした場合の拡大率）であるＺ（ｔ）を決定する。

上記式において、ｔは、時刻であり、ｔ_ｚｏｏｍは、ズームインもしくはズームアウトに要する時間、すなわち、ズーミング期間に相当する時間であり、Ｚ_ｍａｘは、ＲＯＩの最大拡大率である。また、Ｍ、Ｎは定数であり、ｔ_ｚｏｏｍ及びＺ_ｍａｘにより調整される。

上記式により求められた、ズーミング期間におけるＲＯＩのサイズの拡大率Ｚ（ｔ）から変化率を求めると、ズームインの場合は図４（ａ）に示すグラフにより表され、ズームアウトの場合は図４（ｂ）に示すグラフにより表される。ズームインの場合においては、図４（ａ）に示すように、ＲＯＩのサイズの変化率は、ズーミングの開始から漸次上がっていき、ズーミング期間の後半で最大となり、それから漸次下がっていき、ズーミング期間の終了時点で、変化率０となる。また、ズームアウトの場合においては、図４（ｂ）に示すように、ＲＯＩのサイズの変化率は、ズーミングの開始から漸次上がっていき、ズーミング期間の前半で最大となり、それから漸次下がっていき、ズーミング期間の終了時点で、変化率０となる。

そして、式（６）及び（７）により求められた拡大率Ｚ（ｔ）を、時刻ｔに対応するフレーム番号に対応させ、各フレーム番号におけるＲＯＩのサイズを、拡大率Ｚ（ｔ）と、ズーミング期間の開始時点におけるＲＯＩのサイズとに基づいて決定する。

カメラワークデータ生成装置は、このようにして決定された各フレームにおける推定ＲＯＩの中心座標及びサイズを、当該フレームの番号に対応付けて設定することによりカメラワークデータを生成する。

動画配信サーバ１は、映像データを構成する各フレームの画像から、このカメラワークデータに規定されているＲＯＩの範囲（中心座標及びサイズ）で画像を抜き出して携帯用再生端末２に送信し、携帯用再生端末２で再生する。これによって、デジタルカメラワークが適用された動画像が画面に表示される。例えば、図２の例では、フレームＦ１以降においては、人物Ｐ１をとらえるようなアングルの動画像が画面に表示される。

なお、デジタルカメラワークの決定方法は、上述方法に限られるものではない。例えば、ユーザがキーフレームを２つ指定するとともに、夫々のキーフレームにおいてＲＯＩを指定して、カメラワークデータ生成装置が、一方のキーフレームにおける指定ＲＯＩから、他方のキーフレームにおける指定ＲＯＩまで、ＲＯＩの範囲が少しずつ遷移するように、当該キーフレーム間における各フレームにおけるＲＯＩの範囲を決定しても良い。

［３．ユーザ操作によるデジタルカメラワークの変更方法］
次に、携帯用再生端末２のユーザ操作によるデジタルカメラワークの変更方法について、図５乃至８を用いて説明する。なお、図５乃至８は、夫々、タッチスクリーンに対する操作と、当該操作に対応するＲＯＩの範囲の変化と、を示す図である。

［３．１ パンニング・チルティング］
図５（ａ）は、パンニング操作を行う様子を示す図であり、同図において、符号ＳＣは、タッチスクリーン及びディスプレイ画面であり、符号ＲＨは、ユーザの右手である。また、図５（ｂ）は、パンニング操作に対応してＲＯＩの範囲が変化する様子を示す図であり、同図において、符号Ｆは、フレーム画像の全体の範囲を示し、符号ＮＦ１は、パンニング操作直前のＲＯＩの範囲を示し、符号ＮＦ２は、パンニング操作がされてから数フレーム後におけるＲＯＩの範囲を示す。

ユーザが、フレーム画像上において、抜き出し再生する画像の位置を変えたい場合、すなわち、フレーム画像におけるＲＯＩの中心座標を変えたい場合には、図５（ａ）に示すように、ユーザが、片手（符号ＲＨ）の指をタッチスクリーンに押し当てながら、任意の方向になぞるパンニング操作を行う。

これによって、図５（ｂ）に示すように、映像データが再生されるに従って、ＲＯＩが、符号ＮＦ１の位置から、指でなぞった方向とは逆方向に少しずつ移動し、指でなぞった長さに応じた符号ＮＦ２の位置で停止する。そうすることで、画面に表示されている動画像全体が、指でなぞった方向に移動する。その後、後述する戻し操作を行うまでは、ＲＯＩの中心座標及びサイズは、符号ＮＦ２の中心座標及びサイズで固定されたままとなる。

なお、上述した放送カメラマンの撮影技術に基づいて（図３、式（１）乃至（６））、符号ＮＦ１から符号ＮＦ２までＲＯＩが移動する際における、各フレームの中心座標が決定される。

［３．２ ズームイン］
図６（ａ）は、ズームイン操作を行う様子を示す図であり、同図において、ＬＨは、ユーザの左手である。また、図６（ｂ）は、ズームイン操作に対応してＲＯＩの範囲が変化する様子を示す図であり、同図において、符号ＮＦ３は、ズームイン操作直前のＲＯＩの範囲を示し、符号ＮＦ４は、ズームイン操作がされてから数フレーム後におけるＲＯＩの範囲を示す。なお、図６において、図５と同様の要素については、同様の符号を付してある。

ユーザが、フレーム画像上において、抜き出し再生する画像を拡大させたい場合、すなわち、フレーム画像におけるＲＯＩのサイズを縮小させたい場合には、図６（ａ）に示すように、ユーザが、両手（符号ＲＨ及びＬＨ）の指（または、片手の２本の指）をタッチスクリーンに押し当てながら、互いの距離が離れる方向になぞるズームイン操作を行う。

これによって、図６（ｂ）に示すように、映像データが再生されるに従って、ＲＯＩが、符号ＮＦ３のサイズから、少しずつ縮小し、指でなぞった長さに応じた符号ＮＦ４のサイズで、その縮小が停止する。そうすることで、画面に表示されている動画像全体が拡大する。その後、後述する戻し操作を行うまでは、ＲＯＩの中心座標及びサイズは、符号ＮＦ４の中心座標及びサイズで固定されたままとなる。

なお、上述した放送カメラマンの撮影技術に基づいて（図４（ｂ）、式（８））、符号ＮＦ３から符号ＮＦ４までＲＯＩのサイズが変化する際における、各フレームのサイズが決定される。

［３．３ ズームアウト］
図７（ａ）は、ズームアウト操作を行う様子を示す図である。また、図７（ｂ）は、ズームアウト操作に対応してＲＯＩの範囲が変化する様子を示す図であり、同図において、符号ＮＦ５は、ズームアウト操作直前のＲＯＩの範囲を示し、符号ＮＦ６は、ズームアウト操作がされてから数フレーム後におけるＲＯＩの範囲を示す。なお、図７において、図６と同様の要素については、同様の符号を付してある。

ユーザが、フレーム画像上において、抜き出し再生する画像を縮小させたい場合、すなわち、フレーム画像におけるＲＯＩのサイズを拡大させたい場合には、図７（ａ）に示すように、ユーザが、両手（符号ＲＨ及びＬＨ）の指（または、片手の２本の指）をタッチスクリーンに押し当てながら、互いの距離が近づくようになぞるズームアウト操作を行う。

これによって、図７（ｂ）に示すように、映像データが再生されるに従って、ＲＯＩが、符号ＮＦ５のサイズから、少しずつ拡大し、指でなぞった長さに応じた符号ＮＦ６のサイズで、その拡大が停止する。そうすることで、画面に表示されている動画像全体が縮小する。その後、後述する戻し操作を行うまでは、ＲＯＩの中心座標及びサイズは、符号ＮＦ４の中心座標及びサイズで固定されたままとなる。

なお、上述した放送カメラマンの撮影技術に基づいて（図４（ａ）、式（７））、符号ＮＦ５から符号ＮＦ６までＲＯＩのサイズが変化する際における、各フレームのサイズが決定される。

［３．４ カメラワークデータに基づくデジタルカメラワークへの戻し］
図８（ａ）は、戻し操作を行う様子を示す図である。また、図８（ｂ）は、戻し操作に対応してＲＯＩの範囲が変化する様子を示す図であり、同図において、符号ＮＦ７は、戻し操作直前のＲＯＩの範囲を示し、符号ＮＦ８は、戻し操作がされてから数フレーム後におけるＲＯＩの範囲を示す。なお、図８において、図６と同様の要素については、同様の符号を付してある。

ユーザが、上述したパンニング操作、ズームイン操作またはズームアウトを操作を行って、ユーザ指定のデジタルカメラワークで動画再生中に、元のデジタルカメラワークに戻したい場合、すなわち、現在のＲＯＩの範囲をデジタルカメラワークに規定されているＲＯＩの範囲に戻したい場合には、図８（ａ）に示すように、ユーザが、片手の指でタッチスクリーンにタップする（タッチスクリーンを１回軽くたたく）戻し操作を行う。

これによって、図８（ｂ）に示すように、映像データが再生されるに従って、ＲＯＩが、符号ＮＦ７の位置及びサイズから、少しずつ、カメラワークデータで規定された符号ＮＦ８で示す位置及びサイズに戻っていく。その後は、カメラワークデータに基づいてデジタルカメラワークが決定される。

なお、上述した放送カメラマンの撮影技術に基づいて（図３、図４、式（１）乃至（８））、符号ＮＦ７から符号ＮＦ８までＲＯＩの中心座標及びサイズが変化する際における、各フレームの中心座標及びサイズが決定される。

［４．動画配信システムの動作］
次に、動画配信システムＳの動作について説明する。

［４．１ 携帯用再生端末の処理］
はじめに、携帯用再生端末２の処理について、図９を用いて説明する。なお、図９は、本実施形態に係る携帯用再生端末２１におけるシステム制御部２６の処理の一例を示すフローチャートである。

先ず、ユーザが、操作部２１を操作することによって、携帯用再生端末２に対して動画再生プログラムの起動を指示すると、携帯用再生端末２のシステム制御部２６は、記憶部２５に記憶された動画再生プログラムを起動し、これによって、図９に示す処理が開始される。

次いで、ユーザが、操作部２１を操作することによって、再生する映像を選択すると（ステップＳ１）、システム制御部２６は、選択された映像の識別情報を含む再生要求を動画配信サーバ１に送信する。

次いで、システム制御部２６は、動画配信サーバ１からフレームデータが送信されてきたときには、当該フレームデータを受信して、記憶部２５またはＲＡＭに蓄積する（ステップＳ３）。

次いで、システム制御部２６は、記憶部２５またはＲＡＭに蓄積されたフレームデータを、フレーム番号順に再生し、表示部２２にフレームデータに対応する画像を表示させる（ステップＳ４）。このとき、システム制御部２６は、フレームレートが所定のレートとなるように再生する。また、システム制御部２６は、フレームデータの画像のサイズ（縦の画素数及び横の画素数）にかかわらず、一定のサイズで画像を再生する。つまり、システム制御部２６は、所定の画像サイズとなるように、フレームデータの画像を拡大または縮小して再生するのである。

次いで、システム制御部２６は、動画再生プログラムを終了させるか否かを判定し（ステップＳ５）、動画再生プログラムを終了させない場合には（ステップＳ５：ＮＯ）、操作部２１を介してユーザ操作を受け付ける（ステップＳ６）。

次いで、システム制御部２６は、ユーザの操作の内容を判別する（ステップＳ７）。ここで、システム制御部２６は、ユーザ操作がパンニング操作である場合には（ステップＳ７：パンニング操作）、当該操作に対応するＲＯＩの移動先の中心座標を設定したパンニング要求を、動画配信サーバ１に送信した後（ステップＳ８）、ステップＳ３に移行する。

また、システム制御部２６は、ユーザ操作がズームイン操作またはズームアウト操作である場合には（ステップＳ７：ズーミング操作）、当該操作に対応するＲＯＩのサイズ変更後のサイズを設定したズーミング要求を、動画配信サーバ１に送信した後（ステップＳ９）、ステップＳ３に移行する。

また、システム制御部２６は、ユーザ操作が戻し操作である場合には（ステップＳ７：戻し操作）、戻し要求を動画配信サーバ１に送信した後（ステップＳ１０）、ステップＳ３に移行する。

一方、システム制御部２６は、ユーザ操作が、その他の操作である場合には（ステップＳ７：その他）、ステップＳ３に移行する。

こうして、システム制御部２６は、ステップＳ３乃至Ｓ１０の処理を繰り返し実行し、動画再生プログラムを終了させると判定すると（ステップＳ５：ＹＥＳ）、動画再生プログラムを終了させる。

［４．２ 動画配信サーバの処理］
次に、動画配信サーバ１の処理について、図１０を用いて説明する。なお、図１０は、本実施形態に係る動画配信サーバ１におけるシステム制御部１３の処理の一例を示すフローチャートである。

図１０に示すように、動画配信サーバ１のシステム制御部１３は、携帯用再生端末２から再生要求を受信すると（ステップＳ２１）、当該要求に対応する映像データとカメラワークデータとを特定する（ステップＳ２２）。

次いで、システム制御部１３は、再生フレーム番号ｎを０に設定し（ステップＳ２３）、カメラワークフラグを「データ設定」に設定する（ステップＳ２４）。なお、このカメラワークデータには、「データ設定」または「ユーザ指定」の何れかが設定され、「データ設定」は、カメラワークデータに基づいて再生中であることを示し、「ユーザ指定」は、ユーザ指定のデジタルカメラワークで再生中であることを示している。

次いで、システム制御部１３は、カメラワークフラグが「データ設定」であるか否かを判定する（ステップＳ２５）。すなわち、システム制御部１３は、カメラワークデータに基づいてデジタルカメラワークを決定するか否かを判定するのである。

ここで、システム制御部１３は、カメラワークフラグが「データ設定」である、すなわち、カメラワークデータに基づいて再生中である場合には（ステップＳ２５：ＹＥＳ）、携帯用再生端末２からパンニング要求を受信したか否かを判定する（ステップＳ２６）。

ここで、システム制御部１３は、パンニング要求を受信した場合には（ステップＳ２６：ＹＥＳ）、後述するパンニング・チルティング処理を実行して（ステップＳ２７）、ステップＳ３６に移行する。

一方、システム制御部１３は、パンニング要求を受信していない場合には（ステップＳ２６：ＮＯ）、次いで、携帯用再生端末２からズーミング要求を受信したか否かを判定する（ステップＳ２８）。

ここで、システム制御部１３は、ズーミング要求を受信した場合には（ステップＳ２８：ＹＥＳ）、後述するズーミング処理を実行して（ステップＳ２９）、ステップＳ３６に移行する。

一方、システム制御部１３は、ズーミング要求を受信していない場合には（ステップＳ２８：ＮＯ）、フレーム番号ｎに対応してカメラワークに規定されているＲＯＩの範囲で、送信するフレームデータとなる画像をフレームｎの画像から抜き出す（ステップＳ３０）。このとき、システム制御部１３は、フレーム番号ｎに対応するＲＯＩの範囲がカメラワークデータに規定されていない場合には、フレームｎの画像そのものを、送信するフレームデータとする。システム制御部１３は、この処理を終えると、ステップＳ３４に移行する。

他方、システム制御部１３は、ステップＳ２５の処理において、カメラワークフラグが「データ設定」ではない、すなわち、カメラワークデータが「ユーザ指定」、すなわち、ユーザ指定のデジタルカメラワークで再生中である場合には（ステップＳ２５：ＮＯ）、次いで、携帯用再生端末２から戻し要求を受信したか否かを判定する（ステップＳ３１）。

ここで、システム制御部１３は、戻し要求を受信した場合には（ステップＳ３１：ＹＥＳ）、後述する戻し処理を実行して（ステップＳ３２）、ステップＳ３６に移行する。

一方、システム制御部１３は、戻し要求を受信していない場合には（ステップＳ３１：ＮＯ）、ユーザに指定されたＲＯＩの範囲で、送信するフレームデータとなる画像をフレームｎの画像から抜き出す（ステップＳ３３）。システム制御部１３は、この処理を終えると、ステップＳ３４に移行する。

システム制御部１３は、ステップＳ３０またはＳ３３の処理を終えると、夫々の処理で抜き出した画像をフレームデータとして、携帯用再生端末２に送信する（ステップＳ３４）。

次いで、システム制御部１３は、再生フレーム番号ｎに１加算して（ステップＳ３５）、ステップＳ３６に移行する。

システム制御部１３は、ステップＳ２７、Ｓ２９、Ｓ３２またはＳ３５の処理を終えると、処理を終了させるか否かを判定し（ステップＳ３６）、終了させない場合には（ステップＳ３６：ＮＯ）、ステップＳ２５に移行する。つまり、システム制御部１３は、処理を継続させる間は、ステップＳ２５乃至Ｓ３６の処理を繰り返し実行するのである。そして、システム制御部１３は、処理を終了させると判定すると（ステップＳ３６：ＹＥＳ）、当該処理を終了させる。

［４．３ パンニング・チルティング処理］
次に、動画配信サーバ１が、パンニング要求を受信した際におけるパンニング・チルティング処理について、図１１を用いて説明する。なお、図１１は、本実施形態に係る動画配信サーバ１におけるシステム制御部１３のパンニング・チルティング処理の一例を示すフローチャートである。

図１１に示すように、システム制御部１３は、先ず、パンニングフレーム数ｍを設定する（ステップ４１）。ここで、パンニングフレーム数は、パンニング・チルティングを実現する際に、ＲＯＩの移動を開始させてから、その移動を停止させるまでのフレーム数をいい、このフレーム数の設定方法としては、例えば、予め定められた値を設定しても良いし、現在のフレームｎにおけるＲＯＩの中心座標と、パンニング要求に設定されたユーザ指定によるＲＯＩの中心座標との差に基づいて設定しても良い。

次いで、システム制御部１３は、加速終了点を計算する（ステップＳ４２）。具体的に、システム制御部１３は、前記式（１）を用いて、フレーム番号ｎから開始され、フレーム番号ｎ＋ｍで終了するパンニング期間内における加速終了点に対応するフレーム番号を計算する。

次いで、システム制御部１３は、加速期間におけるパンニングの速度α_１及び減速期間におけるパンニングの加速度α_２を、前記式（２）乃至（４）を用いて計算する（ステップＳ４３）。このとき、パンニング期間の開始時点に対応するフレームｎ_ｓのＲＯＩの中心座標は、フレームｎにおけるＲＯＩの中心座標であり、パンニング期間の終了時点に対応するフレームｎ_ｅのＲＯＩの中心座標は、ユーザに指定された座標（フレームｎ＋ｍにおける中心座標）である。

次いで、システム制御部１３は、パンニング期間における各フレームのＲＯＩの中心座標Ｒ’（ｎ）を、前記式（５）及び（６）を用いて計算する（ステップＳ４４）。

次いで、システム制御部１３は、フレーム番号ｎにおけるＲＯＩのサイズをカメラワークデータから読み出し、当該サイズを、フレームｎ乃至ｎ＋ｍ夫々におけるＲＯＩのサイズとして設定する（ステップＳ４５）。

次いで、システム制御部１３は、ステップＳ４４及び４５で決定されたＲＯＩの範囲で、フレームｎの画像から、送信する画像を抜き出し（ステップＳ４６）、この抜き出した画像をフレームデータとして携帯用再生端末２に送信する（ステップＳ４７）。

次いで、システム制御部１３は、パンニングフレーム数ｍから１減算するとともに、再生フレーム番号ｎに１を加算すると（ステップＳ４８）、パンニングフレーム数ｍが０であるか否かを判定する（ステップＳ４９）。

ここで、システム制御部１３は、パンニングフレーム数ｍが０ではない場合には（ステップＳ４９：ＮＯ）、ステップＳ４６に移行する。つまり、システム制御部１３は、パンニングフレーム数ｍが０になるまでは、ステップＳ４６乃至Ｓ４９の処理を繰り返し実行するのである。そして、システム制御部１３は、パンニングフレーム数ｍが０になると（ステップＳ４９：ＹＥＳ）、カメラワークフラグに「ユーザ指定」を設定して（ステップＳ５０）、パンニング・チルティング処理を終了させる。

［４．４ ズーミング処理］
次に、動画配信サーバ１が、ズームイン要求またはズームアウト要求を受信した際におけるズーミング処理について、図１２を用いて説明する。なお、図１２は、本実施形態に係る動画配信サーバ１におけるシステム制御部１３のズーミング処理の一例を示すフローチャートである。

図１２に示すように、システム制御部１３は、先ず、ズーミングフレーム数ｍを設定する（ステップ６１）。ここで、ズーミングフレーム数は、ズーミングを実現する際に、ＲＯＩのサイズの拡大または縮小を開始させてから、その拡大または縮小を停止させるまでのフレーム数をいい、このフレーム数の設定方法としては、例えば、予め定められた値を設定しても良いし、現在のフレームｎにおけるＲＯＩのサイズと、ズームイン要求またはズームアウト要求に設定されたユーザ指定によるＲＯＩのサイズとの差に基づいて設定しても良い。

次いで、システム制御部１３は、フレーム番号ｎにおけるＲＯＩの中心座標をカメラワークデータから読み出し、当該中心座標を、フレームｎ乃至ｎ＋ｍ夫々におけるＲＯＩの中心座標として設定する（ステップＳ６２）。

次いで、システム制御部１３は、フレーム番号ｎから開始され、フレーム番号ｎ＋ｍで終了するズーミング期間における各フレームのＲＯＩの拡大率を、前記式（７）または（８）を用いて計算する（ステップＳ６３）。具体的に、システム制御部１３は、ユーザ指定のサイズ（フレームｎ＋ｍにおけるＲＯＩのサイズ）がフレームｎにおけるＲＯＩのサイズよりも大きい場合には、前記式（７）を用いて計算し、ユーザ指定のサイズがフレームｎにおけるＲＯＩのサイズよりも小さい場合には、前記式（８）を用いて計算する。

次いで、システム制御部１３は、ステップＳ６３における計算結果に基づいて、ズーミング期間における各フレームのＲＯＩのサイズを計算する（ステップＳ６４）。

次いで、システム制御部１３は、ステップＳ６５乃至Ｓ６９の処理を実行して、ズーミング処理を終了させる。なお、ステップＳ６５乃至Ｓ６９の処理は、図１１に示すステップＳ４６乃至Ｓ５０の処理と同様である。

［４．５ 戻し処理］
次に、動画配信サーバ１が、戻し要求を受信した際における戻し処理について、図１３を用いて説明する。なお、図１３は、本実施形態に係る動画配信サーバ１におけるシステム制御部１３の戻し処理の一例を示すフローチャートである。

図１２に示すように、システム制御部１３は、先ず、戻しフレーム数ｍを設定する（ステップ８１）。ここで、戻しフレーム数は、ＲＯＩの範囲の戻しを開始させてから、その戻しを停止させるまでのフレーム数をいい、このフレーム数の設定方法としては、例えば、予め定められた値を設定される。

次いで、システム制御部１３は、加速終了点を計算する（ステップＳ８２）。具体的に、システム制御部１３は、前記式（１）を用いて、フレーム番号ｎから開始され、フレーム番号ｎ＋ｍで終了する戻し期間内における加速終了点に対応するフレーム番号を計算する。

次いで、システム制御部１３は、加速期間におけるパンニングの速度α_１及び減速期間におけるパンニングの加速度α_２を、前記式（２）乃至（４）を用いて計算する（ステップＳ８３）。このとき、戻し期間の開始時点に対応するフレームｎ_ｓのＲＯＩの中心座標は、フレームｎにおけるＲＯＩの中心座標（ユーザ指定の中心座標）であり、戻し期間の終了時点に対応するフレームｎ_eのＲＯＩの中心座標は、フレーム番号ｎ＋ｍに対応してカメラワークデータに設定されているＲＯＩの中心座標である。

次いで、システム制御部１３は、戻し期間における各フレームのＲＯＩの中心座標Ｒ’（ｎ）を、前記式（５）及び（６）を用いて計算する（ステップＳ８４）。

次いで、システム制御部１３は、戻し期間における各フレームのＲＯＩの拡大率を、前記式（７）または（８）を用いて計算する（ステップＳ８５）。具体的に、システム制御部１３は、フレーム番号ｎ＋ｍに対応してカメラワークデータに設定されているＲＯＩのサイズがフレームｎにおけるＲＯＩのサイズ（ユーザ指定のサイズ）よりも大きい場合には、前記式（７）を用いて計算し、フレーム番号ｎ＋ｍに対応してカメラワークデータに設定されているＲＯＩのサイズがフレームｎにおけるＲＯＩのサイズよりも小さい場合には、前記式（８）を用いて計算する。

次いで、システム制御部１３は、ステップＳ８５における計算結果に基づいて、戻し期間における各フレームのＲＯＩのサイズを計算する（ステップＳ８６）。

次いで、システム制御部１３は、ステップＳ８７乃至Ｓ９０の処理を実行する。なお、ステップＳ８７乃至Ｓ９０の処理は、図１１に示すステップＳ４６乃至Ｓ４９の処理と同様である。

次いで、システム制御部１３は、カメラワークフラグに「データ設定」を設定して（ステップＳ９１）、戻し処理を終了させる。

以上説明したように、本実施形態によれば、動画配信サーバ１のシステム制御部１３が、映像データを記憶部１２から読み出し、読み出された映像データを構成する複数のフレーム画像夫々から一部の画像を抜き出す領域であるＲＯＩの範囲を各当該フレーム画像に対応付けて規定するカメラワークデータに基づいて、当該各フレーム画像から一部の画像を夫々抜き出し、抜き出された一部の画像をフレームデータとしてを携帯用再生端末２に送信する。そして、携帯用再生端末２のシステム制御部２６が、動画配信サーバ１から送信されたフレームデータを受信して、当該受信されたフレームデータを順次再生することによって動画再生し、タッチスクリーンを用いてパンニング操作、ズームイン操作またはズームアウト操作が行われた場合には、ユーザに指定されたＲＯＩの範囲が設定された要求を動画配信サーバ１に送信する。そして、動画配信サーバ１のシステム制御部１３が、この要求を受信すると、カメラワークデータに代えて当該要求に設定されたＲＯＩの範囲に基づいて、各フレーム画像から一部の画像を抜き出すようになっている。

従って、通常は、カメラワークデータによって、ＲＯＩの範囲が決定されるが、視聴者により、ＲＯＩの範囲が指定された場合には、この指定されたＲＯＩの範囲で画像を抜き出す範囲が決定されるので、カメラワークデータによって予め規定されたデジタルカメラワークを適用して、一部の領域の画像を抜き出し再生することができるとともに、視聴者により指定されたデジタルカメラワークを適用することで、視聴者の望んだ範囲の画像を抜き出して再生することができる。

また、また動画配信サーバ１のシステム制御部１３は、携帯用再生端末２からパンニング要求、ズームイン要求またはズームアウト要求を受信した場合には、現在のフレーム画像におけるＲＯＩの範囲から当該要求に設定されたＲＯＩの範囲まで、各フレーム画像から一部の画像を抜き出す毎に、ＲＯＩの範囲を漸次変化させながら、当該各フレーム画像から当該一部の画像を抜き出すようになっている。

従って、視聴者により、ＲＯＩの範囲が指定された場合には、当該指定されたＲＯＩの範囲まで、各フレーム画像から一部の画像を抜き出す毎に、ＲＯＩの範囲が漸次変化するので、映像データの再生に沿って、カメラワークデータに規定されたＲＯＩの範囲から視聴者に指定されたＲＯＩの範囲まで、ＲＯＩの範囲が次第に変化することとなり、ＲＯＩの範囲が突然変わることを抑制することができ、視聴者にとって視聴しやすいように再生を行うことができる。

また、動画配信サーバ１のシステム制御部１３は、ＲＯＩの範囲を変化させる場合に、その変化する速度を、式（１）乃至（６）、式（７）または式（８）に基づいて、漸次変化させるようになっている。

従って、視聴者により、ＲＯＩの範囲が指定された場合には、当該指定されたＲＯＩの範囲まで、各フレーム画像から一部の画像を抜き出す毎に、ＲＯＩの範囲が漸次変化するとともに、ＲＯＩの範囲の変化する速度が漸次上がりながら当該範囲の変化が開始され、且つ、ＲＯＩの範囲の変化する速度が漸次下がりながら当該範囲の変化が停止されるので、ＲＯＩの範囲が急激に変化することを抑制することができ、視聴者にとってより視聴しやすいように再生を行うことができる。

なお、本実施形態においては、端末装置に携帯用の動画再生端末を適用していたが、これに限られるものではなく、例えば、据置型のパーソナルコンピュータや、ＳＴＢ（Set Top Box）等に適用しても良い。

また、本実施形態においては、動画配信サーバ１のシステム制御部１３は、前記式（１）乃至（８）を用いるアルゴリズムによって、パンニング及びズーミングを行っていたが、他のアルゴリズムでパンニング及びズーミングを行っても良い。また、視聴者による映像の見やすさを考慮しないのであれば、各フレームにおけるＲＯＩの範囲の変化速度を漸次変化させる必要はなく、例えば、単純な線形補間で当該各フレームにおけるＲＯＩの範囲を決定しても良い。また、例えば、ＲＯＩの範囲をカメラワークデータに規定された範囲から、ユーザ指定の範囲に、瞬時に切り替えても良い。

また、本実施形態においては、動画像再生システムに、動画配信サーバ１と携帯用再生端末２とにより構成される動画配信システムを適用していたが、これに限られるものではなく、例えば、携帯用再生端末単体を適用させることができる。

この場合において、携帯用再生端末のハードウェア構成は、図１に示す携帯用再生端末２の構成と同様で良い。また、映像データ及びカメラワークデータは、インターネット等からダウンロードして、携帯用再生端末の記憶部（記憶手段の一例）に予め記憶させておく。

また、このとき、動画再生プログラムは、動画像再生処理プログラムの一例を構成し、携帯用再生端末のシステム制御部は、再生手段、部分静止画像受信手段、及び指定情報送信手段に加えて、読み出し手段、抜き出し手段の一例を構成する。

また、この場合における携帯用再生端末のシステム制御部における処理は、基本的に、図９乃至図１３に示した動画配信サーバ１及び携帯用再生端末２の処理と同様である。このとき、再生要求や、フレームデータ、パンニング要求、ズーミング要求及び戻し要求などの送受信は行われないことは無論である。そして、携帯用再生端末のシステム制御部自身が、記憶部に記憶されたカメラワークデータに基づいて、記憶部から映像データを読み出して抜き出し再生を行ったり、パンニング操作、ズームイン操作、ズームアウト操作及び戻し操作に対応して、ユーザ指定によるデジタルカメラワークを決定し、この決定されたデジタルカメラワークに基づいて抜き出し再生を行う。

本実施形態に係る動画配信システムＳの概要構成の一例を示す図である。 カメラワークデータ生成時におけるデジタルカメラワークの決定方法を説明するための図である。 パンニング時におけるＲＯＩの中心座標の遷移のグラフの一例を示すグラフである。 ズーミング時におけるＲＯＩのサイズの変化率のグラフの一例を示すグラフであり、（ａ）は、ズームインの場合におけるグラフであり、（ｂ）は、ズームインの場合におけるグラフである。 （ａ）は、パンニング操作を行う様子を示す図であり、（ｂ）は、パンニング操作に対応してＲＯＩの範囲が変化する様子を示す図である。 （ａ）は、ズームイン操作を行う様子を示す図であり、（ｂ）は、ズームイン操作に対応してＲＯＩの範囲が変化する様子を示す図である。 （ａ）は、ズームアウト操作を行う様子を示す図であり、（ｂ）は、ズームアウト操作に対応してＲＯＩの範囲が変化する様子を示す図である。 （ａ）は、戻し操作を行う様子を示す図であり、図８（ｂ）は、戻し操作に対応してＲＯＩの範囲が変化する様子を示す図である。 本実施形態に係る携帯用再生端末２１におけるシステム制御部２６の処理の一例を示すフローチャートである。 本実施形態に係る動画配信サーバ１におけるシステム制御部１３の処理の一例を示すフローチャートである。 本実施形態に係る動画配信サーバ１におけるシステム制御部１３のパンニング・チルティング処理の一例を示すフローチャートである。 本実施形態に係る動画配信サーバ１におけるシステム制御部１３のズーミング処理の一例を示すフローチャートである。 本実施形態に係る動画配信サーバ１におけるシステム制御部１３の戻し処理の一例を示すフローチャートである。

符号の説明

１ 動画配信サーバ
１１ 通信部
１２ 記憶部
１３ システム制御部
１４ システムバス
２ 携帯用再生端末
２１ 操作部
２２ 表示部
２３ 音声出力部
２４ 通信部
２５ 記憶部
２６ システム制御部
２７ システムバス
Ｓ 動画配信システム

Claims (10)

1. 動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生する動画像再生システムであって、
   前記動画像を記憶手段から読み出す読み出し手段と、
   前記読み出された動画像を構成する複数の静止画像夫々から前記部分静止画像を抜き出す範囲を各当該静止画像に対応付けて規定する再生制御情報に基づいて、当該各静止画像から前記部分静止画像を夫々抜き出す抜き出し手段と、
   夫々抜き出された前記部分静止画像を順次再生することによって、新たな動画像として再生する再生手段と、
   各前記静止画像から前記部分静止画像を抜き出す範囲を指定するために用いられる入力手段と、を備え、
   前記抜き出し手段は、前記入力手段を用いて前記範囲が指定された場合には、前記再生制御情報に代えて当該指定に基づいて、各前記静止画像から前記部分静止画像を抜き出すことを特徴とする動画像再生システム。
2. 請求項１に記載の動画像再生システムにおいて、
   前記抜き出し手段は、前記入力手段を用いて前記範囲が指定された場合には、当該指定された範囲まで、各前記静止画像から当該部分静止画像を抜き出す毎に、当該抜き出す範囲を漸次変化させながら、当該各静止画像から当該部分静止画像を抜き出すことを特徴とする動画像再生システム。
3. 請求項２に記載の動画像再生システムにおいて、
   前記抜き出し手段は、各前記静止画像から前記部分静止画像を抜き出す範囲を変化させる場合に、その変化する速度を漸次変化させることを特徴とする動画像再生システム。
4. 請求項１に記載の動画像再生システムにおいて、
   当該動画像再生システムは、端末装置と、当該端末装置がネットワークを介して接続可能なサーバ装置と、を含んで構成され、
   前記端末装置は、
   前記再生手段と、
   前記入力手段と、
   前記サーバ装置から前記部分静止画像を受信する部分静止画像受信手段と、
   前記入力手段を用いて指定された前記範囲を示す指定情報を前記サーバ装置に送信する指定情報送信手段と、を備え、
   前記再生手段は、前記受信された部分静止画像を順次再生し、
   前記サーバ装置は、
   前記読み出し手段と、
   前記抜き出し手段と、
   前記抜き出された部分静止画像を前記端末装置に送信する部分静止画像送信手段と、
   前記端末装置から前記指定情報を受信する指定情報受信手段と、を備え、
   前記抜き出し手段は、前記指定情報を受信した場合には、前記再生制御情報に代えて当該指定情報に基づいて、各前記静止画像から前記部分静止画像を抜き出すことを特徴とする動画像再生システム。
5. 請求項４に記載の動画像再生システムに含まれるサーバ装置であって、
   前記読み出し手段、前記抜き出し手段、前記部分静止画像送信手段及び前記指定情報受信手段を備えることを特徴とするサーバ装置。
6. 請求項４に記載の動画像再生システムに含まれる端末装置であって、
   前記再生手段、前記入力手段、前記部分静止画像受信手段及び前記指定情報送信手段を備えることを特徴とする端末装置。
7. コンピュータを、請求項１乃至４の何れか１項に記載の動画像再生システムとして機能させることを特徴とする動画像再生処理プログラム。
8. コンピュータを、請求項５に記載のサーバ装置として機能させることを特徴とするサーバ装置用プログラム。
9. コンピュータを、請求項６に記載の端末装置として機能させることを特徴とする端末装置用プログラム。
10. 動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生する動画像再生方法であって、
    読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、
    抜き出し手段が、前記読み出された動画像を構成する複数の静止画像夫々から前記部分静止画像を抜き出す範囲を各当該静止画像に対応付けて規定する再生制御情報に基づいて、当該各静止画像から前記部分静止画像を夫々抜き出す抜き出し工程と、
    再生手段が、夫々抜き出された前記部分静止画像を順次再生することによって、新たな動画像として再生する第１再生工程と、
    各前記静止画像から前記部分静止画像を抜き出す範囲が入力手段を用いて指定された場合に、前記再生手段が、前記再生制御情報に代えて当該指定に基づいて、各前記静止画像から前記部分静止画像を抜き出す第２再生工程と、
    を備えることを特徴とする動画像再生方法。

Images