JP2012156808A - 画像伝送システムおよび画像再生装置 - Google Patents

Abstract

【課題】画像データの送受信が完了していない場合であっても、画像データのダイジェスト再生を実行することができ、通常再生を実行しようとする場合でも、画像データにおける重要度の高いシーンは欠落することなく再生することができる画像伝送システムを提供する。
【解決手段】本発明の画像伝送システムは送信装置と再生装置とから構成され、送信装置は、画像データを構成する複数のシーンのうち、当該画像データのダイジェストを構成する優先シーンを抽出するダイジェスト抽出部と、画像データを複数のシーンに分割して送信する送信部とを備え、送信部は、非優先シーンよりも優先シーンを優先して送信し、再生装置は、複数のシーンに分割された画像データを受信する受信部と、複数のシーンに分割された画像データを再生する再生部とを備え、再生部は、画像データのダイジェストを再生する場合には、優先シーンを再生することを特徴とする。
【選択図】図２

Description

本発明は、画像データを伝送する画像伝送システム、および当該画像データを再生する画像再生装置に関し、より特定的には、画像データを分割して伝送する画像伝送システム、および分割して受信した画像データを再生する画像再生装置に関する。

近年、サーバに格納されている画像を、例えば、インターネットを介して、ポータブルプレーヤーにダウンロードして、当該ポータブルプレーヤーに格納された画像をユーザが視聴する場合がある。同様に、ビデオカメラによって撮影した画像およびテレビジョン放送を記録した画像を、ポータブルプレーヤーに転送して、当該ポータブルプレーヤーに格納された画像をユーザが視聴する場合もある。

ここで、ビデオカメラによって撮影された画像について、例えば、ユーザの操作および手振れなどに起因して、当該画像のシーン毎に、当該画像における重要度を算出する方法が開示されている（例えば、特許文献１参照）。

また、従来、テレビジョン放送を記録した画像について、音声の変化を検出することによって重要なシーンを抽出し、ダイジェスト（ハイライト）を生成する技術が開示されている。さらに、コンテンツと、当該コンテンツのダイジェストとを提供する方法が開示されている（例えば、特許文献２参照）。

特開２００９−０８８８３６号公報 特開２００９−２４７０３３号公報

しかしながら、サーバに格納されている画像を、インターネットを介して、ポータブルプレーヤーにダウンロードする際には、当該画像のデータ量が大きいため、膨大な時間を必要とする場合がある。また、ビデオカメラによって撮影された画像、およびテレビジョン放送を記録した画像を、ポータブルプレーヤーに転送する際にも、同様に、膨大な時間を必要とする場合がある。

この場合、転送処理が完了していないにも拘わらず、ユーザが転送処理を中断させてしまったり、通信障害などが発生して転送処理が中断してしまったりする。その結果、サーバに格納されている画像、ビデオカメラによって撮影された画像、およびテレビジョン放送を記録した画像のうち、後半部分については、ポータブルプレーヤーに転送されず、ユーザは、後半部分に重要なシーンがあったとしても視聴することができない。

また、コンテンツと、当該コンテンツのダイジェストとを提供するサービスにおいて、ユーザは、先ず、ポータブルプレーヤーにコンテンツのダイジェストをダウンロードして、大まかにコンテンツ内容を確認した後に、コンテンツ全体をダウンロードする。その結果、ユーザは、コンテンツの後半部分に重要なシーンがあった場合、ダイジェストを視聴することによって確認できるものの、その後、コンテンツ全体を最初から最後まで再ダウンロードする必要があり、手間がかかってしまう。

それ故に、本発明の目的は、画像データの送受信が完了していない場合であっても、画像データのダイジェスト再生を実行することができ、通常再生を実行しようとする場合でも、画像データにおける重要度の高いシーンは欠落することなく再生することができ、さらに、通信時間の短縮、およびネットワークへの負荷を低減させることができる画像伝送システムおよび画像再生装置を提供することである。

上記目的を達成するために、本発明の画像伝送システムは、画像データを送信する送信装置と、当該画像データを受信して再生する再生装置とで構成される画像伝送システムであって、送信装置は、画像データを構成する複数のシーンのうち、当該画像データのダイジェストを構成する優先シーンを抽出するダイジェスト抽出部と、画像データを複数のシーンに分割して送信する送信部とを備え、送信部は、複数のシーンのうち優先シーン以外である非優先シーンよりも、優先シーンを優先して送信し、再生装置は、送信装置から送信される、複数のシーンに分割された画像データを受信する受信部と、受信部によって受信された複数のシーンに分割された画像データを再生する再生部とを備え、再生部は、画像データのダイジェストを再生する場合には、優先シーンを再生することを特徴とする。

好ましい再生部は、受信部が、複数のシーンのうちの優先シーンの受信を完了している場合に、優先シーンを再生することを特徴とする。

また、好ましくは、送信装置は、複数のシーンの構成を示す情報と優先シーンの構成を示す情報とを含むプレイリストを生成するプレイリスト生成部とを、さらに備え、送信部は、プレイリスト生成部によって生成されたプレイリストを送信し、受信部は、送信装置から送信されるプレイリストを受信し、再生部は、受信部によって受信されたプレイリストに基づいて、受信部によって受信された複数のシーンに分割された画像データを再生することを特徴とする。

さらに、好ましい再生部は、受信部が、プレイリストの受信と複数のシーンのうちの優先シーンの受信とを完了している場合、当該プレイリストに含まれる優先シーンの構成を示す情報に基づいて、優先シーンを再生することを特徴とする。

また、好ましくは、ダイジェスト抽出部は、複数のシーンについて、画像データにおける重要度を解析するシーン解析部と、シーン解析部によって解析された結果に基づいて、複数のシーンそれぞれに評価点を設定する評価点設定部とを含み、プレイリスト生成部は、評価点設定部によって設定された評価点を含むプレイリストを生成し、送信部は、評価点設定部によって設定された評価点に基づいて、複数のシーンを順に送信することを特徴とする。

さらに、好ましい再生部は、受信部が、プレイリストの受信と当該プレイリストに含まれる評価点が閾値以上であるシーンの受信を完了している場合、当該プレイリストに含まれる評価点に基づいて、複数のシーンのうち、少なくとも１つ以上のシーンを再生することを特徴とする。

上記目的を達成するために、本発明の画像再生装置は、送信装置から送信される画像データを受信して再生する画像再生装置であって、送信装置から送信される画像データを、当該画像データを構成する複数のシーンとして分割受信する受信部と、受信部によって受信された複数のシーンに分割された画像データを再生する再生部とを備え、画像データは、当該画像データのダイジェストを構成する優先シーンと、当該優先シーン以外である非優先シーンとから構成されており、再生部は、画像データのダイジェストを再生する場合には、優先シーンを再生することを特徴とする。

好ましい再生部は、受信部が、複数のシーンのうちの優先シーンの受信を完了している場合に、優先シーンを再生することを特徴とする。

また、好ましくは、受信部は、送信装置から送信される、画像データを構成する複数のシーンの構成を示す情報と、複数のシーンのうちの優先シーンの構成を示す情報とを含むプレイリストを、さらに受信し、再生部は、受信部によって受信されたプレイリストに基づいて、受信部によって受信された画像データのうち、少なくとも１つ以上のシーンを再生することを特徴とする。

さらに、好ましい再生部は、受信部が、プレイリストの受信と複数のシーンのうちの優先シーンの受信とを完了している場合、当該プレイリストに含まれる優先シーンの構成を示す情報に基づいて、優先シーンを再生することを特徴とする。

また、好ましくは、プレイリストは、複数のシーンそれぞれについて、画像データにおける重要度を示す評価点に関する情報を含み、再生部は、受信部が、プレイリストの受信と当該プレイリストに含まれる評価点が閾値以上であるシーンの受信を完了している場合、当該プレイリストに含まれる評価点に基づいて、複数のシーンのうち、少なくとも１つ以上のシーンを再生することを特徴とする。

また、上記目的を達成するために、上述した本発明の画像伝送システムおよび画像再生装置の各構成が行うそれぞれの処理は、一連の処理手順を与える画像伝送方法および画像再生方法として捉えることができる。この方法は、一連の処理手順をコンピュータに実行させるためのプログラムの形式で提供される。このプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で、コンピュータに導入されてもよい。

上述のように、本発明の画像伝送システムおよび画像再生装置によれば、画像データの送受信が完了していない場合であっても、画像データのダイジェスト再生を実行することができ、通常再生を実行しようとする場合でも、画像データにおける重要度の高いシーンは欠落することなく再生することができる。

さらに、本発明の画像伝送システムおよび画像再生装置によれば、通信時間の短縮、およびネットワークへの負荷を低減させることができる。

本発明の第１の実施形態に係る画像伝送システム１０を示す外観構成図 本発明の第１の実施形態に係る画像伝送システム１０の内部構成を示す機能ブロック図 属性情報に対応して設定される評価点の一例を示す図 各シーンに評価点（優先度）を設定した結果の一例を示す図 画像データにおける複数のシーンの構成を示す通常再生用プレイリストと、複数のシーンのうち優先シーンの構成を示すダイジェスト再生用プレイリストを生成する過程の一例を示す図 受信状態管理部２０３１が管理する受信状態を示す図 通信障害が発生した場合における受信状態管理部２０３１が管理する受信状態を示す図 １つの画像データから再生時間の異なる２つのダイジェストを生成する場合における、通常再生用プレイリストと、再生時間の異なる２つのダイジェスト再生用プレイリストを生成する過程の一例を示す図 本発明の第２の実施形態に係る画像伝送システム１１を示す外観構成図 本発明の第２の実施形態に係る画像伝送システム１１の内部構成を示す機能ブロック図

以下、本発明の各実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［構成］
図１は、本発明の第１の実施形態に係る画像伝送システム１０を示す外観構成図である。図１において、画像伝送システム１０は、ビデオカメラとポータブルプレーヤーとで構成されている。ビデオカメラとポータブルプレーヤーとは、それぞれ有線通信または無線通信可能な通信手段を備え、画像データおよびその他のデータが送受信されるように接続されている。

ここでは、ビデオカメラとポータブルプレーヤーとは、無線通信路で接続されており、例えば、Ｂｌｕｅｔｏｏｔｈを用いて、データの送受信を行う場合には、以下のような手順で接続される。先ず、ビデオカメラを「探索（発見）可能状態」に設定する。ただし、認証および暗号化の設定は、予めビデオカメラとポータブルプレーヤー双方の機器で設定されているものする。次に、ポータブルプレーヤーから「探索（発見）」操作を行うことによって、ポータブルプレーヤーの表示画面に探索可能状態にある周囲のＢｌｕｅｔｏｏｔｈ機器の一覧が提示される。そして、提示された一覧の中から所望の接続相手であるビデオカメラを指定する。

なお、本実施形態では、送信装置をビデオカメラとし、再生装置をポータブルプレーヤーとして、例に挙げているが、これに限定されるものではない。送信装置は、画像データを送信する送信機能を備え、再生装置は、画像データを再生する再生機能を備えていれば、その他の電子機器であっても構わない。

図２は、本発明の第１の実施形態に係る画像伝送システム１０の内部構成を示す機能ブロック図である。図２において、画像伝送システム１０は、画像データを送信する送信装置１００と、当該画像データを受信して再生する再生装置２００とで構成される。

送信装置１００は、画像データ入力部１０１と、画像データ記録部１０２と、ダイジェスト抽出部１０３と、プレイリスト生成部１０４と、送信部１０５とを備える。

画像データ入力部１０１は、メタデータ入力部１０１１と、顔／人物検出部１０１２と、映像／音声入力部１０１３とを含む。メタデータ入力部１０１１には、映像／音声以外の種々のメタデータ情報が入力される。ここで、メタデータ情報には、例えば、撮影時刻、撮影開始からのタイムスタンプ、撮影／記録時のフレームレート、逆行補正／絞り情報、色温度／ホワイトバランス情報、フォーカス状態、ズーム操作情報、およびジャイロのヨー／ロール／ピッチの動き情報などが含まれる。顔／人物検出部１０１２は、映像／音声入力部１０１３に入力された映像に、顔、または予め設定された人物が含まれているか否かを検出する。映像／音声入力部１０１３は、画像を撮影するための入力手段を備えており、一般的には、レンズ等の光学系と、ＣＣＤ等の撮像素子と、マイク等の音声入力素子とから構成されている。

画像データ記録部１０２は、画像データ入力部１０１に入力された画像データを記録する。そして、画像データ記録部１０２は、当該画像データについて、複数のシーンのうち、ダイジェスト抽出部１０３によって抽出される優先シーン、ダイジェスト抽出部１０３によって抽出されない非優先シーン、およびプレイリスト生成部１０４によって生成されるプレイリストを記録する。複数のシーンのうちの優先シーンおよび非優先シーン、およびプレイリストについては、後述する。さらに、画像データ記録部１０２は、記録する画像データ、優先シーン、非優先シーン、およびプレイリストのタイムスタンプ情報も記録している。なお、画像データ記録部１０２は、例えば、フラッシュメモリ、またはハードディスクドライブ等の記録装置から構成される。

ダイジェスト抽出部１０３は、画像データを構成する複数のシーンのうち、当該画像データのダイジェストを構成する優先シーンを抽出する。

なお、ダイジェスト抽出部１０３は、シーン解析部１０３１と、評価点設定部１０３２とを含む。シーン解析部１０３１は、画像データを構成する複数のシーンについて、当該画像データにおける重要度を解析する。評価点設定部１０３２は、シーン解析部１０３１によって解析された結果に基づいて、複数のシーンそれぞれに評価点を設定する。

プレイリスト生成部１０４は、複数のシーンの構成を示す情報と優先シーンの構成を示す情報とを含むプレイリストを生成する。

送信部１０５は、プレイリスト生成部１０４によって生成されたプレイリスト、および画像データを複数のシーンに分割して送信する。その際、送信部１０５は、複数のシーンのうち優先シーン以外である非優先シーンよりも、プレイリストおよび優先シーンを優先して送信する。より詳細には、送信部１０５は、評価点設定部１０３２によって設定された評価点に基づいて、複数のシーンを順に送信する。

複数のシーンについて、画像データにおける重要度の解析方法、評価点の設定方法、および送信順序については、後述する。

なお、送信部１０５は、送信装置１００から再生装置２００に、プレイリストおよび画像データを送信するための通信手段を含む。通信手段は、有線通信であっても、無線通信であっても構わない。通信手段が有線通信である場合、送信部１０５は、例えば、ＵＳＢ等のケーブルを用いて、送信装置１００と再生装置２００とを接続すればよい。通信手段が無線通信である場合、送信部１０５は、例えば、Ｂｌｕｅｔｏｏｔｈなどの無線技術を搭載したデバイスで構成される。

再生装置２００は、受信部２０１と、画像データ記録部２０２と、再生部２０３と、映像／音声出力部２０４とを備える。

受信部２０１は、送信装置１００の送信部１０５から送信される、プレイリストと複数のシーンに分割された画像データとを受信する。なお、受信部２０１は、送信装置１００から送信されるプレイリストおよび画像データを受信するための通信手段を含む。通信手段は、有線通信であっても、無線通信であっても構わない。通信手段が有線通信である場合、受信部２０１は、例えば、ＵＳＢ等のケーブルを用いて、送信装置１００と再生装置２００とを接続すればよい。通信手段が無線通信である場合、受信部２０１は、例えば、Ｂｌｕｅｔｏｏｔｈなどの無線技術を搭載したデバイスで構成される。

画像データ記録部２０２は、受信部２０１によって受信されたプレイリストと複数のシーンに分割された画像データとを記録する。なお、画像データ記録部１０２は、例えば、フラッシュメモリ、またはハードディスクドライブ等の記録装置から構成される。

再生部２０３は、受信部２０１によって受信されたプレイリストに基づいて、受信部によって受信された複数のシーンに分割された画像データを再生する。具体的には、再生部２０３は、画像データ記録部２０２に記録されている複数のシーンから、画像データ記録部２０２に記録されているプレイリストに基づいて、順にシーンを読み込み、映像および音声に再生して、映像／音声出力部２０４に出力する。

より詳細には、再生部２０３は、受信状態管理部２０３１と、再生選択部２０３２とを含む。受信状態管理部２０３１は、送信装置１００から送信されるプレイリスト、および複数のシーンの受信が完了したか否かの受信状態を管理する。再生選択部２０３２は、受信状態管理部２０３１によって管理されている受信状態に基づいて、受信を完了している範囲内で再生可能なシーンを選択する。

映像／音声出力部２０４は、再生部２０３によって再生されたシーンの映像および音声を出力する。典型的には、映像／音声出力部２０４は、ディスプレイおよびスピーカーから構成されており、映像はディスプレイに表示され、音声はスピーカーから出力される。

［ダイジェストの生成］
送信装置１００には、画像データ入力部１０１から画像情報が入力される。画像情報は、メタデータ入力部１０１１から入力されるメタデータと、映像／音声入力部１０１３から入力される映像／音声データと、顔／人物検出部１０１２が映像／音声データを解析することによって取得する顔／人物検出情報とを含む。

ここで、メタデータは、例えば、ビデオカメラに備えられている録画開始ボタンおよびズームボタンなどの入力手段（図示せず）がユーザによって操作されたことを示す情報、色温度、ホワイトバランス、絞りなどのカメラパラメータ情報、およびビデオカメラが備えるジャイロセンサから取得されるジャイロ情報を含む。

画像データ入力部１０１は、画像データ入力部１０１から入力された画像情報を画像データ記録部１０２に出力し、当該画像情報は、画像データ記録部１０２に記録されると共に、ダイジェスト抽出部１０３に出力される。

ここで、撮影開始から撮影の終了または撮影の一時停止が指示されるまでに撮影された映像の単位を「クリップ」とする。ユーザが撮影の開始、撮影の終了または一時停止を何度も繰り返すと、クリップが複数生成されることになる。１つのクリップは、１つまたは複数の「シーン」から構成される。「シーン」は論理的につながりのある一続きの映像であって、任意に設定することが可能である。例えば、１つのクリップを１つのシーンとして「１クリップ」＝「１シーン」と設定しても構わない。また、例えば、画面が大きく変わることを境界として「１クリップ」＝「複数のシーン」を設定しても構わない。さらに、「シーン」は、１つまたは複数の「フレーム」から構成される。「フレーム」は映像を構成する個々の画像である。

先ず、ダイジェスト抽出部１０３のシーン解析部１０３１は、各シーンに含まれる属性情報を解析する。属性情報とは、例えば、上述したような、ユーザの操作情報、カメラパラメータ情報、およびジャイロ情報などである。そして、ダイジェスト抽出部１０３の評価点設定部１０３２は、シーン解析部１０３１によって解析された結果に基づいて、各シーンそれぞれに評価点を設定する。

図３は、属性情報に対応して設定される評価点の一例を示す図である。図３において、評価点が高い程、撮影された映像において重要度が高いものとしている。例えば、クリップイン（撮影の開始部分）およびクリップアウト（撮影の終了直前部分）は、映像の導入部分および映像の重要部分であって、撮影された映像における論理的な意味である重要度が高いと推測される。

図３に示される一例では、クリップイン（Ａ）は、評価点が「１００」であり、クリップアウト（Ｆ）は、評価点が「９０」である。また、撮影時のカメラワークとしてズームアップ（Ｄ）およびズームダウン（Ｇ）は、特定の被写体への注目度を高めるという観点に基づいて、評価点が「３０」である。

一方、例えば、ビデオカメラで撮影をする際に、ユーザの手振れを伴って撮影された映像は、視聴者にとって見づらい映像である可能性が高いため、当該手振れを伴って撮影された部分は、ダイジェストとして適さないと判断しても構わない。その結果、ダイジェストとして適さないと判断されるような属性情報には、評価点にマイナス点を設定しても構わない。図３に示される一例では、手振れ（Ｉ）は、評価点が「−２０」である。

このように、シーン解析部１０３１および評価点設定部１０３２は、各シーンに含まれる属性情報を解析し、それぞれの属性情報に対応する評価点を設定することによって、それぞれのシーンについて、画像データにおける重要度を数値化している。なお、属性情報に対応する評価点は、例えば、メモリなどの記録手段に予め保持されていても構わない。

なお、１つのシーンに複数の属性情報が与えられている場合は、それぞれの属性情報に対応する評価点を加算しても構わないし、複数の属性情報のうち最も評価点の高い属性情報に対応する評価点を、当該シーンの評価点としても構わない。さらに、１つのシーンに含まれる複数の属性情報を有効活用するためには、複数の属性情報それぞれの評価点の平均値を、当該シーンの評価点としても構わない。

さらに、各シーンについて、より高精度に評価点を設定する場合には、各シーンに含まれるフレーム毎に評価点を設定しても構わない。なお、各シーンに評価点を設定する場合、全てのシーンについて評価点を設定しても構わないし、属性情報を含むことによって高評価点が設定されるシーンのみに評価点を設定しても構わない。

図４は、各シーンに評価点（優先度）を設定した結果の一例を示す図である。図４において、横軸は、時間（シーン）を示し、縦軸は、各属性情報に対応する評価点（優先度）を示している。

ダイジェスト抽出部１０３は、各シーンに設定した評価点に基づいて、ダイジェスト再生に用いる優先シーンを抽出する。換言すれば、ダイジェスト抽出部１０３は、評価点が高いシーンのみを抽出する。図４において、例えば、ダイジェスト抽出部１０３は、＃１〜＃３部分のシーンのみを優先シーンとして抽出する。

なお、優先シーンを抽出する方法は、シーンの評価点が所定の閾値以上であること、抽出されるシーンの合計再生時間（ダイジェスト再生時間）が所定の時間以内であることなど、様々な観点を用いても構わない。また、１つのシーンは、視聴者にとって、画像データのダイジェスト再生として理解可能な単位であること、送信装置１００から再生装置２００に通信する際に、通信速度および通信状態を考慮して通信障害が発生し難いデータ量であることなど、様々な観点を用いて設定される。

他の優先シーンを抽出する方法としては、例えば、特定の人物の顔画像が検出されたシーンを優先シーンとして抽出したり、音声データから歓声の音を検出し、歓声が大きいシーンに高い評価点を設定することによって、当該シーンを優先シーンとして抽出したりしても構わない。さらに、ここでは、ダイジェスト抽出部１０３が評価点を設定して、自動的に優先シーンを抽出しているが、ユーザに任意のシーンを選択させることによって、当該ユーザに選択されたシーンを優先シーンとして抽出しても構わない。

［プレイリストの生成］
プレイリスト生成部１０４は、ダイジェスト抽出部１０３によって抽出された優先シーンに基づいて、映像再生の手順および方法を示すプレイリストを生成する。

図５は、画像データにおける複数のシーンの構成を示す通常再生用プレイリストと、複数のシーンのうち優先シーンの構成を示すダイジェスト再生用プレイリストを生成する過程の一例を示す図である。図５に示される一例では、入力された画像データを２７個のシーンに分割し、２７個のシーンのうち、評価点の高いシーンをダイジェスト再生に用いる優先シーンとして抽出している。

図５において、シーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）が優先シーンとして抽出されている（太線で示す）。そして、プレイリストは、画像データの最初から最後までであるシーン（１）〜シーン（２７）を示す通常再生用プレイリストと、優先シーンであるシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）のみで構成されるダイジェスト再生用プレイリストが生成されている。

なお、プレイリストは、例えば、シーン毎に任意の識別子を付与して、識別子を用いることによって再生するシーン、および再生する順序を示しても構わない。また、プレイリストは、再生対象となるシーンの開始時刻と終了時刻とを用いることによって再生するシーン、および再生する順序を示しても構わない。さらに、各シーンに含まれる代表的なフレーム（画像）に関する情報（例えば、各シーンにおける最も評価点の高い画像、または開始時刻など）を生成すれば、参照用画面の検索に用いることができる。

［画像データの送信］
送信部１０５は、プレイリスト生成部１０４によって生成されたプレイリストに基づいて、画像データを構成する複数のシーンの送信順序を設定する。より具体的には、送信部１０５は、ダイジェスト再生用プレイリストに基づいて、優先シーンを、優先シーン以外である非優先シーンよりも、優先して送信するように送信順序を設定する。そして、送信部１０５は、プレイリスト、および各シーンに分割された画像データを設定した送信順序で送信する。

図５において、優先シーンであるシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）を、非優先シーンであるその他のシーンよりも優先して送信する順序になっている。

このように、送信部１０５は、ダイジェスト再生用プレイリスト、および通常再生用プレイリストを送信し、設定した送信順序に従って各シーンを送信する。

［画像データの受信］
受信部２０１は、送信装置１００の送信部１０５によって送信されたプレイリスト、および複数のシーンに分割された画像データを受信する。より具体的には、送信装置１００の送信部１０５は、プレイリストを送信し、図５に示した送信順序で、複数のシーンのうち優先シーンを非優先シーンよりも優先して送信する。その結果、受信部２０１は、プレイリストを受信し、複数のシーンのうち優先シーンから順に受信することになる。

画像データ記録部２０２は、受信部２０１によって受信されたプレイリスト、および各シーンを、受信された順に記録する。仮に、受信部２０１が複数のシーンを順に受信中に、通信障害が発生したり、ユーザ操作によって通信が中断されたりした場合には、受信が完了（成功）したシーンについてのみ画像データ記録部２０２に記録されることになる。なお、受信が完了したか否かについては、受信部２０１および／または画像データ記録部２０２を監視することによって、受信状態を管理すればよい。受信状態の管理については、後述する。

［画像データの再生］
再生部２０３は、画像データ記録部２０２に記録されているプレイリストに基づいて、画像データ記録部２０２に記録されている複数のシーンを順に再生する。具体的には、先ず、再生部２０３の受信状態管理部２０３１は、受信部２０１および／または画像データ記録部２０２を監視することによって、受信状態を管理している。

図６は、受信状態管理部２０３１が管理する受信状態の一例を示す図である。図６において、再生装置２００は、送信装置１００から送信された通常再生用プレイリスト、ダイジェスト再生用プレイリスト、および画像データの複数のシーンを受信している。ここで、各シーンの受信が完了したか否かを示す受信完了フラグについて、各シーンの受信が完了している場合には、受信完了フラグは「１」であって、各シーンの受信が完了していない場合には、受信完了フラグは「０」であるとする。

図６に示される一例では、再生装置２００は、通常再生用プレイリストおよびダイジェスト再生用プレイリストを受信し、優先データであるシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）を、非優先シーンであるその他のシーンよりも優先して受信している。そして、受信完了フラグは、全て「１」であることから、画像データの２７個のシーン全ての受信を完了している。

次に、再生部２０３の再生選択部２０３２は、受信状態管理部２０３１によって管理されている受信状態に基づいて、通常再生か、ダイジェスト再生かを選択する。

再生選択部２０３２が通常再生を選択した場合、再生部２０３は、通常再生用プレイリストに基づいて、画像データ記録部２０２に記録されているシーン（１）〜シーン（２７）を順に読み出して、映像および音声に再生して、映像／音声出力部２０４に出力することになる。

再生選択部２０３２がダイジェスト再生を選択した場合、再生部２０３は、ダイジェスト再生用プレイリストに基づいて、画像データ記録部２０２に記録されているシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）を順に読み出して、映像および音声に再生して、映像／音声出力部２０４に出力することになる。

このように、画像データの２７個のシーン全ての受信を完了している場合には、再生装置２００は、通常再生およびダイジェスト再生を実行することができる。

一方、画像データの２７個のシーン全ての受信を完了していない場合には、再生装置２００は、通常再生を完全な形式で実行することができない。図７は、通信障害が発生した場合における受信状態管理部２０３１が管理する受信状態を示す図である。図７において、再生装置２００は、送信装置１００から送信された通常再生用プレイリスト、ダイジェスト再生用プレイリスト、および画像データの複数のシーンの一部を受信している。

図７に示される一例では、再生装置２００は、通常再生用プレイリストおよびダイジェスト再生用プレイリストを受信し、優先データであるシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）を受信する。その後、再生装置２００は、非優先シーンであるその他のシーンを受信中に、シーン（９）の受信とシーン（１０）の受信との間で、通信障害が発生している。

受信完了フラグについて、シーン（１）〜シーン（２７）のうち、受信が完了したシーンの受信完了フラグには、「１」が設定されており、受信が完了していないシーンの受信完了フラグには、「０」が設定されている。

ここで、再生選択部２０３２が通常再生を選択した場合、再生部２０３は、通常再生用プレイリストに基づいて、画像データ記録部２０２に記録されているシーン（１）〜シーン（２７）を順に読み出して、映像および音声に再生して、映像／音声出力部２０４に出力することになる。しかし、例えば、シーン（１０）は、受信が完了しておらず、画像データ記録部２０２に記録されていない。このため、再生部２０３は、通常再生を中止して、ダイジェスト再生に切り替えるか、または受信が完了していないシーンをスキップして、通常再生を継続する。

通常再生を中止して、ダイジェスト再生に切り替えた場合、再生部２０３は、ダイジェスト再生用プレイリストに基づいて、画像データ記録部２０２に記録されているシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）を順に読み出して、映像および音声に再生して、映像／音声出力部２０４に出力することになる。

このように、画像データの２７個のシーン全ての受信を完了していない場合であっても、画像データの２７個のシーンのうちダイジェスト再生に用いる優先シーンを受信していれば、ダイジェスト再生を実行することができる。

また、画像データの２７個のシーン全ての受信を完了していないため、通常再生を完全な形式で実行することができないものの、優先して受信したダイジェスト再生に用いる優先シーンは再生される。その結果、通常再生において、受信が完了していないシーンがスキップされたとしても、画像データにおける重要度（評価点）の高いシーンは欠落することなく再生される。

なお、画像データの２７個のシーン全ての受信を完了していない場合には、受信状態管理部２０３１は、各シーンの受信が完了したか否かを示す受信完了フラグを管理しているため、当該受信完了フラグに基づいて、送信装置１００に対して、受信を完了していないシーンのみを要求すればよい。これにより、再度、画像データの最初から最後までであるシーン（１）〜シーン（２７）を受信して、既に受信が完了しているシーンについて、重複受信する無駄を削除することができる。

また、受信状態管理部２０３１は、受信完了フラグを管理していたが、これと同期して、送信装置１００に送信完了フラグを備えていても構わない。これにより、送信完了フラグに基づいて、既に送信が完了しているシーンについて、重複送信する無駄を削除することができ、同様の効果を奏することができる。

［ダイジェストが複数ある場合］
上述したダイジェストは、１つの画像データに対して１つのダイジェストを生成していたが、１つの画像データに対して複数のダイジェストを生成しても構わない。図８は、１つの画像データから再生時間の異なる２つのダイジェストを生成する場合における、通常再生用プレイリストと、再生時間の異なる２つのダイジェスト再生用プレイリストを生成する過程の一例を示す図である。

図８において、ダイジェスト再生の時間が３分になる３分ダイジェストと、ダイジェスト再生の時間が５分になる５分ダイジェストとが生成されている。

具体的には、ダイジェスト抽出部１０３は、画像データを構成する２７個のシーン（１）〜（２７）のうち、当該画像データの３分ダイジェストを構成する第１優先シーンを抽出する。例えば、評価点が第１の閾値以上であるシーン（２）、シーン（６）、シーン（８）、シーン（１２）、シーン（２２）、シーン（２３）、シーン（２４）、およびシーン（２６）が第１優先シーンとして抽出されればよい（太線で示す）。

そして、ダイジェスト抽出部１０３は、画像データを構成する２７個のシーン（１）〜（２７）のうち、当該画像データの５分ダイジェストを構成する優先シーンを抽出する。例えば、５分ダイジェストを構成する優先シーンは、上述した第１優先シーンと、評価点が第２の閾値以上であって第１の閾値未満である第２優先シーンとで構成される。ここでは、シーン（１）、シーン（３）、シーン（７）、シーン（１３）、シーン（１７）、シーン（１８）、およびシーン（２７）が第２優先シーンとして抽出されている（点線で示す）。換言すれば、３分ダイジェストを構成する第１優先シーンは、５分ダイジェスト再生時にも用いられる。

プレイリスト生成部１０４は、ダイジェスト抽出部１０３によって抽出された第１優先シーンおよび第２優先シーンに基づいて、映像再生の手順および方法を示すプレイリストを生成する。具体的には、図８に示すように、プレイリスト生成部１０４は、３分ダイジェスト再生用プレイリストおよび５分ダイジェスト再生用プレイリストを生成する。

送信部１０５は、プレイリスト生成部１０４によって生成されたプレイリストに基づいて、画像データを構成する複数のシーンの送信順序を設定する。具体的には、図８に示すように、送信部１０５は、第１優先シーン、第２優先シーン、およびその他のシーンである非優先シーンの順に送信順序を設定する。そして、送信部１０５は、通常再生用プレイリスト、３分ダイジェスト再生用プレイリスト、５分ダイジェスト再生用プレイリスト、および各シーンに分割された画像データを設定した送信順序で送信する。

このように、再生時間が異なる複数のダイジェスト再生を選択できると共に、仮に、再生部２０３が５分ダイジェストを再生しようとする際に、５分ダイジェストに含まれるシーンが欠落している場合には、第１優先シーンの受信が完了していれば、３分ダイジェスト再生を実行することができる。

なお、ここでは、３分ダイジェストと５分ダイジェストとの２つの再生時間が異なるダイジェストについて説明したが、２つのダイジェストに限定されるものではない。例えば、さらに多種のダイジェストを生成しても構わないし、画像データの複数のシーン全てに優先度を設けて、優先度の高い順から各シーンがそれぞれ第１、第２、・・・第Ｎシーンとして、Ｎ種のダイジェストを生成しても構わない。

以上のように、本発明の第１の実施形態に係る画像伝送システム１０によれば、送信装置１００と再生装置２００との間で、画像データの送受信が完了していない場合であっても、再生装置２００は、画像データのダイジェスト再生を実行することができ、通常再生を実行しようとする場合でも、画像データにおける重要度（評価点）の高いシーンは欠落することなく再生することができる。

さらには、再生装置２００は、画像データにおける各シーンの受信状態を管理することによって、重複受信を抑制することができ、その結果、送信装置１００との無駄な通信を削除することができ、通信時間の短縮、およびネットワークへの負荷を低減させることができる。

＜第２の実施形態＞
図９は、本発明の第２の実施形態に係る画像伝送システム１１を示す外観構成図である。図９において、画像伝送システム１１は、サーバと、セットトップボックスと、ポータブルプレーヤーとで構成されている。サーバとセットトップボックスとは、インターネット等のネットワークを介して接続されており、セットトップボックスとポータブルプレーヤーとは、それぞれ有線通信または無線通信可能な通信手段を備え、画像データおよびその他のデータが送受信されるように接続されている。さらに、セットトップボックスには、モニタが接続されており、映像および音声を再生して、当該モニタに出力しても構わない。

なお、本実施形態では、配信装置をサーバとし、中継装置をセットトップボックスとし、再生装置をポータブルプレーヤーとして、例に挙げているが、これに限定されるものではない。配信装置は、画像データを配信する配信機能を備え、中継装置は、画像データを中継する中継機能を備え、再生装置は、画像データを再生する再生機能を備えていれば、その他の電子機器であっても構わない。

また、本実施形態では、サーバ（配信装置）と接続されているセットトップボックス（中継装置）は１台であるが、サーバ（配信装置）は、複数のセットトップボックス（中継装置）と接続し、複数のセットトップボックス（中継装置）に対して、画像データを配信する構成であっても構わない。

図１０は、本発明の第２の実施形態に係る画像伝送システム１１の内部構成を示す機能ブロック図である。図１０において、画像伝送システム１１は、画像データを配信する配信装置１１０と、当該画像データを中継する中継装置１２０と、当該画像データを受信して再生する再生装置２００とで構成される。

配信装置１１０は、画像データ記録部１１１と、ダイジェスト抽出部１０３と、プレイリスト生成部１０４と、配信部１１２とを備える。なお、ダイジェスト抽出部１０３は、シーン解析部１０３１と、評価点設定部１０３２とを含む。図１０に示す配信装置１１０において、図２に示した送信装置１００の構成と同一の構成については、同一の参照符号を付すことにより、詳細な説明は省略する。

先ず、配信装置１１０は、動画コンテンツ等の画像データを、インターネットを介して配信する機能を有している。そして、画像データ記録部１１１は、配信する画像データを記録している。

ダイジェスト抽出部１０３およびプレイリスト生成部１０４は、本発明の第１の実施形態で説明したように、画像データ記録部１１１によって記録されている画像データについて、優先シーンを抽出し、プレイリストを生成する。

なお、画像データにおける重要度の解析方法、評価点の設定方法については、例えば、画像データがスポーツコンテンツである場合、歓声が大きい部分およびリプレイ部分に、高い評価点を設定してもよいし、画像データが映画コンテンツである場合、クライマックスであると判定可能な部分に、高い評価点を設定してもよい。また、当該画像データを配信する事業者によって、予め評価点が設定されていても構わない。

配信部１１２は、プレイリスト、および画像データを複数のシーンに分割して配信する。なお、配信順序は、本発明の第１の実施形態で説明したように、複数のシーンのうち優先シーン以外である非優先シーンよりも、プレイリストおよび優先シーンを優先して配信する。

また、配信部１１２は、例えば、インターネットに接続するネットワークコントローラを有している。さらに、配信部１１２は、サーバソフトウェアを有しており、当該サーバソフトウェアは、ネットワークを介して受信する種々のリクエストを処理する。

中継装置１２０は、ダウンロード部１２１と、画像データ記録部１２２と、送信部１２３とを備える。

先ず、中継装置１２０は、配信装置１１０から配信される動画コンテンツ等の画像データを、インターネット等のネットワークを介してダウンロードする機能を有している。そして、ダウンロード部１２１は、配信装置１１０の配信部１１２から配信される、プレイリストと複数のシーンに分割された画像データとをダウンロードする。

画像データ記録部１２２は、ダウンロード部１２１によってダウンロードされたプレイリストと複数のシーン分割された画像データとを、ダウンロードされた順に記録する。

送信部１２３は、画像データ記録部１２２によって記録されているプレイリストと複数のシーン分割された画像データとを、送信する。なお、中継装置１２０は、画像データの複数のシーンについて、配信装置１１０の配信部１１２から配信される順に従って、ダウンロードしている。そして、当該画像データの複数のシーンは、ダウンロードされた順に、画像データ記録部１２２に記録されているため、送信部１２３は、当該順序に従って、画像データの複数のシーンを送信すればよい。

再生装置２００は、受信部２０１と、画像データ記録部２０２と、再生部２０３と、映像／音声出力部２０４とを備える。なお、再生部２０３は、受信状態管理部２０３１と再生選択部２０３２とを含む。図１０に示す再生装置２００の基本的な構成は、図２に示した再生装置２００の構成と同一であるため、同一の参照符号を付すことにより、詳細な説明は省略する。

再生装置２００は、中継装置１２０の送信部１２３から送信される動画コンテンツ等の画像データを受信して、再生する機能を有している。

以上のように、本発明の第２の実施形態に係る画像伝送システム１１によれば、中継装置１２０と再生装置２００との間で、画像データの送受信が完了していない場合であっても、再生装置２００は、画像データのダイジェスト再生を実行することができ、通常再生を実行しようとする場合でも、画像データにおける重要度（評価点）の高いシーンは欠落することなく再生することができる。

さらには、再生装置２００は、画像データにおける各シーンの受信状態を管理することによって、重複受信を抑制することができ、その結果、中継装置１２０との無駄な通信を削除することができ、通信時間の短縮、およびネットワークへの負荷を低減させることができる。

なお、本実施形態では、再生装置２００は、再生装置２００と中継装置１２０との間で、画像データにおける各シーンの受信状態を管理していた。これと同様に、中継装置１２０が、配信装置１１０と中継装置１２０との間で、画像データにおける各シーンのダウンロード状態を管理しても構わない。その結果、配信装置１１０と中継装置１２０との無駄な通信を削除することができ、通信時間の短縮、およびネットワークへの負荷を低減させることができる。

また、本実施形態では、配信装置１１０から配信される画像データを、中継装置１２０を経由して、最終的に、再生装置２００が受信して再生する構成としていたが、中継装置１２０を省略する構成であっても構わない。配信装置１１０の配信部１１２から配信されるプレイリストおよび画像データを、直接、再生装置２００の受信部２０１が受信（ダウンロード）すればよい。この場合、再生装置２００は、再生装置２００と配信装置１１０との間で、画像データにおける各シーンの受信状態を管理することになる。

本発明は、画像データを分割して伝送する画像伝送システム、および分割して受信した画像データを再生する画像再生装置等に利用可能であって、特に、画像データのダイジェスト再生を実行する画像伝送システム、および画像再生装置等に有用である。

１０、１１ 画像伝送システム
１００ 送信装置
１０１ 画像データ入力部
１０２、１１１、１２２、２０２ 画像データ記録部
１０３ ダイジェスト抽出部
１０４ プレイリスト生成部
１０５、１２３ 送信部
１１０ 配信装置
１１２ 配信部
１２０ 中継装置
１２１ ダウンロード部
２００ 再生装置
２０１ 受信部
２０３ 再生部
２０４ 映像／音声出力部
１０１１ メタデータ入力部
１０１２ 顔／人物検出部
１０１３ 映像／音声入力部
１０３１ シーン解析部
１０３２ 評価点設定部
２０３１ 受信状態管理部
２０３２ 再生選択部

Claims (11)

1. 画像データを送信する送信装置と、当該画像データを受信して再生する再生装置とで構成される画像伝送システムであって、
   前記送信装置は、
   前記画像データを構成する複数のシーンのうち、当該画像データのダイジェストを構成する優先シーンを抽出するダイジェスト抽出部と、
   前記画像データを複数のシーンに分割して送信する送信部とを備え、
   前記送信部は、前記複数のシーンのうち前記優先シーン以外である非優先シーンよりも、前記優先シーンを優先して送信し、
   前記再生装置は、
   前記送信装置から送信される、前記複数のシーンに分割された画像データを受信する受信部と、
   前記受信部によって受信された前記複数のシーンに分割された画像データを再生する再生部とを備え、
   前記再生部は、前記画像データのダイジェストを再生する場合には、前記優先シーンを再生することを特徴とする、画像伝送システム。
2. 前記再生部は、前記受信部が、前記複数のシーンのうちの前記優先シーンの受信を完了している場合に、前記優先シーンを再生することを特徴とする、請求項１に記載の画像伝送システム。
3. 前記送信装置は、前記複数のシーンの構成を示す情報と前記優先シーンの構成を示す情報とを含むプレイリストを生成するプレイリスト生成部とを、さらに備え、
   前記送信部は、前記プレイリスト生成部によって生成されたプレイリストを送信し、
   前記受信部は、前記送信装置から送信される前記プレイリストを受信し、
   前記再生部は、前記受信部によって受信された前記プレイリストに基づいて、前記受信部によって受信された前記複数のシーンに分割された画像データを再生することを特徴とする、請求項１に記載の画像伝送システム。
4. 前記再生部は、前記受信部が、前記プレイリストの受信と前記複数のシーンのうちの前記優先シーンの受信とを完了している場合、当該プレイリストに含まれる優先シーンの構成を示す情報に基づいて、前記優先シーンを再生することを特徴とする、請求項３に記載の画像伝送システム。
5. 前記ダイジェスト抽出部は、
   前記複数のシーンについて、前記画像データにおける重要度を解析するシーン解析部と、
   前記シーン解析部によって解析された結果に基づいて、前記複数のシーンそれぞれに評価点を設定する評価点設定部とを含み、
   前記プレイリスト生成部は、前記評価点設定部によって設定された評価点を含むプレイリストを生成し、
   前記送信部は、前記評価点設定部によって設定された評価点に基づいて、前記複数のシーンを順に送信することを特徴とする、請求項３に記載の画像伝送システム。
6. 前記再生部は、前記受信部が、前記プレイリストの受信と当該プレイリストに含まれる評価点が閾値以上であるシーンの受信を完了している場合、当該プレイリストに含まれる評価点に基づいて、前記複数のシーンのうち、少なくとも１つ以上のシーンを再生することを特徴とする、請求項５に記載の画像伝送システム。
7. 送信装置から送信される画像データを受信して再生する画像再生装置であって、
   前記送信装置から送信される前記画像データを、当該画像データを構成する複数のシーンとして分割受信する受信部と、
   前記受信部によって受信された前記複数のシーンに分割された画像データを再生する再生部とを備え、
   前記画像データは、当該画像データのダイジェストを構成する優先シーンと、当該優先シーン以外である非優先シーンとから構成されており、
   前記再生部は、前記画像データのダイジェストを再生する場合には、前記優先シーンを再生することを特徴とする、画像再生装置。
8. 前記再生部は、前記受信部が、前記複数のシーンのうちの前記優先シーンの受信を完了している場合に、前記優先シーンを再生することを特徴とする、請求項７に記載の画像再生装置。
9. 前記受信部は、前記送信装置から送信される、前記画像データを構成する複数のシーンの構成を示す情報と、前記複数のシーンのうちの優先シーンの構成を示す情報とを含むプレイリストを、さらに受信し、
   前記再生部は、前記受信部によって受信されたプレイリストに基づいて、前記受信部によって受信された画像データのうち、少なくとも１つ以上のシーンを再生することを特徴とする、請求項７に記載の画像再生装置。
10. 前記再生部は、前記受信部が、前記プレイリストの受信と前記複数のシーンのうちの前記優先シーンの受信とを完了している場合、当該プレイリストに含まれる優先シーンの構成を示す情報に基づいて、前記優先シーンを再生することを特徴とする、請求項９に記載の画像再生装置。
11. 前記プレイリストは、前記複数のシーンそれぞれについて、前記画像データにおける重要度を示す評価点に関する情報を含み、
    前記再生部は、前記受信部が、前記プレイリストの受信と当該プレイリストに含まれる評価点が閾値以上であるシーンの受信を完了している場合、当該プレイリストに含まれる評価点に基づいて、前記複数のシーンのうち、少なくとも１つ以上のシーンを再生することを特徴とする、請求項９に記載の画像再生装置。

Images