JP2012175613A - 画像送信装置、画像送信方法、及びプログラム - Google Patents

Abstract

【課題】画像データに応じて、画質の破綻を抑制しつつ適切に符号化することが可能な、新規かつ改良された画像送信装置及び画像送信方法を提供する。
【解決手段】送信される画像データを符号化する符号化部と、前記符号化部による前記画像データの符号化レートを取得するレート取得部と、前記レート取得部により取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する設定部と、を備える。
【選択図】図２

Description

本発明は、画像送信装置、画像送信方法、及びプログラムに関する。

複数の装置間においてインターネット等のネットワークを介して、画像データとしての映像データの送受信が行われる。映像データの送信側の装置は、映像データを符号化して、受信側の装置に送信する。受信側の装置は、受信した映像データを復号化して、例えば表示装置等に表示させる。

従来、映像データの送信側の装置は、ネットワークの通信状況を考慮し、映像データの符号化レートを通信状況に応じて変化させている。また、映像データの符号化に際し、符号化レートに応じて映像データのフレームのレートや解像度を変更する技術が、特許文献１に開示されている。

特開２００５−１５１２８０号公報

ところで、符号化される対象の画像データによっては、一定の符号化レート以下に落とすと画像データに破綻が生じる可能性がある。例えば、プログレッシブ方式の画像データの場合には、符号化レートを小さくすると、画質が維持できずに破綻してしまう恐れがある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データに応じて、画質の破綻を抑制しつつ適切に符号化することが可能な、新規かつ改良された画像送信装置及び画像送信方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、送信される画像データを符号化する符号化部と、前記符号化部による前記画像データの符号化レートを取得するレート取得部と、前記レート取得部により取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する設定部と、を備える、画像送信装置が提供される。

また、前記符号化レートの大きさと、前記インターレース方式の画像データの画質及び前記プログレッシブ方式の画像データの画質と、を関連づけたテーブル情報を記憶する記憶部を更に備え、前記設定部は、取得された前記符号化レートと、前記記憶部に記憶された前記テーブル情報とに基づいて、前記インターレース方式又は前記プログレッシブ方式を設定することとしても良い。

また、前記記憶部は、前記テーブル情報を前記画像データのジャンル毎に記憶し、前記設定部は、取得された前記符号化レートと、符号化される前記画像データのジャンルに対応した前記テーブル情報とに基づいて、前記インターレース方式又は前記プログレッシブ方式を設定することとしても良い。

また、前記テーブル情報における前記インターレース方式の画像データの画質及び前記プログレッシブ方式の画像データの画質は、ユーザー評価値によって設定されることとしても良い。

また、前記設定部は、取得された前記符号化レートが所定の閾値よりも大きい場合には、前記プログレッシブ方式を設定し、取得された前記符号化レートが所定の閾値よりも小さい場合には、前記インターレース方式を設定することとしても良い。

また、符号化される前記画像データは、動画像データであり、前記動画像データのシーンチェンジを検出する画像解析部を更に備え、前記設定部は、前記画像解析部により検出される前記シーンチェンジのタイミング時に、前記符号化レートに応じて前記インターレース方式又は前記プログレッシブ方式を設定することとしても良い。

また、前記所定の閾値は、第１閾値であり、前記設定部は、取得された前記符号化レートが、前記第１閾値よりも大きい第２閾値より小さく、かつ前記第１閾値よりも小さい第３閾値よりも大きい場合には、前記シーンチェンジのタイミング時に前記インターレース方式又は前記プログレッシブ方式を設定し、取得された前記符号化レートが、前記第２閾値よりも大きい場合、又は前記第３閾値よりも小さい場合には、前記シーンチェンジのタイミング以外のタイミング時に前記インターレース方式又は前記プログレッシブ方式を設定することとしても良い。

また、前記設定部は、前記画像解析部によりシーンチェンジが検出されない場合には、前記符号化レートと前記所定の閾値を比較してから所定期間経過後に、前記符号化レートに応じて前記インターレース方式又は前記プログレッシブ方式を設定することとしても良い。

また、上記課題を解決するために、本発明の別の観点によれば、送信される画像データを符号化するステップと、前記画像データの符号化レートを取得するステップと、取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定するステップと、を含む、画像送信方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、送信される画像データを符号化するステップと、前記画像データの符号化レートを取得するステップと、取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定するステップと、をコンピュータに実行させるための、プログラムが提供される。

以上説明したように本発明によれば、画像データに応じて、画質の破綻を抑制しつつ適切に符号化することが可能となる。

画像通信システム１の構成を示す図である。 画像送信装置１０の構成を示す機能ブロック図である。 品質テーブルを説明するための図である。 パケットの構造を説明するための図である。 画像受信装置２０の構成を示す機能ブロック図である。 画像送信処理の第１の処理例を説明するためのフローチャートである。 画像送信処理の第２の処理例を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像通信システムの概要
２．画像送信装置の構成
３．画像受信装置の構成
４．画像送信処理
４−１．第１の処理例
４−２．第２の処理例
５．まとめ

＜１．画像通信システムの概要＞
画像通信システムの概要について、図１を参照しながら説明する。図１は、画像通信システム１の構成を示す図である。

図１に示すように、画像通信システム１は、画像送信装置１０と、ネットワーク１２と、撮像装置１４と、表示装置１８と、画像受信装置２０とを有する。

撮像装置１４は、例えばビデオカメラであり、被写体を撮像し、静止画または動画などの画像データを取得する。そして、撮像装置１４は、画像データを画像送信装置１０へ供給する。

画像送信装置１０は、撮像装置１４から供給された画像データを符号化し、符号化された画像データを含むパケットを生成し、当該パケットをネットワーク１２を介して画像受信装置２０へ送信する通信装置である。また、画像送信装置１０は、ＴＦＲＣ（ＴＣＰ Ｆｒｉｅｎｄｌｙ Ｒａｔｅ Ｃｏｎｔｒｏｌ）に従って動作する。すなわち、画像送信装置１０は、パケット損失率やＲＴＴ（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ）などの情報を含むフィードパケットを画像受信装置２０から受信すると、フィードバックパケットに基づいてパケットの送信制御を行う。なお、画像送信装置１０の詳細構成については、後述する。

ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線リンク、または無線リンクを含む。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。

画像受信装置２０は、画像送信装置１０から送信されたパケットをネットワーク１２を介して受信し、受信したパケットに基づいて画像データを再構築し、当該画像データを復号化して表示装置１８へ供給する通信装置である。また、画像受信装置２０は、例えばパケット損失率に関する情報を含むフィードバックパケットを生成し、ネットワーク１２を介して画像送信装置１０へ送信する。なお、画像受信装置２０の詳細構成については、後述する。

表示装置１８は、画像受信装置２０から供給された画像データを表示する。この表示装置１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などであってもよい。

このような画像通信システム１によれば、リアルタイムでの画像データの通信が可能となる。したがって、当該画像通信システム１を例えばテレビジョン電話システムやテレビジョン会議システムに適用できる。また、図１においては一対の通信装置（画像送信装置１０および画像受信装置２０）のみを示しているが、画像通信システム１にはより多数の通信装置を設けてもよい。

ところで、画像通信システム１においては、画像受信装置２０に送信される画像データの符号化レートを、ネットワーク１２の通信状況に応じて変化させる。ここで、符号化する対象の画像データによっては、一定符号化レート以下に落とすと画像データに破綻が生じる可能性がある。例えば、プログレッシブ方式の画像データの場合には、符号化レートを小さくすると、画質が維持できずに破綻してしまう恐れがある。そこで、本実施形態に係る画像通信システム１は、かかる問題を解決すべく、詳細は後述するが、符号化レートに応じて画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する。

＜２．画像送信装置の構成＞
画像送信装置１０の構成について、図２を参照しながら説明する。図２は、画像送信装置１０の構成を示す機能ブロック図である。

図２に示すように、画像送信装置１０は、画像解析部１１０と、レート取得部の一例であるレート制御部１２０と、設定部の一例であるI／Ｐ制御部１３０と、記憶部１４０と、符号化部１５０と、パケット処理部１６０と、送信部１７０を有する。

（画像解析部１１０）
画像解析部１１０は、撮像装置１４から供給された画像データの画像解析を行う。例えば、画像解析部１１０は、画像データを解析して、画像データのジャンルを判別する。画像解析部１１０は、解析後に、画像データを符号化部１５０に供給し、画像データのジャンル情報をＩ／Ｐ制御部１３０に供給する。

なお、上記では、画像解析部１１０が画像データを解析して、画像データのジャンルを判別することとしたが、これに限定されない。例えば、画像データのメタデータや、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等の情報も用いて、ジャンルを判別しても良い。

本実施形態において、撮像装置１４から供給される画像データは、複数のシーンを含む動画像データ（映像データ）である。画像解析部１１０は、動画像データのシーンチェンジを検出可能である。画像解析部１１０は、検出したシーンチェンジのタイミングに関する情報を、Ｉ／Ｐ制御部１３０に供給する。

（レート制御部１２０）
レート制御部１２０は、パケット交換ネットワークにおけるネットワーク遅延の発生およびパケットロスの発生を抑制するため、レート制御を行う。レート制御部１２０は、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）方式の通信では、ＴＦＲＣ（ＴＣＰ Ｆｒｉｅｎｄｒｙ Ｒａｔｅ Ｃｏｎｔｒｏｌ）によって、画像データの符号化レートを決定する。レート制御部１２０は、決定したレートを、Ｉ／Ｐ制御部１３０に供給する。

（Ｉ／Ｐ制御部１３０と記憶部１４０）
I／Ｐ制御部１３０は、レート制御部１２０から供給された符号化レートに応じて、送信される画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する。より具体的には、Ｉ／Ｐ制御部１３０は、レート制御部１２０から供給された符号化レートと、記憶部１４０に記憶された品質テーブルに基づいて、インターレース方式又はプログレッシブ方式を設定する。これにより、詳細は後述するが、ユーザーが体験する通信品質であるユーザーレベルＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）、すなわちＱｏＥ（Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ；ユーザー体感品質）に基づいて、送信する画像データをインターレース方式又はプログレッシブ方式に設定することになる。

記憶部１４０は、各種のデータを記憶する。記憶部１４０は、符号化レートの大きさと、インターレース方式の画像データの画質及びプログレッシブ方式の画像データの画質と、を関連づけたテーブル情報としての品質テーブルを記憶する。記憶部１４０は、品質テーブルを画像データのジャンル毎に記憶する。

ここで、記憶部１４０に記憶された品質テーブルについて、図３を参照しながら説明する。図３は、品質テーブルを説明するための図である。品質テーブルは、事前に評価を行って作成されるものであり、ジャンルの異なる複数の映像データを用いて評価し、対応する複数の品質テーブルが作成される。

ここで、品質テーブルの具体的な作成方法について説明する。まず、評価対象となる映像データを用意し、異なる符号化レートでインターレース及びプログレッシブの映像データに符号化させる。例えば、対象とする符号化レートを５〜３０Ｍｂｐｓとし、５Ｍｂｐｓ間隔でインターレース及びプログレッシブの映像データに符号化する。次に、各映像データに関して複数の被験者（ユーザ）を用いた主観評価、もしくは、評価ツールを用いた客観評価を行い、評価値を０〜１００に正規化して、図３に示す品質テーブルを作成する。

続いて、図３に示す品質テーブルについて説明する。品質テーブルの評価値については、評価値が０だと映像データの画質が悪く、評価値が１００だと映像データの画質が良いものとする。このため、品質テーブルを見ると分かるように、符号化レートが１５Ｍｂｐｓ以下の場合には、インターレース方式の映像データの画質が、プログレッシブ方式の映像データの画質よりも良い。一方で、符号化レートが２０Ｍｂｐｓ以上の場合には、プログレッシブ方式の映像データの画質が、インターレース方式の映像データの画質よりも良い。このように、品質テーブルにおけるインターレース方式の画像データの画質及びプログレッシブ方式の画像データの画質は、ユーザーの評価値によって設定される。

図３の品質テーブルに含まれていない符号化レート（例えば、１７Ｍｂｐｓ）に対する評価値は、近傍の値から補間して算出される。符号化レートが例えば１７Ｍｂｐｓの場合の評価値は、１５Ｍｂｐｓと２０Ｍｂｐｓを用いて線形補間を行うと、プログレッシブ評価値は５９．１４であり、インターレース評価値は６７．５４である。

なお、品質テーブル作成の際の評価対象となる映像データとしては、動きのある映像、静止画に近い映像、実写、アニメーション、ＣＧなど様々な条件の映像を含むデータを用いることができる。

ここで、上述した品質テーブルを用いたＩ／Ｐ制御部１３０の制御内容を説明する。Ｉ／Ｐ制御部１３０は、画像解析部１１０により判別されたジャンルに対応した品質テーブルから、取得された符号化レートに対応するプログレッシブ評価値とインターレース評価値を取得し、２つの評価値を比較する。そして、Ｉ／Ｐ制御部１３０は、プログレッシブ評価値がインターレース評価値よりも大きい場合にはプログレッシブ方式に設定し、プログレッシブ評価値がインターレース評価値よりも小さい場合にはインターレース方式を設定する。すなわち、I／Ｐ制御部１３０は、より画質の良い走査方式を設定することになる。

また、Ｉ／Ｐ制御部１３０は、画像解析部１１０により検出されたシーンチェンジのタイミング時に、インターレース方式又はプログレッシブ方式を設定する。このように走査方式の設定タイミングを、画像データのシーンがチェンジするタイミングに限定することにより、走査方式の変更に伴う画質の変動を目立たなくすることができる。

上記では、Ｉ／Ｐ制御部１３０は、品質テーブルのプログレッシブ評価値とインターレース評価値を比較して、インターレース方式又はプログレッシブ方式を設定することとしたが、これに限定されない。例えば、Ｉ／Ｐ制御部１３０は、取得された符号化レートが所定の閾値（当該閾値は、記憶部１４０に記憶されている）より大きいか否かに応じて、プログレッシブ方式又はインターレース方式を設定しても良い。

例えば、Ｉ／Ｐ制御部１３０は、取得された符号化レートが所定の第１閾値（当該第１閾値は、プログレッシブ評価値がインターレース評価値よりも大きくなる符号化レートの大きさである）よりも大きい場合には、プログレッシブ方式を設定し、取得された符号化レートが所定の閾値よりも小さい場合には、インターレース方式を設定する。かかる場合には、品質テーブルを記憶部１４０に記憶させる必要が無くなり、記憶部１４０の容量を有効活用でき、また、符号化レートと閾値の比較のみで走査方式が決定されるので、処理時間を短くできる。

また、符号化レートと比較対象の閾値は、段階的に閾値を複数設定しても良い。例えば、第１閾値よりも大きい第２閾値と、第１閾値よりも小さい第３閾値を設定しても良い。第２閾値と第３閾値は、以下のように用いられる。

Ｉ／Ｐ制御部１３０は、取得された符号化レートが、第２閾値よりも大きい場合、又は第３閾値よりも小さい場合には、シーンチェンジのタイミング以外のタイミング時にインターレース方式又はプログレッシブ方式を設定する。具体的には、レート制御部１２０より取得された符号化レートが第２閾値よりも大きい場合には、Ｉ／Ｐ制御部１３０は、シーンチェンジのタイミングに達していなくても、強制的にプログレッシブ方式を設定する。一方で、符号化レートが第３閾値よりも小さい場合には、Ｉ／Ｐ制御部１３０は、シーンチェンジのタイミングに達していなくても、強制的にインターレース方式を設定する。これにより、迅速に、符号化レートに適した走査方式に設定されることとなる。また、このように強制的に走査方式を設定した後に符号化レートが変動しても、符号化レートが大きく変動することは想定し難いので、直ぐに走査方式を切り換える可能性が低い。

一方で、Ｉ／Ｐ制御部１３０は、取得された符号化レートが、第３閾値と第２閾値の間の大きさの場合には、シーンチェンジのタイミング時にインターレース方式又はプログレッシブ方式を設定する。符号化レートが第３閾値と第２閾値の間の場合には、その後の変動に伴い第１閾値の前後の大きさになって、走査方式の切り替えが頻繁に生じやすくなる。このため、走査方式の設定タイミングを限定することで、走査方式の切り替えが頻繁に生じることを抑制できる。

上記では、シーンチェンジのタイミングで走査方式を設定する（切り替える）こととしたが、これに限定されない。例えば、Ｉ／Ｐ制御部１３０は、画像解析部１１０によりシーンチェンジが検出されない場合には、所定期間経過後に、符号化レートに応じてインターレース方式とプログレッシブ方式を設定しても良い。これにより、シーンチェンジが無い場合に、符号化レートに適した走査方式に切り替わらないことを防止できる。

（符号化部１５０）
符号化部１５０は、画像解析部１１０から供給される画像データを符号化する。なお、符号化方式としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧ２０００、Ｍｏｔｉｏｎ ＪＰＥＧ、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１、ＭＰＥＧ２またはＭＰＥＧ４などがあげられる。

符号化１５０は、画像データを、Ｉ／Ｐ制御部１３０によって設定された走査方式にて符号化する。例えば、画像解析部１１０から供給された画像データがプログレッシブ方式である場合に、Ｉ／Ｐ制御部１３０によってプログレッシブ方式が設定されると、画像データの走査方式は変更されずに、符号化される。一方で、Ｉ／Ｐ制御部１３０によってインターレース方式が設定されると、画像データの走査方式をインターレース方式に変更されて、符号化される。

（パケット処理部１６０）
パケット処理部１６０は、符号化部１５０により符号化された画像データに基づいてパケットを生成し、送信部１７０へ供給する。具体的には、パケット処理部１６０は、符号化部１５０により符号化された画像データを分割し、分割された画像データにＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰヘッダを付加することによりパケットを生成する。または、パケット処理部１６０は、分割された画像データにＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰヘッダを付加することによりパケットを生成してもよい。なお、ヘッダにはパケットの各々を識別するシーケンス番号が含まれる。

また、パケット処理部１６０は、Ｉ／Ｐ変換するタイミングを画像受信装置２０に通知するために、符号化された画像データをパケット化する際に、パケットデータにプログレッシブかインターレースかを示すフラグを付加する。ここで、パケット処理部１６０により生成されたパケットデータの構造について、図４を参照しながら説明する。図４は、パケットデータの構造を説明するための図である。図４に示すように、パケットデータは、ヘッダとペイロードに加えて、フラグＰとフラグＦを含む。

フラグＰは、パケットデータがプログレッシブ方式かインターレース方式かを示すフラグである。例えば、パケットデータがプログレッシブ方式の場合にはフラグＰは０と設定され、インターレース方式の場合にはフラグＰは１と設定される。フラグＦは、パケットデータがインターレース方式の場合に、偶数・奇数フィールドを示すフラグである。例えば、偶数フィールドの場合にはフラグＦは０と設定され、奇数フィールドの場合にはフラグＦは１と設定される。なお、パケットデータがプログレッシブ方式の場合には、フラグＦは設定されない。パケット処理部１６０は、パケットデータにフラグＦとフラグＰを付加して、送信部１７０に供給する。

（送信部１７０）
送信部１７０は、パケット処理部１２０から供給されたパケットデータを、ネットワーク１２を介して画像受信装置２０へ送信する。

上述した画像送信装置１０の機能構成において、画像解析部１１０、レート制御部１２０、I／Ｐ制御部１３０、符号化部１５０、パケット処理部１６０は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。記憶部１４０は、フラッシュメモリ等の不揮発性メモリ、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置等により構成される。そして、ＣＰＵは、ＲＯＭ、記憶部１４０、外部の記憶装置等から読み出されたプログラムをＲＡＭ上に展開して実行することで、各種の処理（後述する画像送信処理）を実現する。なお、上記機能構成の少なくとも一部は、専用ロジック等のハードウェアとして構成されてもよい。

＜３．画像受信装置の構成＞
画像受信装置２０の構成について、図５を参照しながら説明する。図５は、画像受信装置２０の構成を示す機能ブロック図である。

図５に示すように、画像受信装置２０は、受信部２１０と、パケット処理部２２０と、復号化部２３０と、Ｉ／Ｐ変換判断部２４０と、Ｉ／Ｐ変換装置２５０を有する。

受信部２１０は、画像送信装置１０から送信されたパケットを受信する。受信部２１０は、受信したパケットをパケット処理部２２０に供給する。

パケット処理部２２０は、受信部２１０から供給されたパケットデータに基づいて、画像データを再構成する。すなわち、各パケットデータには分割された画像データが含まれているため、パケット処理部２２０は、複数のパケットデータに含まれる複数の分割された画像データを組み合わせて画像データを再構成する。

復号化部２３０は、パケット処理部２２０により再構成された画像データを復号化する。復号化部２３０は、復号化した画像データをＩ／Ｐ変換判断部２４０に供給する。

Ｉ／Ｐ変換判断部２４０は、パケットデータに付加されたフラグＰ（図４参照）の示す値から、復号化された画像データをＩ／Ｐ変換させるか否かを判断する。例えば、フラグＰが０と設定されている（すなわち、画像データの走査方式がプログレッシブ方式である）場合には、Ｉ／Ｐ変換が不要なので、Ｉ／Ｐ変換判断部２４０は、復号されたプログレッシブ方式の画像データを表示装置１８に供給する。一方で、フラグＰが１と設定されている（すなわち、画像データの走査方式がインターレース方式である）場合には、Ｉ／Ｐ変換が必要なので、Ｉ／Ｐ変換判断部２４０は、復号されたインターレース方式の画像データをＩ／Ｐ変換装置２５０に供給する。

Ｉ／Ｐ変換装置２５０は、Ｉ／Ｐ変換判断部２４０から供給されたインターレース方式の画像データを、プログレッシブ方式に変換する。Ｉ／Ｐ変換装置２５０は、プログレッシブ方式に変換された画像データを、表示装置１８に供給する。

表示装置１８は、Ｉ／Ｐ変換判断部２４０又はＩ／Ｐ変換装置２５０から供給されたプログレッシブ方式の画像データを、リアルタイムに表示する。このように、テレビ、パソコンディスプレイ、ビデオカードなどに搭載されているＩ／Ｐ変換機能を利用することにより、低コストで高品質な解像度変更処理が可能となる。

ところで、Ｉ／Ｐ変換装置２５０の処理時間に起因して、Ｉ／Ｐ変換装置２５０から表示装置１８に供給される画像データの表示タイミングと、Ｉ／Ｐ変換判断部２４０から表示装置１８に供給される画像データの表示タイミングにずれが生じることがある。表示タイミングにずれが生じる場合には、Ｉ／Ｐ変換判断部２４０から供給される画像データを一旦バッファリングして表示を遅延させることで、表示タイミングのずれを解消しても良い。

なお、上記の実施形態では、Ｉ／Ｐ変換装置２５０が画像受信装置２０に設けられているが、これに限定されず、例えばＩ／Ｐ変換装置２５０は表示装置１８に設けられていても良い。

＜４．画像送信処理＞
本実施形態に係る画像データの画像送信処理について説明する。本処理は、画像送信装置１０のＣＰＵが、記憶部１４０に記憶されたプログラムを実行することにより、実現される。以下においては、画像送信処理として、第１の処理例と第２の処理例について説明する。

（４−１．第１の処理例）
図６は、画像送信処理の第１の処理例を説明するためのフローチャートである。図６のフローチャートは、画像送信装置１０の画像解析部１１０が、撮像装置１４から画像データが供給されたところから開始される。

まず、レート制御部１２０は、ネットワーク１２の通信状況等から、画像データの符号化レートを取得する（ステップＳ１２）。レート制御部１２０は、取得した符号化レートをＩ／Ｐ制御部１２０に供給する。

次に、Ｉ／Ｐ制御部１３０は、記憶部１４０の品質テーブルを参照して、レート制御部１２０から供給された符号化レートに対応するインターレース評価値及びプログレッシブ評価値を取得する（ステップＳ１４）。なお、レート制御部１２０から供給された符号化レートの値が品質テーブルに存在しない場合には、Ｉ／Ｐ制御部１３０は、前述した補間処理によって、対応するインターレース評価値及びプログレッシブ評価値を取得する。

ところで、記憶部１４０にはジャンル毎に品質テーブルが記憶されており、画像解析部１１０は画像解析の際に画像データのジャンルを判別する。Ｉ／Ｐ制御部１３０は、記憶部１４０の記憶された複数の品質テーブルの中から、画像解析部１１０が判別したジャンルの品質テーブルを選択する。そして、Ｉ／Ｐ制御部１３０は、選択した品質テーブルを参照して、インターレース評価値及びプログレッシブ評価値を取得する。これにより、送信される画像データのジャンルに対応した走査方式を、高精度かつリアルタイムに設定できる。

次に、Ｉ／Ｐ制御部１３０は、取得したインターレース評価値とプログレッシブ評価値を比較する（ステップＳ１６）。比較結果、プログレッシブ評価値がインターレース評価値よりも大きい場合には（ステップＳ１６：Ｙｅｓ）、Ｉ／Ｐ制御部１３０は、プログレッシブ方式を設定する（ステップＳ１８）。

一方で、プログレッシブ評価値がインターレース評価値よりも小さい場合には（ステップＳ１６：Ｎｏ）、Ｉ／Ｐ制御部１３０は、インターレース方式を設定する（ステップＳ２０）。

Ｉ／Ｐ制御部１３０は、設定された走査方式に関する情報を符号化部１５０に供給する。符号化部１５０は、画像データを、設定された走査方式にて符号化する。例えば、画像解析部１１０から供給された画像データがプログレッシブ方式である場合に、Ｉ／Ｐ制御部１３０によってプログレッシブ方式が設定されると、符号化部１５０は、画像データの走査方式は変更せずに、符号化する。一方で、Ｉ／Ｐ制御部１３０によってインターレース方式が設定されると、符号化部１５０は、画像データの走査方式をインターレース方式に変更して、符号化する。符号化された画像データは、パケット処理部１６０によってパケット化された後に、送信部１７０によって画像受信装置２０に送信される。

上述した第１の処理例によれば、画像データの画質の破綻を抑制しつつ適切に符号化することが可能となる。撮像装置１４から画像送信装置１０へプログレッシブ方式の画像データが供給された場合を前提にして、詳細に説明する。

プログレッシブ方式の画像データの場合には、図３に示すように、符号化レートが大きい程画質が良い。このため、撮像装置１４から供給された画像データがプログレッシブ方式である場合に、レート制御部１２０により設定された符号化レートが小さいと、符号化部１５０により符号化されたプログレッシブ方式の画像データの画質が破綻してしまう恐れがある。これに対して、本処理によれば、符号化レートが小さい場合には、プログレッシブ方式からインターレース方式へ走査方式を切り替えることによって、小さい符号化レートであっても画像データの画質の破綻を防止できる。また、符号化レートが大きい場合には、プログレッシブ方式の画像データを符号化することで、高画質を維持したまま画像受信装置２０に送信できる。

（４−２．第２の処理例）
図７は、画像送信処理の第２の処理例を説明するためのフローチャートである。図７のフローチャートも、図６のフローチャートと同様に、画像送信装置１０の画像解析部１１０が、撮像装置１４から画像データを供給されたところから開始される。

上述した第１の処理例では、撮像装置１４から画像データが供給されると、Ｉ／Ｐ制御部１３０は、画像データの走査方式の設定（切り替え）を行う。これに対して、第２の処理例では、Ｉ／Ｐ制御部１３０は、画像データである映像データのシーンチェンジのタイミング時のみに、画像データの走査方式の設定（切り替え）を行う。

第２の処理例では、まず、画像解析部１１０が、画像データのシーンチェンジのタイミングに達するか否かを判定する（ステップＳ３２）。画像解析部１１０がシーンチェンジのタイミングに達すると判定した場合には（ステップＳ３２：Ｙｅｓ）、Ｉ／Ｐ制御部１３０は、符号化レートに応じた画像データの走査方式の設定を行うべく、ステップＳ３４〜Ｓ４２の処理を行う。

ステップＳ３４〜Ｓ４２の処理は、図６のステップＳ１２〜Ｓ２０の処理と同様である。つまり、Ｉ／Ｐ制御部１３０は、符号化レートと品質テーブルに基づいて、画像データの走査方式をインターレース方式又はプログレッシブ方式を設定する。その後、符号化部１５０は、画像データを、設定された走査方式にて符号化する。これにより、第２の処理例でも、第１の処理例と同様に画像データの画質の破綻を抑制しつつ適切に符号化することが可能となる。

一方で、画像解析部１１０がシーンチェンジのタイミングに達しないと判定した場合には（ステップＳ３４：Ｎｏ）、Ｉ／Ｐ制御部１３０による画像データの走査方式の切り替えは行われない。このため、符号化部１５０は、シーンチェンジが生じる迄は、同じ走査方式で画像データを符号化する。

上述した第２の処理例によれば、画像データである映像データのシーンチェンジに合わせて、インターレース方式とプログレッシブ方式を切り替えることができる。これにより、画像データの走査方式の切り替え数が増大することを防止できる。特に、インターレース評価値とプログレッシブ評価値の差が小さい符号化レート（例えば、図３の品質テーブルでは１５Ｍｂｐｓ〜２０Ｍｂｐｓ）の場合には、その後の符号化レートの変動に伴い走査方式の切り替えが頻繁に生じ易くなるが、本処理を適用することでかかる問題を改善できる。また、本処理によれば、頻繁に走査方式が切り替わることに起因するユーザーの不快感を軽減させることができる。

なお、第２の処理例においては、シーンチェンジにタイミングに達すると判定された場合に、符号化レートに応じた画像データの走査方式の設定を行うこととしたが、これに限定されない。例えば、符号化レートに応じた画像データの走査方式を選択した後に、シーンチェンジのタイミングに達するか否かを判定し、シーンチェンジのタイミングの際に選択された走査方式に切り替えることとしても良い。すなわち、選択された走査方式の切り替えを、シーンチェンジのタイミングまで保留することとなる。なお、保留中に、選択された走査方式（例えば、インターレース方式）と異なる走査方式（例えば、プログレッシブ方式）が新たに選択された場合には、保留状態が解除され、かつ走査方式の切り替えが行われなくても良い。すなわち、画像データの走査方式が、保留前の走査方式（プログレッシブ方式）で維持される。

＜５．まとめ＞
上述したように、本実施形態の画像送信装置１０においては、レート制御部１２０から供給された符号化レートに応じて、ネットワーク１２を介して画像受信装置２０に送信される画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する。これにより、画像データの画質の破綻を抑制しつつ適切に符号化することが可能となる。具体的には、符号化レートが小さい場合には、プログレッシブ方式からインターレース方式へ走査方式を切り替えることによって、小さい符号化レートであっても画像データの画質の破綻を防止できる。また、符号化レートが大きい場合には、プログレッシブ方式の画像データを符号化することで、高画質を維持したまま画像受信装置２０に送信できる。

また、画像データの走査方式を切り替えることで、画像データの符号化レートもより自由に変化させることができる。つまり、インターレース方式の画像データの場合には、符号化レートを小さくし、プログレッシブ方式の画像データの場合には、符号化レートを大きくできる。この結果、ネットワークの輻輳が発生し難くなる。

また、品質テーブルを用いてインターレース方式又はプログレッシブ方式を設定するので、ユーザーレベルの体感品質を有効に活用することができる。

また、映像データのシーンチェンジのタイミングで、インターレース方式とプログレッシブ方式を切り替える場合には、切り替え時の画質の変化を目立たなくさせることができる。例えば、シーンチェンジに合わせてプログレッシブ方式からインターレース方式に切り替えることで、画質の劣化が目立つことを抑制できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１ 画像通信システム
１０ 画像送信装置
１２ ネットワーク
１４ 撮像装置
１８ 表示装置
２０ 画像受信装置
１１０ 画像解析部
１２０ レート制御部
１３０ Ｉ／Ｐ制御部
１４０ 記憶部
１５０ 符号化部
１６０ パケット処理部
１７０ 送信部
２１０ 受信部
２２０ パケット処理部
２３０ 復号化部
２４０ Ｉ／Ｐ変換判断部
２５０ Ｉ／Ｐ変換装置

Claims (10)

1. 送信される画像データを符号化する符号化部と、
   前記符号化部による前記画像データの符号化レートを取得するレート取得部と、
   前記レート取得部により取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定する設定部と、
   を備える、送信装置。
2. 前記符号化レートの大きさと、前記インターレース方式の画像データの画質及び前記プログレッシブ方式の画像データの画質と、を関連づけたテーブル情報を記憶する記憶部を更に備え、
   前記設定部は、取得された前記符号化レートと、前記記憶部に記憶された前記テーブル情報とに基づいて、前記インターレース方式又は前記プログレッシブ方式を設定する、請求項１に記載の送信装置。
3. 前記記憶部は、前記テーブル情報を前記画像データのジャンル毎に記憶し、
   前記設定部は、取得された前記符号化レートと、符号化される前記画像データのジャンルに対応した前記テーブル情報とに基づいて、前記インターレース方式又は前記プログレッシブ方式を設定する、請求項２に記載の送信装置。
4. 前記テーブル情報における前記インターレース方式の画像データの画質及び前記プログレッシブ方式の画像データの画質は、ユーザー評価値によって設定される、請求項２に記載の送信装置。
5. 前記設定部は、取得された前記符号化レートが所定の閾値よりも大きい場合には、前記プログレッシブ方式を設定し、取得された前記符号化レートが所定の閾値よりも小さい場合には、前記インターレース方式を設定する、請求項１に記載の送信装置。
6. 符号化される前記画像データは、動画像データであり、
   前記動画像データのシーンチェンジを検出する画像解析部を更に備え、
   前記設定部は、前記画像解析部により検出される前記シーンチェンジのタイミング時に、前記符号化レートに応じて前記インターレース方式又は前記プログレッシブ方式を設定する、請求項５に記載の送信装置。
7. 前記所定の閾値は、第１閾値であり、
   前記設定部は、
   取得された前記符号化レートが、前記第１閾値よりも大きい第２閾値より小さく、かつ前記第１閾値よりも小さい第３閾値よりも大きい場合には、前記シーンチェンジのタイミング時に前記インターレース方式又は前記プログレッシブ方式を設定し、
   取得された前記符号化レートが、前記第２閾値よりも大きい場合、又は前記第３閾値よりも小さい場合には、前記シーンチェンジのタイミング以外のタイミング時に前記インターレース方式又は前記プログレッシブ方式を設定する、請求項６に記載の送信装置。
8. 前記設定部は、前記画像解析部によりシーンチェンジが検出されない場合には、前記符号化レートと前記所定の閾値を比較してから所定期間経過後に、前記符号化レートに応じて前記インターレース方式又は前記プログレッシブ方式を設定する、請求項６に記載の送信装置。
9. 送信される画像データを符号化するステップと、
   前記画像データの符号化レートを取得するステップと、
   取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定するステップと、
   を含む、送信方法。
10. 送信される画像データを符号化するステップと、
    前記画像データの符号化レートを取得するステップと、
    取得された前記符号化レートに応じて、符号化される前記画像データの走査方式をインターレース方式又はプログレッシブ方式に設定するステップと、
    をコンピュータに実行させるための、プログラム。
    

Images