JP2012120011A - 動画像通信装置、デジタルビデオカメラ、記録媒体および半導体集積回路 - Google Patents

Abstract

【課題】共有する動画像データの注目すべきシーンの画質を良好に保ちつつ、リアルタイム性を確保することができる動画像通信装置を提供する。
【解決手段】動画像通信装置（１）は、第１の動画像データを出力する撮像装置（２０１）と、第２の動画像データとデコード情報とを出力するデコーダ（２０２）と、第１および第２の動画像データのいずれかを選択する選択装置（２０３）と、メタデータとデコード情報とを得るサイド情報取得装置（２０４）と、伝送路の帯域状態と第２のフォーマットとを得る伝送路情報取得装置（２０５）と、第２のストリームデータを生成するエンコーダ（２０６）と、デコード情報、メタデータ、帯域状態および第２のフォーマットに従って、エンコーダを制御する制御装置（２０７）と、第２の動画像データと第２のストリームデータとを保持するメモリ（２０８）と、メモリ内のデータを伝送路に送信する通信装置（２０９）とを備える。
【選択図】図２

Description

本発明は、動画像通信装置に関し、特に、記録した動画像データを伝送路を介して伝送する技術に関するものである。

デジタルビデオカメラなどの撮像手段を持つ動画像通信装置をインターネットに接続可能なパソコンなどの情報端末に接続することで、テレビ電話機能を実現することが可能である。このテレビ電話機能を利用して、動画像通信装置で過去に撮像した動画像データを通話者間で共有し、互いに同じ動画像データを見ながら通話することが求められている。通話者間で動画像データを共有する場合には、その動画像データのフォーマットやビットレートなどを通信環境に合わせて変更し、再エンコード（トランスコード）する必要がある。また、共有する動画像データのリアルタイム性を保つためにネットワークトラフィックにおけるレート制御を行う必要がある。

従来、レート制御を行う技術として、ネットワークトラフィックの状態を監視し、トラフィック状態に応じてエンコーダの制御を行うものがある（例えば、特許文献１参照）。

特開２０１０−１７１７２５号公報

上記特許文献１に記載された技術は、ネットワークトラフィックの状態のみに応じてレート制御を実施するものである。つまり、共有する動画像データのシーンに関係なくレート制御が実施されることになる。その結果、共有する動画像データの中でも特に送信者が受信者に見てほしいシーンのビットレートが低下してしまい、注目すべきシーンであるにもかかわらず、そのシーンの画質が劣化してしまうことがある。

かかる点に鑑みて、本発明は、共有する動画像データの注目すべきシーンの画質を良好に保ちつつ、リアルタイム性を確保することができる動画像通信装置を提供することを課題とする。

上記課題を解決するため本発明によって次のような解決手段を講じた。例えば、第１のフォーマットでエンコードされた第１のストリームデータを伝送路を介して送信することが可能な動画像通信装置は、画像を撮像して第１の動画像データを出力する撮像装置と、第１のストリームデータをデコードして第２の動画像データを生成するとともに、当該デコードを行った際に得られるデコード情報を取得するデコーダと、第１および第２の動画像データのうちいずれか一方を選択する選択装置と、第１のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示す第１のメタデータとデコード情報とを取得するサイド情報取得装置と、伝送路の帯域状態と伝送路に伝送可能なストリームデータのフォーマットに相当する第２のフォーマットとを取得する伝送路情報取得装置と、少なくとも第１および第２のフォーマットのいずれか一方で選択装置で選択された動画像データをエンコードして第２のストリームデータを生成するエンコーダと、サイド情報取得装置によって得られたデコード情報および第１のメタデータと、伝送路情報取得装置によって得られた帯域状態および第２のフォーマットとに従って、エンコーダを制御する制御装置と、デコーダによって生成された第２の動画像データと、エンコーダによって生成された第２のストリームデータとを保持するメモリと、メモリに保持された第２の動画像データおよび第２のストリームデータを伝送路に送信する通信装置とを備えている。

これによると、制御装置は、デコード情報および第２のフォーマットに基づいて、エンコーダで生成されるストリームデータのフォーマットの制御が可能であるとともに、そのストリームデータを帯域状態に応じてレート制御することが可能である。さらに、制御装置は、メタデータに基づいて、ストリームデータに含まれるフレームのうち注目すべきフレームを検出することができる。そして、制御装置が注目すべきフレームのみをエンコードするようにエンコーダに指示することで、エンコードされるフレーム数が削減される。つまり、ストリームデータ内に注目すべきでないフレームが含まれている場合に、エンコーダで生成されるストリームデータのデータ量が減少するため、通信装置から送信されるストリームデータのデータ量も減少する。したがって、ストリームデータを送信する場合に、リアルタイム性を維持することができる。また、ストリームデータ内に注目すべきフレームを残しつつストリームデータのデータ量を減少させることで、ストリームデータのビットレートを低下させずに済む。つまり、ストリームデータ内の注目すべきフレームの画質を良好に保つことができる。

具体的に、エンコーダは、選択装置により第１の動画像データが選択された場合、第１のフォーマットで第１の動画像データをエンコードする際に、第１の動画像データに含まれるフレームのうちどのフレームを間引き対象とするのかを示すフレーム情報を生成してもよい。

好ましくは、制御装置は、帯域状態が閾値よりも小さいと判断した場合に、選択装置によって選択された動画像データのフレームレートを下げるようにエンコーダを制御する。あるいは、制御装置は、帯域状態が閾値よりも小さいと判断し、且つ、フレーム情報に基づいて、第１の動画像データに含まれるフレームのうち間引き対象でないフレームを検出した場合に、当該フレームの圧縮率を高めるようにエンコーダを制御してもよい。

また、サイド情報取得装置は、選択装置により第１の動画像データが選択された場合に、当該動画像通信装置と通信を行う通信先から送信された第３のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示す第２のメタデータを取得してもよい。そして、制御装置は、第２のメタデータに基づいて、第３のストリームデータに注目すべきフレームが一定期間連続して含まれていると判断した場合、一定期間において、第１の動画像データのフレームレートを下げる、あるいは、第１の動画像データの圧縮率を高めるようにエンコーダを制御してもよい。

これによると、通信先からのストリームデータに注目すべきフレームが一定期間連続して含まれる場合に、エンコード対象の動画像データのフレームレートを下げたり、圧縮率を高めたりすることで、エンコーダで生成されるストリームデータのデータ量が削減される。したがって、一定期間において、動画像通信装置から送信されるストリームデータのデータ量が減少する。これにより、一定期間、データ量が減少した分だけ伝送路の帯域に空きができるため、その空いた帯域を通信先から送信されるストリームデータのビットレートに優先的に割り当てることができる。

本発明によると、動画像データに含まれる注目すべきフレームを残したまま送信データ量を削減することができるため、注目すべきシーンの画質を良好に保ちつつ、リアルタイム性を確保することができる。

本発明の一実施形態に係る動画像通信装置を用いたテレビ電話システムの概略図である。 本発明の一実施形態に係る動画像通信装置の構成を示すブロック図である。 本発明の一実施形態に係る動画像通信装置がメタデータを生成するときの処理を示すフローチャートである。 本発明の一実施形態に係る動画像通信装置で生成されるメタデータの構成例を示す図である。 本発明の一実施形態に係る動画像通信装置が記録済みのストリームデータを送信するときの処理を示すフローチャートである。 本発明の一実施形態に係る動画像通信装置がストリームデータを送信するときの別の処理を示すフローチャートである。 本発明の別の実施形態に係る動画像通信装置が記録済みのストリームデータを送信するときの処理を示すフローチャートである。

図１は、本発明の一実施形態に係る動画像通信装置をインターネットに接続可能なパソコンなどの情報端末に接続することで、テレビ電話システムを実現した場合の構成を示した図である。

図１に示すテレビ電話システムは、動画像通信装置１と、情報端末１０と、動画像通信装置２と、情報端末２０とから構成される。動画像通信装置１および動画像通信装置２はそれぞれ、デジタルビデオカメラなどの撮像手段を持つ動画像通信装置である。

動画像通信装置１は、伝送路を介して情報端末１０とデータの送受信をすることが可能である。動画像通信装置１と情報端末１０とが通信する際の伝送路として、例えばＵＳＢ（Universal Serial Bus）が使用される。動画像通信装置１は、過去に撮影した記録済みのストリームデータと、記録済みのストリームデータをデコードした動画像データとを送信する。ここで、記録済みのストリームデータとは、例えば、Ｈ．２６４（MPEG(Moving Picture Experts Group)-4 Part 10 Advanced Video Coding）およびＭＰＥＧ２などのコーデック規格により符号化されたデータである。また、記録済みのストリームデータをデコードした動画像データとは、例えばＹＵＶ形式のデータである。

動画像通信装置２は、伝送路を介して情報端末２０とデータの送受信をすることが可能である。動画像通信装置２と情報端末２０とが通信する際の伝送路として、例えばＵＳＢが使用される。動画像通信装置２は、例えば、撮影した動画像データと、撮影した動画像データをエンコードしたストリームデータとを送信する。ここで、ストリームデータとは、例えば、Ｈ．２６４やＭＰＥＧ２などのコーデック規格により符号化されたデータである。また、動画像データは、例えばＹＵＶ形式のデータである。

情報端末１０および情報端末２０はそれぞれ、例えば、インターネットに接続可能なパソコンなどの電子機器であり、インターネットを介して相互にデータの送受信が可能である。

情報端末１０は、動画像通信装置１から受信したストリームデータをインターネットを介して情報端末２０に送信するとともに、動画像通信装置１から受信した動画像データをサブ画面に表示する。

情報端末２０は、動画像通信装置２から受信したストリームデータをインターネットを介して情報端末１０に送信するとともに、動画像通信装置２から受信した動画像データをサブ画面に表示する。

情報端末１０および情報端末２０はそれぞれ、インターネットを介して受信したストリームデータをデコードする。そして、情報端末１０および情報端末２０は、デコードした結果を、それぞれのメイン画面に表示する。

次に、本実施形態に係る動画像通信装置の構成について説明する。図２は、本実施形態に係る動画像通信装置の構成を示すブロック図である。動画像通信装置は、撮像装置２０１と、デコーダ２０２と、選択装置２０３と、サイド情報取得装置２０４と、伝送路情報取得装置２０５と、エンコーダ２０６と、制御装置２０７と、メモリ２０８と、通信装置２０９とから構成される。入力ストリーム保持部２１０には、撮像装置２０１で過去に撮像されたストリームデータ２１１とストリームデータ２１１についてのメタデータ２１２とが保持されている。ここで、メタデータとは、ストリームデータ２１１に含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示すデータである。

撮像装置２０１は、デジタルビデオカメラなどの電子機器に搭載されており、ズーム調整用のズームレンズを備えた撮像用光学系と、この撮像用光学系により得られた光情報を電気信号に変換するＣＣＤあるいはＣＭＯＳなどの光電変換素子を備える撮像デバイスと、撮像デバイスから出力された電気信号をデジタル信号に変換し、デジタル信号処理を施す画像信号処理デバイスとから構成される。

デコーダ２０２は、例えばＨ．２６４やＭＰＥＧ２などのコーデック規格により符号化されたストリームデータ２１１をデコードし、動画像データを生成する。また、デコーダ２０２は、ストリームデータ２１１をデコードした際に得ることができるデコード情報を出力することができる。このデコード情報には、ストリームデータ２１１に含まれるフレームについての、画像サイズとピクチャタイプとが少なくとも含まれる。なお、デコード情報に動きベクトルおよびタイムスタンプが含まれていてもよい。

選択装置２０３は、撮像装置２０１から入力された動画像データおよびデコーダ２０２から入力された動画像データのいずれかを選択し、出力することが可能である。選択装置２０３の選択は、例えば外部スイッチにより任意に切り替えることができる。

サイド情報取得装置２０４は、デコーダ２０２から出力されたデコード情報と、入力ストリーム保持部２１０内のメタデータ２１２とを取得し、保持しておくことが可能である。また、サイド情報取得装置２０４は、動画像通信装置に接続されている情報端末がインターネットなどのネットワークを介して他の情報端末と通信を行う場合に、他の情報端末から送信されたメタデータを通信装置２０９を介して取得し、保持しておくことが可能である。

伝送路情報取得装置２０５は、動画像通信装置に接続されている情報端末がインターネットなどのネットワークに接続されている場合に、ネットワークの帯域情報を通信装置２０９を介して取得することが可能である。また、伝送路情報取得装置２０５は、動画像通信装置に接続されている情報端末がインターネットなどのネットワークを介して他の情報端末と通信を行う場合に、動画像通信装置に接続されている情報端末と他の情報端末との間で相互に取り扱うことができるストリームデータのフォーマット情報を通信装置２０９を介して取得することが可能である。このフォーマット情報には、通信装置２０９を介して取得したストリームデータに含まれるフレームについての、画像サイズと、ピクチャタイプとが少なくとも含まれる。なお、伝送路情報取得装置２０５は、通信装置２０９を介して、動画像通信装置と情報端末との間の伝送路の帯域情報、および当該伝送路に伝送可能なストリームデータのフォーマット情報を取得してもよい。

エンコーダ２０６は、制御装置２０７の指示に従って、選択装置２０３から出力された動画像データを、例えば、Ｈ．２６４やＭＰＥＧ２などのコーデック規格に準じてエンコードし、ストリームデータを生成することが可能である。また、エンコーダ２０６は、選択装置２０３の出力が撮像装置２０１から出力された動画像データである場合に、メタデータ２１２を生成することが可能である。

制御装置２０７は、サイド情報取得装置２０４から出力されたデコード情報およびメタデータ２１２と、伝送路情報取得装置２０５から出力されたネットワークの帯域情報およびフォーマット情報とに従って、エンコード方法を決定し、エンコーダ２０６を制御することが可能である。また、動画像通信装置に接続されている情報端末が他の情報端末からストリームデータを受信する場合に、制御装置２０７は、サイド情報取得装置２０４が通信装置２０９を介して取得したメタデータに従って、エンコード方法を決定し、エンコーダ２０６を制御してもよい。

メモリ２０８は、デコーダ２０２から出力された動画像データを表示画像として保持することが可能である。また、メモリ２０８は、エンコーダ２０６から出力されたストリームデータを保持することが可能である。

通信装置２０９は、例えば、ＵＳＢなどの伝送路に接続可能な通信デバイスであり、メモリ２０８から表示画像とストリームデータ（動画像データの圧縮データとメタデータ）とを取得し、伝送路に送出することが可能である。また、通信装置２０９は、動画像通信装置に接続されている情報端末がインターネットなどのネットワークに接続されている場合に、ネットワークの帯域情報、動画像通信装置に接続されている情報端末と他の情報端末との間で相互に取り扱うことができるストリームデータのフォーマット情報、および他の情報端末から送信されたメタデータとを伝送路を介して取得することが可能である。

なお、図１に示す動画像通信装置１および動画像通信装置２のうち少なくとも一方が、図２に示すような構成の動画像通信装置であってもよい。

＜動画像通信装置におけるメタデータ生成処理＞
次に、図２に示す動画像通信装置がメタデータを生成するときの処理について説明する。図３は、図２に示す動画像通信装置がメタデータを生成するときのフローチャートである。

図３において、選択装置２０３によって撮像装置２０１から入力された動画像データが選択された場合（Ｓ３０１の撮像装置２０１の動画像データの場合）、エンコーダ２０６はエンコード処理（Ｓ３０２）を開始する。エンコーダ２０６は、エンコード処理において、エンコード対象のフレーム内に注目すべき対象物が含まれているかどうか、例えば人物の顔情報が含まれているかどうかの判定を行う（Ｓ３０３）。エンコード対象のフレーム内に顔情報が含まれている場合（Ｓ３０３のＹｅｓ肢）、エンコーダ２０６は、メタデータ生成処理を行う（Ｓ３０４）。具体的に、エンコーダ２０６は、エンコード対象のフレームの番号とそのフレームのタイムスタンプ情報（ＤＴＳ（Decoding Time Stamp）値、ＰＴＳ（Presentation Time Stamp）値）との組み合わせで構成されるフレーム情報を生成する（Ｓ３０４）。そして、エンコーダ２０６は、顔情報が含まれる各フレームについて同様の処理を行い、１つ以上のフレーム情報からなるメタデータとして、例えば図４に示すようなメタデータ２１２を生成する。

一方、選択装置２０３によってデコーダ２０２から入力された動画像データが選択された場合（Ｓ３０１のデコーダ２０２の動画像データの場合）、あるいは、エンコード対象のフレーム内に顔情報が含まれていない場合（Ｓ３０３のＮｏ肢）、エンコーダ２０６は、フレーム情報を生成せずにエンコード処理（Ｓ３０２，Ｓ３０５）のみを実施する。

なお、注目すべき対象物が人物の顔である場合を例に挙げて説明したが、人物の顔だけでなく、動物や建築物など特定の被写体を注目すべき対象物としてもよい。また、エンコーダ２０６は、エンコード対象のフレーム内に注目すべき対象物が含まれていない場合に、そのフレームの番号とタイムスタンプ情報以外の例えば空データとの組み合わせを、フレーム情報として生成してもよい。

＜動画像通信装置が記録済みストリームデータを送信するときの処理＞
次に、図２に示す動画像通信装置が記録済みのストリームデータを通信先に送信するときの処理について説明する。図５は、動画像通信装置が記録済みのストリームデータを送信するときの処理を示すフローチャートである。

まず、選択装置２０３によってデコーダ２０２から入力された動画像データが選択された場合（Ｓ５０１のデコーダ２０２の動画像データの場合）について説明する。制御装置２０７は、サイド情報取得装置２０４からメタデータ２１２およびデコード情報と、伝送路情報取得装置２０５からフォーマット情報とを取得する。制御装置２０７は、デコード情報に含まれる画像サイズおよびピクチャタイプと、フォーマット情報に含まれる画像サイズおよびピクチャタイプとを比較し、比較結果に基づいて、ストリームデータ２１１を、動画像通信装置と通信先との間で相互に取り扱うことができるようにエンコード方法を決定する（Ｓ５０２）。そして、制御装置２０７は、エンコーダ２０６にエンコード方法を指示する。エンコーダ２０６は、指示されたエンコード方法でエンコード処理を開始する（Ｓ５０３）。また、制御装置２０７は、メタデータ２１２の中に、エンコード対象のフレームについてのフレーム情報があるか否かを確認する（Ｓ５０４）。フレーム情報がない場合（Ｓ５０４のＮｏ肢）、制御装置２０７は、そのフレームは注目すべきフレームでなく間引き対象のフレームであると判断し、エンコーダ２０６に対して、そのフレームを間引くように指示する。

そして、エンコーダ２０６は、制御装置２０７の指示に従って、そのフレームの間引き処理を行う（Ｓ５０５）。エンコーダ２０６で生成されるストリームデータから注目すべきでないフレームが間引きされることで、フレームレートを下げることが可能となる。

一方、メタデータ２１２の中に、エンコード対象のフレームについてのフレーム情報がある場合（Ｓ５０４のＹｅｓ肢）、制御装置２０７は、そのフレームは注目すべきフレームであり、間引き対象ではないと判断し、エンコーダ２０６に対して、そのフレームの間引き処理（Ｓ５０５）をスキップするように指示する。

次に、選択装置２０３によって撮像装置２０１から入力された動画像データが選択された場合（Ｓ５０１の撮像装置２０１の信号の場合）について説明する。制御装置２０７は、サイド情報取得装置２０４からデコード情報と、伝送路情報取得装置２０５からフォーマット情報とを取得し、エンコード方法を決定する（Ｓ５０６）。そして、制御装置２０７は、エンコード方法をエンコーダ２０６に指示する。エンコーダ２０６は、指示されたエンコード方法でエンコードを開始する（Ｓ５０７）。

以上、本実施形態に係る動画通信装置から記録済みのストリームデータを送信する場合、ストリームデータ内の注目すべきでないシーンについてはフレームが間引きされるため、ストリームデータのデータ量が削減される。したがって、データ量が少なくて済むため、リアルタイム性を維持しつつ、動画像通信装置と通信先との間でストリームデータを共有することができる。

動画像通信装置と通信先との間のネットワークの帯域幅は限られているため、送信するストリームデータのデータ量が多い場合、ストリームデータのビットレートを下げる必要がある。ストリームデータのビットレートを下げるとストリームデータ内のシーン全体の画質が劣化することがある。ところが、本実施形態によれば、ストリームデータ内の注目すべきシーンを残しつつストリームデータのデータ量が少なくなるためストリームデータのビットレートを下げる必要がない。つまり、ストリームデータ内の注目すべきシーンについての画質の劣化を防ぐことが可能となる。

なお、制御装置２０７は、ネットワークの帯域情報が閾値よりも小さいと判断した場合に、エンコーダ２０６に対して、選択装置２０３で選択された動画像データのフレームレートを下げるように指示してもよい。あるいは、制御装置２０７は、ネットワークの帯域情報が閾値よりも小さいと判断し、且つ、メタデータ２１２の中に、エンコード対象のフレームのフレーム情報がある場合に、そのフレームの圧縮率を高めるようにエンコーダ２０６を制御してもよい。

＜動画像通信装置がストリームデータを送信するときの別の処理＞
次に、図２に示す動画像通信装置に接続された情報端末が、通信先である他の情報端末からストリームデータを受信している場合において、動画像通信装置がストリームデータを送信するときの処理について説明する。図６は、その処理を示すフローチャートである。なお、通信先からは、ストリームデータとそのストリームデータについてのメタデータが送信されるものとする。

まず、選択装置２０３によって撮像装置２０１から入力された動画像データが選択された場合（Ｓ６０１の撮像装置２０１の動画像データの場合）について説明する。制御装置２０７は、通信先から送信されたメタデータと、そのストリームデータのフォーマット情報とを取得する。制御装置２０７は、フォーマット情報に基づいて、撮像装置２０１から入力された動画像データを、動画像通信装置と通信先との間で相互に取り扱うことができるようにエンコード方法を決定する（Ｓ６０２）。そして、制御装置２０７は、エンコーダ２０６にエンコード方法を指示する。エンコーダ２０６は、指示されたエンコード方法でエンコード処理を開始する（Ｓ６０３）。また、制御装置２０７は、通信先から送信されたメタデータに基づいて、そのストリームデータに注目すべきフレームが一定期間連続して含まれているかどうかを確認する（Ｓ６０４）。具体的に、メタデータの中に、フレームの番号が一定数分連続するフレーム情報が存在するどうかを確認する。ストリームデータに注目すべきフレームが一定期間連続して含まれている場合（Ｓ６０４のＹｅｓ肢）、制御装置２０７は、撮像装置２０１から入力される動画像データのフレームレートを下げるか、あるいは、撮像装置２０１から入力される動画像データの圧縮率を上げるようにエンコーダ２０６に指示する（Ｓ６０５）。なお、一定期間とは、例えば、１５フレーム以上である。

一方、通信先から送信されたストリームデータに注目すべきフレームが一定期間連続して含まれていない場合（Ｓ６０４のＮｏ肢）、制御装置２０７は、エンコーダ２０６に対して、Ｓ６０５の処理をスキップするように指示する。

次に、選択装置２０３によって、デコーダ２０２から入力された動画像データが選択された場合（Ｓ６０１のデコーダ２０２の動画像データの場合）について説明する。制御装置２０７は、通信先から送信されたストリームデータのフォーマット情報を取得し、フォーマット情報に基づいてエンコード方法を決定する（Ｓ６０６）。そして、制御装置２０７は、エンコーダ２０６にエンコード方法を指示する。エンコーダ２０６は、指示されたエンコード方法でエンコードを開始する（Ｓ６０７）。

以上、通信先から送信されたストリームデータに注目すべきシーンが含まれている場合に、本実施形態に係る動画通信装置が送信するストリームデータのデータ量を削減することができる。したがって、動画通信装置が送信するストリームデータのデータ量が減少した分だけ、動画通信装置と通信先との間のネットワークの帯域に空きができる。つまり、通信先は、この帯域の空きの分だけ、注目すべきシーンに含まれるフレームのビットレートを高くしてストリームデータを送信することができるため、そのシーンの画質を良好に保つことができる。

なお、図１において、情報端末１０として本発明の別の実施形態に係る動画像通信装置３を用いてもよい。図１に示すように、動画像通信装置３は、ネットワーク機能を有し、撮影機能がない動画像通信装置であってもよく、デジタルテレビやＤＶＤレコーダなどの電子機器に搭載されるものであってもよい。つまり、動画像通信装置３は、図２に示す動画像通信装置から撮像装置２０１を省略した構成である。

動画像通信装置３は、動画像通信装置１に記録されているストリームデータを、例えば、ＳＤ（Secure Digital）カードなどのストレージメディア、あるいは、ＵＳＢなどを介して取得する。また、動画像通信装置３は、インターネットを介して情報端末２０とデータの送受信が可能である。動画像通信装置３は、動画像通信装置１から取得したストリームデータを情報端末２０に送信するとともに、当該ストリームデータをデコードして動画像データを生成し、動画像データをサブ画面に表示する。

＜動画像通信装置３が記録済みストリームデータを送信するときの処理＞
以下、図１において、動画像通信装置３が動画像通信装置１から記録済みのストリームデータを取得し、通信先に送信するときの処理について説明する。

図７は、動画像通信装置３が動画像通信装置１から記録済みのストリームデータを取得して、通信先に送信するときの処理を示すフローチャートである。

まず、制御装置２０７は、動画像通信装置１から取得したストリームデータ２１１についてのメタデータ２１２およびデコード情報と、通信先から送信されたストリームデータのフォーマット情報とを取得する。制御装置２０７は、デコード情報に含まれる画像サイズおよびピクチャタイプと、フォーマット情報に含まれる画像サイズおよびピクチャタイプとを比較し、比較結果に基づいて、ストリームデータ２１１を、動画像通信装置３と通信先との間で相互に取り扱うことができるようにエンコード方法を決定する（Ｓ７０１）。そして、制御装置２０７は、エンコーダ２０６にエンコード方法を指示する。

エンコーダ２０６は、指示されたエンコード方法でエンコード処理を開始する（Ｓ７０２）。また、制御装置２０７は、メタデータ２１２の中に、エンコード対象のフレームについてのフレーム情報があるか否かを確認する（Ｓ７０３）。フレーム情報がない場合（Ｓ７０３のＮｏ肢）、制御装置２０７は、そのフレームは注目すべきでなく間引き対象のフレームであると判断し、エンコーダ２０６に対して、そのフレームを間引くように指示する。

そして、エンコーダ２０６は、制御装置２０７の指示に従って、そのフレームの間引き処理を行う（Ｓ７０４）。エンコーダ２０６で生成されるストリームデータから注目すべきでないフレームが間引きされることで、フレームレートを下げることが可能となる。

一方、メタデータ２１２の中に、エンコード対象のフレームについてのフレーム情報がある場合（Ｓ７０３のＹｅｓ肢）、制御装置２０７は、そのフレームは注目すべきであり、間引き対象ではないと判断し、エンコーダ２０６に対して、そのフレームの間引き処理（Ｓ７０４）をスキップするように指示する。

このように、撮像装置を持たない別の実施形態に係る動画通信装置３と上述したデジタルビデオカメラなどの撮像装置を備えた動画像通信装置とを組み合わせてもよい。

なお、図２に示す、デコーダ２０２、選択装置２０３、サイド情報取得装置２０４、伝送路情報取得装置２０５、エンコーダ２０６、制御装置２０７、メモリ２０８および通信装置２０９を同一の半導体集積回路上に配置してもよい。

また、コンピュータに、撮像装置２０１に動画像データを撮像させるステップと、デコーダ２０２に、ストリームデータ２１１をデコードさせるとともに、デコード情報を取得させるステップと、選択装置２０３に撮像装置２０１の出力およびデコーダ２０２の出力のいずれか一方を選択させるステップと、サイド情報取得装置２０４にメタデータとデコード情報とを取得させるステップと、伝送路情報取得装置２０５に帯域情報とフォーマット情報とを取得させるステップと、エンコーダ２０６に、選択装置２０３で選択された動画像データをエンコードさせてストリームデータを生成させるステップと、制御装置２０７に、デコード情報、メタデータ、帯域状態およびフォーマットに従って、エンコード方法を制御させるステップと、メモリ２０８に、デコーダ２０２の出力とエンコーダ２０６の出力を保持させるステップと、通信装置２０９に、メモリ２０８に保持されたデータを伝送路に送信させるステップとを実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。また、このプログラムをインターネット等の通信ネットワークを介して配信してもよい。

以上、動画像通信装置について、２つの実施形態に基づいて説明したが、本発明は、これら実施形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施形態に施したものや、上記実施形態に異なる実施形態の構成要素を組合わせた形態も、本発明の範囲に含まれる。

本発明に係る動画像通信装置は、特にデジタルビデオカメラや携帯電話などの撮像機能を備える電子機器、あるいはデジタルテレビやＤＶＤレコーダなどのネットワークに接続可能な電子機器一般に有用である。

１，２，３ 動画像通信装置
２０１ 撮像装置
２０２ デコーダ
２０３ 選択装置
２０４ サイド情報取得装置
２０５ 伝送路情報取得装置
２０６ エンコーダ
２０７ 制御装置
２０８ メモリ
２０９ 通信装置

Claims (11)

1. 第１のフォーマットでエンコードされた第１のストリームデータを伝送路を介して送信することが可能な動画像通信装置であって、
   動画像を撮像して第１の動画像データを出力する撮像装置と、
   前記第１のストリームデータをデコードして第２の動画像データを生成するとともに、当該デコードを行った際に得られるデコード情報を取得するデコーダと、
   前記第１および第２の動画像データのうちいずれか一方を選択する選択装置と、
   前記第１のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示す第１のメタデータと前記デコード情報とを取得するサイド情報取得装置と、
   前記伝送路の帯域状態と前記伝送路に伝送可能なストリームデータのフォーマットに相当する第２のフォーマットとを取得する伝送路情報取得装置と、
   少なくとも前記第１および第２のフォーマットのいずれか一方で前記選択装置で選択された動画像データをエンコードして第２のストリームデータを生成するエンコーダと、
   前記サイド情報取得装置によって得られた前記デコード情報および前記第１のメタデータと、前記伝送路情報取得装置によって得られた前記帯域状態および前記第２のフォーマットとに従って、前記エンコーダを制御する制御装置と、
   前記デコーダによって生成された前記第２の動画像データと、前記エンコーダによって生成された前記第２のストリームデータとを保持するメモリと、
   前記メモリに保持された前記第２の動画像データおよび前記第２のストリームデータを前記伝送路に送信する通信装置とを備えている
   ことを特徴とする動画像通信装置。
2. 請求項１の動画像通信装置において、
   前記制御装置は、前記選択装置により前記第２の動画像データが選択されている場合に、前記第１のメタデータに基づいて、前記第１のストリームデータに含まれるフレームのうち注目すべきでないフレームを検出し、前記第２のストリームデータから当該注目すべきでないフレームに相当するフレームを間引くように前記エンコーダを制御する
   ことを特徴とする動画像通信装置。
3. 請求項１の動画像通信装置において、
   前記デコード情報は、前記第１のストリームデータに含まれるフレームについての、画像サイズ、ピクチャタイプ、動きベクトル、およびタイムスタンプを含む
   ことを特徴とする動画像通信装置。
4. 請求項１の動画像装置において、
   前記エンコーダは、前記選択装置により前記第１の動画像データが選択された場合、前記第１のフォーマットで前記第１の動画像データをエンコードする際に、前記第１の動画像データに含まれるフレームのうちどのフレームを間引き対象とするのかを示すフレーム情報を生成する
   ことを特徴とする動画像通信装置。
5. 請求項１の動画像通信装置において、
   前記制御装置は、前記帯域状態が閾値よりも小さいと判断した場合に、前記選択装置によって選択された動画像データのフレームレートを下げるように前記エンコーダを制御する
   ことを特徴とする動画像通信装置。
6. 請求項４の動画像通信装置において、
   前記制御装置は、前記帯域状態が閾値よりも小さいと判断し、且つ、前記フレーム情報に基づいて、前記第１の動画像データに含まれるフレームのうち間引き対象でないフレームを検出した場合に、当該フレームの圧縮率を高めるように前記エンコーダを制御する
   ことを特徴とする動画像通信装置。
7. 請求項１の動画像通信装置において、
   前記サイド情報取得装置は、前記選択装置により前記第１の動画像データが選択されている場合に、当該動画像通信装置と通信を行う通信先から送信された第３のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示す第２のメタデータを取得する
   ことを特徴とする動画像通信装置。
8. 請求項７の動画像通信装置において、
   前記制御装置は、前記第２のメタデータに基づいて、前記第３のストリームデータに注目すべきフレームが一定期間連続して含まれていると判断した場合、前記一定期間において、前記第１の動画像データのフレームレートを下げる、あるいは、前記第１の動画像データの圧縮率を高めるように前記エンコーダを制御する
   ことを特徴とする動画像通信装置。
9. 請求項１の動画通信装置を備えている
   ことを特徴とするデジタルビデオカメラ。
10. コンピュータに、第１のフォーマットでエンコードされた第１のストリームデータを伝送路を介して送信するステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    第１の動画像データを撮像装置に撮像させるステップと、
    前記第１のストリームデータをデコードして第２の動画像データを生成するとともに、当該デコードを行った際に得られるデコード情報を取得するステップと、
    前記第１および第２の動画像データのうちいずれか一方を選択装置に選択させるステップと、
    前記第１のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示すメタデータと前記デコード情報とを取得するステップと、
    前記伝送路の帯域状態および前記伝送路に伝送可能なストリームデータのフォーマットに相当する第２のフォーマットを取得するステップと、
    少なくとも前記第１および第２のフォーマットのいずれか一方で前記選択装置に選択された動画像データをエンコードして第２のストリームデータを生成するステップと、
    前記デコード情報、前記メタデータ、前記帯域状態および前記第２のフォーマットに従って、前記エンコードの方法を制御するステップと、
    前記第２の動画像データと前記第２のストリームデータとをメモリに保持させるステップと、
    前記メモリに保持された前記第２の動画像データおよび前記第２のストリームデータを前記伝送路に送信するステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 第１のフォーマットでエンコードされた第１のストリームデータを伝送路を介して送信することが可能な半導体集積回路であって、
    前記第１のストリームデータをデコードして第２の動画像データを生成するとともに、当該デコードを行った際に得られるデコード情報を取得するデコーダと、
    撮像装置から得られる第１の動画像データおよび前記第２の動画像データのうちいずれか一方を選択する選択装置と、
    前記第１のストリームデータに含まれるフレームのうちどのフレームが注目すべきフレームであるのかを示すメタデータと前記デコード情報とを取得するサイド情報取得装置と、
    前記伝送路の帯域状態と前記伝送路に伝送可能なストリームデータのフォーマットに相当する第２のフォーマットとを取得する伝送路情報取得装置と、
    少なくとも前記第１および第２のフォーマットのいずれか一方で前記選択装置で選択された動画像データをエンコードして第２のストリームデータを生成するエンコーダと、
    前記サイド情報取得装置によって前記デコード情報および前記メタデータと、前記伝送路情報取得装置によって得られた前記帯域状態および前記第２のフォーマットとに従って、前記エンコーダを制御する制御装置と、
    前記デコーダによって生成された前記第２の動画像データと、前記エンコーダによって生成された前記第２のストリームデータとを保持するメモリと、
    前記メモリに保持された前記第２の動画像データおよび前記第２のストリームデータを前記伝送路に送信する通信装置とを備えている
    ことを特徴とする半導体集積回路。

Images