JP2002330440A - 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置 - Google Patents

画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置

Info

Publication number
JP2002330440A
JP2002330440A JP2001133770A JP2001133770A JP2002330440A JP 2002330440 A JP2002330440 A JP 2002330440A JP 2001133770 A JP2001133770 A JP 2001133770A JP 2001133770 A JP2001133770 A JP 2001133770A JP 2002330440 A JP2002330440 A JP 2002330440A
Authority
JP
Japan
Prior art keywords
moving image
image
image data
encoding
transmission method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001133770A
Other languages
English (en)
Inventor
Hiroyuki Yasuda
弘幸 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001133770A priority Critical patent/JP2002330440A/ja
Priority to EP20020009681 priority patent/EP1259080B1/en
Priority to DE2002614622 priority patent/DE60214622T2/de
Priority to US10/133,420 priority patent/US7529298B2/en
Publication of JP2002330440A publication Critical patent/JP2002330440A/ja
Priority to US12/350,993 priority patent/US20090122859A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 本発明は、画像伝送方法、画像伝送方法のプ
ログラム、画像伝送方法のプログラムを記録した記録媒
体及び画像伝送装置に関し、例えばネットワークを介し
て動画像ストリーミングを配信する場合に適用して、１
つのピクチャーの特定の領域についてのみデータ圧縮率
を小さくして動画像ストリーミングを配信する場合等
に、ユーザーの要望に的確に対応することができるよう
にする。 【解決手段】 本発明は、全体の画像データＤＶを高い
データ圧縮率により送出すると共に、伝送対象より取得
した位置情報ＤＰを基準にして一部領域（ＤＶ１）を高
精彩により伝送する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像伝送方法、画
像伝送方法のプログラム、画像伝送方法のプログラムを
記録した記録媒体及び画像伝送装置に関し、例えばネッ
トワークを介して動画像ストリーミングを配信する場合
に適用することができる。本発明は、全体の画像データ
を高いデータ圧縮率により送出すると共に、伝送対象よ
り取得した位置情報を基準にして一部領域を高精細によ
り伝送することにより、１つのピクチャーの特定の領域
についてのみデータ圧縮率を小さくして動画像ストリー
ミングを配信する場合等に、ユーザーの要望に的確に対
応することができるようにする。
【０００２】
【従来の技術】従来、インターネット等のネットワーク
における動画像ストリーミングの配信においては、例え
ばＭＰＥＧ４（Moving Picture Experts Group）等の実
時間圧縮伝達システムが適用されるようになされてい
る。
【０００３】すなわちＭＰＥＧ４は、連続するピクチャ
ー間の相関を有効に利用して動画像データを効率良くデ
ータ圧縮する技術であり、ＭＰＥＧ４による動画像スト
リーミングの配信においては、通信回線の容量に応じた
ビットレートによりデータ伝送できるように、発生符号
量に応じてデータ圧縮率を可変するようになされてい
る。
【０００４】このような実時間圧縮伝達システムにおい
ては、データ圧縮率を高くすると、その分、元の動画像
データに含まれる情報が欠落し、伝送対象で鮮明な画像
（高画質の画像）を再生できなくなる。しかしながらデ
ータ圧縮率を低くすると、限りのある通信回線により動
画像データを伝送できなくなる。
【０００５】このため１つのピクチャーの特定の領域に
ついてのみデータ圧縮率を小さくして動画像データをデ
ータ圧縮することにより、１つのピクチャーの中で、ユ
ーザーが詳細な画像を求める部分だけ高精細な画像によ
り伝送し、背景等のユーザーがあまり詳細な画像を求め
ない部分については、画質の劣化を許容して画像を伝送
し、これらにより容量に限りのある通信回線により動画
像データを効率良く伝送する方法が提案されるようにな
されている（いわゆるＲＯＩ：である）。
【０００６】
【発明が解決しようとする課題】しかしながら送出側で
高精細により伝送する部分として切り出した部分が、ユ
ーザーが要望する部分と異なる場合も考えられる。すな
わちユーザーにおいては、趣味、嗜好が種々に異なるこ
とにより、例えばサッカー等の競技の放送において、守
備側の特定選手の詳細な画像を求めるユーザーもいれ
ば、これに反して攻撃側の特定選手の詳細な画像を求め
るユーザーも存在する。
【０００７】このようにユーザーが要望する部分と異な
る部分を高精細により伝送する場合、高精細により伝送
される部分は、ユーザーにとって全く無駄な部分とな
り、またユーザーにおいては、詳細な画像を求める部分
が詳細に表示されなくなる。
【０００８】これらによりこのように１つのピクチャー
の特定の領域についてのみデータ圧縮率を小さくして動
画像ストリーミングを配信する場合にあっては、従来、
ユーザーの要望に的確に対応できない問題があった。
【０００９】本発明は以上の点を考慮してなされたもの
で、１つのピクチャーの特定の領域についてのみデータ
圧縮率を小さくして動画像ストリーミングを配信する場
合等に、ユーザーの要望に的確に対応することができる
画像伝送方法、画像伝送方法のプログラム、画像伝送方
法のプログラムを記録した記録媒体及び画像伝送装置を
提案しようとするものである。
【００１０】
【課題を解決するための手段】かかる課題を解決するた
め請求項１の発明においては、動画像データを符号化処
理して送出する画像伝送方法に適用して、伝送対象より
得られる位置情報に基づいて、動画像データの一部領域
の画像データを、第１の符号化ステップによる場合に比
して、高精細により符号化処理して送出する第２の符号
化ステップを有するようにする。
【００１１】また請求項３の発明においては、動画像デ
ータを符号化処理して送出する画像伝送方法のプログラ
ムに適用して、伝送対象より得られる位置情報に基づい
て、動画像データの一部領域の画像データを、第１の符
号化ステップによる場合に比して、高精細により符号化
処理して送出する第２の符号化ステップを有するように
する。
【００１２】また請求項４の発明においては、動画像デ
ータを符号化処理して送出する画像伝送方法のプログラ
ムを記録した記録媒体に適用して、この画像伝送方法の
プログラムが、伝送対象より得られる位置情報に基づい
て、動画像データの一部領域の画像データを、第１の符
号化ステップによる場合に比して、高精細により符号化
処理して送出する第２の符号化ステップとを有するよう
にする。
【００１３】また請求項５の発明においては、動画像デ
ータを符号化処理して送出する画像伝送装置に適用し
て、伝送対象より得られる位置情報に基づいて、動画像
データの一部領域の画像データを、先の動画像ストリー
ミングによる場合に比して、高精細により符号化処理し
て送出する第２の符号化手段を有するようにする。
【００１４】請求項１の構成によれば、画像伝送方法に
適用して、伝送対象より得られる位置情報に基づいて、
動画像データの一部領域の画像データを、第１の符号化
ステップによる場合に比して、高精細により符号化処理
して送出する第２の符号化ステップを有することによ
り、高精細により伝送する領域をユーザーの指定により
設定することができる。これにより１つのピクチャーの
特定の領域についてのみデータ圧縮率を小さくして動画
像ストリーミングを配信する場合等に、ユーザーの要望
に的確に対応することができる。
【００１５】これにより請求項３又は請求項４の構成に
よれば、１つのピクチャーの特定の領域についてのみデ
ータ圧縮率を小さくして動画像ストリーミングを配信す
る場合等に、ユーザーの要望に的確に対応することがで
きる画像伝送方法のプログラム又は画像伝送方法のプロ
グラムを記録した記録媒体を提供することができる。
【００１６】また請求項５の構成によれば、画像伝送装
置に適用して、伝送対象より得られる位置情報に基づい
て、動画像データの一部領域の画像データを、先の動画
像ストリーミングによる場合に比して、高精細により符
号化処理して送出する第２の符号化手段を有することに
より、高精細により伝送する領域をユーザーの指定によ
り設定することができる。これにより１つのピクチャー
の特定の領域についてのみデータ圧縮率を小さくして動
画像ストリーミングを配信する場合等に、ユーザーの要
望に的確に対応することができる。
【００１７】
【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。
【００１８】（１）第１の実施の形態 （１−１）第１の実施の形態の構成 図１は、本発明の第１の実施の形態に係る動画像配信シ
ステムを示すブロック図である。この動画像配信システ
ム１は、インターネット等のネットワーク２を介して送
信側３より動画像ストリーミングを送信し、受信側４で
受信する。
【００１９】すなわち送信側３において、カメラ５は、
所望の被写体を撮像して動画像による画像データＤＶを
出力し、フレームメモリ６は、この画像データＤＶを一
時保持して出力する。
【００２０】領域抽出装置７は、フレームメモリ６から
出力される画像データＤＶをそのまま全景画像符号化装
置８に出力する。また領域抽出装置７は、図２に示すよ
うに、このように全景画像符号化装置８に出力する画像
データＤＶについて、ネットワーク受信装置１３より位
置情報ＤＰが通知されると、この位置情報ＤＰに基づい
て、一部領域ＡＲ１を設定し、この一部領域ＡＲ１の画
像データＳＶ１を併せて高精細画像符号化装置１０に出
力する。
【００２１】ここでこの位置情報ＤＰは、画像データＤ
Ｖによる画像上において受信側４で選択された位置を示
す情報であり、受信側４におけるユーザーの操作により
受信側４より送信される。領域抽出装置７は、この位置
情報ＤＰにより指示される画像上の位置を中心にして、
水平方向及び垂直方向に所定の領域ＡＲ１を設定し、こ
の領域ＡＲ１の画像データＤＶ１を高精細画像符号化装
置１０に出力する。
【００２２】また領域抽出装置７は、この位置情報ＤＰ
がネットワーク受信装置１３から通知されると、内蔵の
タイマを用いた時間計測により、所定時間の間、この領
域ＡＲ１の画像データＤＶ１を高精細画像符号化装置１
０に出力し、この所定時間が経過すると高精細画像符号
化装置１０への画像データＤＶ１の出力を中止する。
【００２３】全景画像符号化装置８は、例えばＭＰＥＧ
４の方式により、領域抽出装置７より得られる画像デー
タＤＶを比較的高いデータ圧縮率によりデータ圧縮して
出力し、ネットワーク送信装置１１は、この全景画像符
号化装置８の出力データをネットワーク２に送出する。
これにより送信側３においては、カメラ５で得られる画
像データＤＶの全てを比較的高いデータ圧縮率によりデ
ータ圧縮して配信するようになされている。
【００２４】高精細画像符号化装置１０は、全景画像符
号化装置８と同様の予測符号化により、領域抽出装置７
より得られる画像データＤＶ１をデータ圧縮して出力す
る。この処理において高精細画像符号化装置１０は、全
景画像符号化装置８に比して低いデータ圧縮率により画
像データＤＶ１をデータ圧縮して出力することにより、
全景画像符号化装置８より出力される動画像ストリーミ
ングに比して高精細により動画像データを符号化処理し
て出力する。
【００２５】ネットワーク送信装置１２は、この高精細
画像符号化装置１０の出力データをネットワーク２に送
出する。これにより送信側３においては、カメラ５で得
られる画像データＤＶのうち、位置情報ＤＰを基準にし
た一部領域の画像データを、画像データＤＶの全てを伝
送する場合に比して、高精細により符号化処理して送出
するようになされている。
【００２６】ネットワーク受信装置１３は、受信側４よ
り送信される位置情報ＤＰを取得して領域抽出装置７に
通知する。これらによりこの動画像配信システム１で
は、画像データＤＶ１を高いデータ圧縮率により伝送す
ると共に、この受信側４の指示に応じて、画像データＤ
Ｖ１による画像の一部を高精細により伝送するようにな
されている。
【００２７】これらに対応して受信側４において、ネッ
トワーク受信装置１５は、ネットワーク送信装置１１よ
り送出される動画像ストリーミングを受信して出力す
る。全景画像復号化装置１６は、このネットワーク受信
装置１５より出力される動画像ストリーミングより画像
データＤＶを復号して出力する。
【００２８】ネットワーク受信装置１７は、ネットワー
ク送信装置１２より送出される動画像ストリーミングを
受信して出力する。高精細画像復号化装置１８は、この
ネットワーク受信装置１７より出力される動画像ストリ
ーミングより画像データＤＶ１を復号して出力する。
【００２９】画像合成装置１９は、高精細画像復号化装
置１８より出力される画像データＤＶ１により全景画像
復号化装置１６より出力される画像データＤＶを置き換
えてフレームメモリ２０に出力する。フレームメモリ２
０は、この画像合成装置１９の出力データを一時保持し
て出力し、表示装置２１は、このフレームメモリ２０の
出力データを表示する。
【００３０】入力装置２２は、マウス等の２次元の座標
入力手段により構成され、ユーザーによる操作により表
示装置２１により表示される画像上でカーソルを移動さ
せ、さらにユーザーの操作によりカーソルの表示位置の
座標情報ＤＰを出力する。ネットワーク送信装置２４
は、この座標情報ＤＰをネットワーク２を介して送信側
３に送信する。
【００３１】（１−２）第１の実施の形態の動作 以上の構成において、この動画像配信システム１では
（図１）、カメラ５より得られる画像データＤＶが全景
画像符号化装置８に入力され、ここでデータ圧縮されて
動画像ストリーミングが生成される。さらにこの動画像
ストリーミングがネットワーク２を介して受信側４に送
信され、受信側４の全景画像復号化装置１６において元
の画像データＤＶが復号される。さらにこの画像データ
ＤＶにより表示装置２１で画像が表示される。
【００３２】これによりこの動画像配信システム１で
は、カメラ５で撮像した映像を表示装置２１により視聴
することができる。このようにして伝送されるに動画像
ストリーミングにおいては、全景画像符号化装置８にお
いて高いデータ圧縮率でデータ圧縮されていることによ
り、細かな情報が欠落して伝送され、その分、元の画像
データＤＶに比して画質が劣化して伝送される。
【００３３】これによりユーザーにおいて、詳細に視聴
したい箇所が存在する場合には、このようにして表示装
置２１で表示されている画像において、入力装置２２の
操作により、この詳細に視聴したい箇所を指示すると、
この箇所の位置情報ＤＰが送信側３に通知される（図
２）。送信側３においては、この通知により、この位置
情報ＤＰにより特定される所定領域ＡＲ１の画像データ
ＤＶ１が領域抽出装置７より高精細画像符号化装置１０
に出力され、ここで画像データＤＶによる動画像ストリ
ーミングに比して小さなデータ圧縮率によりユーザーの
所望する箇所の画像データＤＶ１がデータ圧縮される。
さらにこのデータ圧縮による動画像ストリーミングが受
信側４に伝送され、受信側４で復号され、画像データＤ
Ｖによる画像の一部がこの高精細による動画像と置き換
えられる。
【００３４】これによりこの実施の形態においては、ユ
ーザーが詳細に見たいと望む箇所を高精細により提供す
ることができ、その分、１つのピクチャーの特定の領域
についてのみデータ圧縮率を小さくして動画像ストリー
ミングを配信する場合等に、ユーザーの要望に的確に対
応することができる。
【００３５】このようにして伝送する動画像ビットスト
リーミングにおいては、動画像であることにより、ユー
ザーが詳細に視聴したいと望む被写体にあっても、時間
の経過に伴い、ユーザーが指定した領域ＡＲ１より外れ
ることが考えられる。これにより送信側３においては、
このような位置情報ＤＰが受信側４より通知されると、
所定時間の間だけ、高精細による動画像ストリーミング
を送出し、この所定時間を経過すると、高精細による動
画像ストリーミングの送出が中止される。これによりこ
の動画像配信システム１では、無駄なデータ伝送を有効
に回避するようになされている。
【００３６】かくするにつき、図３は、この送信側３に
おける処理手順を示すフローチャートである。送信側３
においては、動画像の配信を開始すると、ステップＳＰ
１からステップＳＰ２に移り、カメラ５により伝送に供
する画像をキャプチャし、続くステップＳＰ３におい
て、ネットワーク受信装置１３により位置情報ＤＰが得
られたか否か判断することにより、高精細による画像抽
出の処理が必要か否か判断する。
【００３７】ここで肯定結果が得られると、送信側３で
は、ステップＳＰ４に移り、領域抽出装置７においてタ
イマをセットする。さらに続くステップＳＰ５におい
て、このタイマをアップカウントした後、ステップＳＰ
６において、位置情報ＤＰより領域ＡＲ１の画像データ
ＳＶ１を抽出し、続くステップＳＰ７において、この抽
出した画像データＤＶ１を高精細画像符号化装置１０に
より符号化する。さらに続くステップＳＰ８において、
対応する全景画像である画像データＤＶを全景画像符号
化装置８に与え、続くステップＳＰ９において、この画
像データＤＶを符号化処理する。送信側３では、このよ
うにして生成した２系統の動画像ストリーミングを送信
側に送出した後、続くピクチャーの処理のためにステッ
プＳＰ２に戻る。
【００３８】これに対してステップＳＰ３で否定結果が
得られると、送信側３は、ステップＳＰ１０に移り、ス
テップＳＰ５でアップカウントしたタイマにより、高精
細による動画像ストリーミングの送出を開始して所定時
間以上経過したか否か判断し、ここで否定結果が得られ
ると、ステップＳＰ５に移る。これによりこの場合も、
高精細による動画像ストリーミングを送信するようにな
されている。
【００３９】これに対してステップＳＰ１０で肯定結果
が得られると、この場合、送信側３は、ステップＳＰ８
に移り、高精細による動画像ストリーミングを送出する
ことなく、全景画像符号化装置８による全景の動画像ス
トリーミングだけを送出する。
【００４０】（１−３）第１の実施の形態の効果 以上の構成によれば、全体の画像データを高いデータ圧
縮率により送出すると共に、伝送対象より取得した位置
情報を基準にして一部領域を高精細により伝送すること
により、１つのピクチャーの特定の領域についてのみデ
ータ圧縮率を小さくして動画像ストリーミングを配信す
る場合等に、ユーザーの要望に的確に対応することがで
きる。
【００４１】（２）第２の実施の形態 図４は、本発明の第２の実施の形態に係る動画像配信シ
ステムを示すブロック図である。この動画像配信システ
ム３１は、複数の伝送対象に動画像を配信する。なおこ
の動画像配信システム３１において、図１について上述
した動画像配信システム１と同一の構成は、対応する符
号を付して示し、重複した説明は省略する。
【００４２】この動画像配信システム３１において、送
信側３３は、各伝送対象である受信側４Ａ及び４Ｂに共
通に、全景画像符号化装置８による動画像ストリーミン
グを送信する。すなわち送信側３３においては、領域抽
出装置３７を介して、フレームメモリ６より出力される
画像データＤＶを全景画像符号化装置８に入力し、ここ
で高いデータ圧縮率により符号化処理し、ネットワーク
送信装置１１を介して動画像ストリーミングを受信側４
Ａ及び４Ｂに送出する。
【００４３】また送信側３３は、それぞれネットワーク
受信装置１３Ａ及び１３Ｂを介して、各伝送対象毎に、
位置情報ＰＤＡ及びＤＰＢを取得し、領域抽出装置３７
においては、この位置情報毎に、それぞれ領域を設定し
てビデオデータＤＶ１Ａ及びＤＶ１Ｂを出力する。
【００４４】送信側３３は、これらのビデオデータＤＶ
１Ａ及びＤＶ１Ｂをそれぞれ高精細画像符号化装置１０
Ａ及び１０Ｂによる符号化処理し、これにより各伝送対
象にそれぞれ対応する高精細による動画像ストリーミン
グを生成し、これらの動画像ストリーミングをそれぞれ
対応する受信側４Ａ及び４Ｂに送出する。
【００４５】各受信側４Ａ及び４Ｂにおいては、このよ
うにして伝送される全景画像符号化装置８による動画像
ストリーミングを共通に受信して画像データＤＶを復号
する。さらにそれぞれ専用に伝送される高精細による動
画像ストリーミングを処理して画像データＤＶ１Ａ及び
ＤＶ１Ｂを復号し、画像合成装置１９Ａ及び１９Ｂによ
りそれぞれ合成する。またこのようにして画像合成装置
１９Ａ及び１９Ｂにより得られる画像データを表示装置
２１Ａ及び２１Ｂによりそれぞれ再生し、この表示装置
２１Ａ及び２１Ｂの表示に基づくユーザーの操作によ
り、入力装置２２Ａ及び２２Ｂよりそれぞれ位置情報Ｐ
ＤＡ及びＤＰＢを送信側３３に送信する。
【００４６】図４の構成によれば、複数の伝送対象に動
画像を伝送する場合でも、全体の画像データを高いデー
タ圧縮率により送出すると共に、伝送対象より取得した
位置情報を基準にして一部領域を高精細により伝送する
ことにより、１つのピクチャーの特定の領域についての
みデータ圧縮率を小さくして動画像ストリーミングを配
信する場合等に、ユーザーの要望に的確に対応すること
ができる。
【００４７】またこのとき複数の伝送対象で高いデータ
圧縮率による動画像ストリーミングを共通に送出し、伝
送対象毎に、位置情報を取得して一部領域を設定し、こ
の一部領域毎に、高精細により符号化処理して対応する
伝送対象に送出することにより、複数の伝送対象に個別
に動画像を提供する場合に比して、回線使用量を少なく
することができ、その分、さらに一段と効率良く動画像
を伝送することができる。
【００４８】（３）他の実施の形態 なお上述の実施の形態においては、ユーザーが高精細に
よる伝送を所望する領域の中心の座標を伝送対象より取
得し、この座標より高精細により伝送する領域を設定す
る場合について述べたが、本発明はこれに限らず、ユー
ザーより領域の設定を直接受け付けるようにしてもよ
い。
【００４９】また上述の実施の形態においては、伝送対
象より取得した位置情報により一義的に高精細により伝
送する領域を設定する場合について述べたが、本発明は
これに限らず、例えば輪郭抽出等の処理により、伝送対
象より取得した位置情報によりユーザーの所望する被写
体を判定し、この判定結果により高精細により伝送する
領域を設定する場合等、高精細により伝送する領域の設
定方法については、種々の手法を広く適用することがで
きる。
【００５０】また上述の実施の形態においては、伝送対
象より取得した位置情報により高精細により伝送する領
域を一旦設定すると、所定時間の間、この領域を高精細
により伝送する場合について述べたが、本発明はこれに
限らず、例えば動き追跡の手法を適用して、被写体を動
きに追従するように、高精細により伝送する領域を移動
させるようにしてもよく、さらには被写体の変化に応じ
て、このような領域を拡大、縮小するようにしてもよ
い。
【００５１】また上述の実施の形態においては、伝送を
開始して所定時間経過すると、直ちに、高精細による伝
送を終了する場合について述べたが、本発明はこれに限
らず、例えば徐々にデータ圧縮率を全景画像符号化装置
によるデータ圧縮率に近づけて、高精細による伝送を終
了するようにしてもよい。このようにすれば、受信側に
おける表示画像において、不自然な画質の変化を防止す
ることができる。
【００５２】また上述の実施の形態においては、領域抽
出装置とフレームメモリ６とを別体に構成する場合につ
いて述べたが、本発明はこれに限らず、フレームメモリ
６を領域抽出装置に内蔵させるようにしてもよい。
【００５３】また上述の実施の形態においては、全景に
よる動画像の符号化装置と、高精細による動画像の符号
化装置とを別体に構成する場合について述べたが、本発
明はこれに限らず、これらの符号化装置において、一部
構成を共用化するようにしてもよい。
【００５４】また上述の実施の形態においては、全景に
よる動画像をＭＰＥＧ４の方式によりデータ圧縮する場
合、さらには同様の符号化処理により高精細による動画
像を伝送する場合について述べたが、本発明はこれに限
らず、種々のデータ圧縮方式によりデータ圧縮して伝送
する場合に広く適用することができる。
【００５５】また上述の実施の形態においては、ハード
ウェアの構成により送信側及び受信側を構成する場合に
ついて述べたが、本発明はこれに限らず、ソフトウェア
によりそれぞれ送信側及び受信側の全部又は一部を構成
するようにしてもよい。
【００５６】
【発明の効果】上述のように本発明によれば、全体の画
像データを高いデータ圧縮率により送出すると共に、伝
送対象より取得した位置情報を基準にして一部領域を高
精細により伝送することにより、１つのピクチャーの特
定の領域についてのみデータ圧縮率を小さくして動画像
ストリーミングを配信する場合等に、ユーザーの要望に
的確に対応することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る動画像配信シ
ステムを示すブロック図である。
【図２】図１の動画像配信システムにおける全景と高精
細による領域との関係を示す平面図である。
【図３】図１の動画像配信システムにおける送信側の処
理手順を示すフローチャートである。
【図４】本発明の第２の実施の形態に係る動画像配信シ
ステムを示すブロック図である。
【符号の説明】
１、３１……動画像配信システム、２、２Ａ、２Ｂ……
ネットワーク、３、３３……送信側、４、４Ａ、４Ｂ…
…受信側、７、３７……領域抽出装置、８……全景画像
符号化装置、１０、１０Ａ、１０Ｂ……高精細画像符号
化装置

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】動画像データを符号化処理して送出する画
    像伝送方法において、 前記動画像データを符号化処理して動画像ストリーミン
    グを所定のデータ転送速度により送出する第１の符号化
    ステップと、 伝送対象より得られる位置情報に基づいて、前記動画像
    データの一部領域の画像データを、前記第１の符号化ス
    テップによる場合に比して、高精細により符号化処理し
    て送出する第２の符号化ステップとを有することを特徴
    とする画像伝送方法。
  2. 【請求項２】前記動画像データの伝送対象が複数であ
    り、 前記第１の符号化ステップは、 前記動画像ストリーミングを前記複数の伝送対象で共通
    に送出し、 前記第２の符号化ステップは、 前記複数の伝送対象毎に、前記位置情報を取得し、 該位置情報毎に、それぞれ前記一部領域を設定し、 各一部領域毎に、高精細により符号化処理して対応する
    伝送対象に送出することを特徴とする請求項１に記載の
    画像伝送方法。
  3. 【請求項３】動画像データを符号化処理して送出する画
    像伝送方法のプログラムにおいて、 前記動画像データを符号化処理して動画像ストリーミン
    グを所定のデータ転送速度により送出する第１の符号化
    ステップと、 伝送対象より得られる位置情報に基づいて、前記動画像
    データの一部領域の画像データを、前記第１の符号化ス
    テップによる場合に比して、高精細により符号化処理し
    て送出する第２の符号化ステップとを有することを特徴
    とする画像伝送方法のプログラム。
  4. 【請求項４】動画像データを符号化処理して送出する画
    像伝送方法のプログラムを記録した記録媒体において、 前記画像伝送方法のプログラムが、 前記動画像データを符号化処理して動画像ストリーミン
    グを所定のデータ転送速度により送出する第１の符号化
    ステップと、 伝送対象より得られる位置情報に基づいて、前記動画像
    データの一部領域の画像データを、前記第１の符号化ス
    テップによる場合に比して、高精細により符号化処理し
    て送出する第２の符号化ステップとを有することを特徴
    とする画像伝送方法のプログラムを記録した記録媒体。
  5. 【請求項５】動画像データを符号化処理して送出する画
    像伝送装置において、 前記動画像データを符号化処理して動画像ストリーミン
    グを所定のデータ転送速度により送出する第１の符号化
    手段と、 伝送対象より得られる位置情報に基づいて、前記動画像
    データの一部領域の画像データを、前記動画像ストリー
    ミングによる場合に比して、高精細により符号化処理し
    て送出する第２の符号化手段とを有することを特徴とす
    る画像伝送装置。
JP2001133770A 2001-05-01 2001-05-01 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置 Pending JP2002330440A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001133770A JP2002330440A (ja) 2001-05-01 2001-05-01 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
EP20020009681 EP1259080B1 (en) 2001-05-01 2002-04-29 Picture transmission method, picture transmission method program, storage medium which stores picture transmission method program, and picture transmission apparatus
DE2002614622 DE60214622T2 (de) 2001-05-01 2002-04-29 Verfahren zum Übertragen von Bildern, Bildübertragungverfahrenprogramm, Programmspeichermedium zum Speichern des Bildübertragungprogramms und Vorrichtung zur Übertragung von Bildern
US10/133,420 US7529298B2 (en) 2001-05-01 2002-04-29 Picture transmission method, picture transmission method program, storage medium which stores picture transmission method program, and picture transmission apparatus
US12/350,993 US20090122859A1 (en) 2001-05-01 2009-01-09 Picture transmission method, picture transmission method program, storage medium which stores picture transmission method program, and picture transmission apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001133770A JP2002330440A (ja) 2001-05-01 2001-05-01 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置

Publications (1)

Publication Number Publication Date
JP2002330440A true JP2002330440A (ja) 2002-11-15

Family

ID=18981570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001133770A Pending JP2002330440A (ja) 2001-05-01 2001-05-01 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置

Country Status (4)

Country Link
US (2) US7529298B2 (ja)
EP (1) EP1259080B1 (ja)
JP (1) JP2002330440A (ja)
DE (1) DE60214622T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063637A1 (ja) * 2007-11-15 2009-05-22 Sanyo Electric Co., Ltd. 画像送信方法および画像送信装置
KR101295158B1 (ko) * 2007-02-20 2013-08-09 세종대학교산학협력단 공간임의접근을 지원하는 영상 코덱 시스템과 이를구성하는 영상 부호화/복호화 장치 및 방법
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
JP2014192844A (ja) * 2013-03-28 2014-10-06 Hitachi Kokusai Electric Inc 映像配信システム、映像配信方法、映像配信装置、および映像表示装置
WO2016046860A1 (ja) * 2014-09-22 2016-03-31 三菱電機株式会社 画像符号化伝送装置、画像復号装置、画像符号化伝送方法、及び画像復号方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330440A (ja) * 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
NO321642B1 (no) * 2004-09-27 2006-06-12 Tandberg Telecom As Fremgangsmate for koding av bildeutsnitt
US8179961B2 (en) * 2006-07-17 2012-05-15 Thomson Licensing Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
EP2153649A2 (en) 2007-04-25 2010-02-17 David Chaum Video copy prevention systems with interaction and compression
US8456380B2 (en) * 2008-05-15 2013-06-04 International Business Machines Corporation Processing computer graphics generated by a remote computer for streaming to a client computer
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
JP5664289B2 (ja) * 2011-01-31 2015-02-04 富士通株式会社 情報処理装置、画像送信プログラムおよび画像表示方法
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
BR112014002827B1 (pt) * 2011-08-05 2021-09-28 Fox Sports Productions, Llc Método e sistema para a captura seletiva e apresentação de porções de imagem de difusão nativa em um sistema de múltiplas câmeras de difusão; e método e sistema para a captura seletiva e apresentação de porções de difusão de imagem nativa em um sistema de múltiplas câmeras de difusão
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
EP2765781A1 (en) * 2013-02-07 2014-08-13 Thomson Licensing Method for providing targetable content in images of a video sequence and corresponding device
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
EP3113159A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for processing a part of an immersive video content according to the position of reference parts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078349A (en) * 1995-06-07 2000-06-20 Compaq Computer Corporation Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
IL117133A (en) * 1996-02-14 1999-07-14 Olivr Corp Ltd Method and system for providing on-line virtual reality movies
WO1999022518A1 (de) 1997-10-28 1999-05-06 Siemens Aktiengesellschaft Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
US6178204B1 (en) * 1998-03-30 2001-01-23 Intel Corporation Adaptive control of video encoder's bit allocation based on user-selected region-of-interest indication feedback from video decoder
US6018359A (en) * 1998-04-24 2000-01-25 Massachusetts Institute Of Technology System and method for multicast video-on-demand delivery system
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
US6476873B1 (en) * 1998-10-23 2002-11-05 Vtel Corporation Enhancement of a selectable region of video
IL148431A0 (en) 1999-12-30 2002-09-12 Swisscom Mobile Ag Method for the transmission of image data
JP2002330440A (ja) * 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295158B1 (ko) * 2007-02-20 2013-08-09 세종대학교산학협력단 공간임의접근을 지원하는 영상 코덱 시스템과 이를구성하는 영상 부호화/복호화 장치 및 방법
WO2009063637A1 (ja) * 2007-11-15 2009-05-22 Sanyo Electric Co., Ltd. 画像送信方法および画像送信装置
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
JP2014192844A (ja) * 2013-03-28 2014-10-06 Hitachi Kokusai Electric Inc 映像配信システム、映像配信方法、映像配信装置、および映像表示装置
WO2016046860A1 (ja) * 2014-09-22 2016-03-31 三菱電機株式会社 画像符号化伝送装置、画像復号装置、画像符号化伝送方法、及び画像復号方法

Also Published As

Publication number Publication date
EP1259080A2 (en) 2002-11-20
US20090122859A1 (en) 2009-05-14
US7529298B2 (en) 2009-05-05
EP1259080A3 (en) 2003-11-26
DE60214622T2 (de) 2007-09-13
DE60214622D1 (de) 2006-10-26
EP1259080B1 (en) 2006-09-13
US20020168006A1 (en) 2002-11-14

Similar Documents

Publication Publication Date Title
JP2002330440A (ja) 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP4585479B2 (ja) サーバ装置および映像配信方法
US8876601B2 (en) Method and apparatus for providing a multi-screen based multi-dimension game service
WO2019157803A1 (zh) 传输控制方法
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2022111554A1 (zh) 一种视角切换方法及装置
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
WO2021093882A1 (zh) 一种视频会议方法、会议终端、服务器及存储介质
JP2008510357A (ja) 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置
US10721500B2 (en) Systems and methods for live multimedia information collection, presentation, and standardization
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN114257839A (zh) 视频编码装置及解码装置、播放系统及方法
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
CN113630575B (zh) 多人在线视频会议图像显示的方法、系统和存储介质
JP2005033411A (ja) 動画像配信装置
CN113194326A (zh) 全景直播方法、装置、计算机设备及计算机可读存储介质
TWI838050B (zh) 立體成像串流方法及應用其之電子裝置與伺服裝置
JP7296219B2 (ja) 受信装置、送信装置、及びプログラム
KR20200076529A (ko) 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱
CN115086696B (zh) 一种视频播放控制方法、装置、电子设备及存储介质
JP2000092486A (ja) 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法
KR20150006465A (ko) 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘
JP2004254051A (ja) 画像送信方法と装置、画像記録方法と装置
JP2003284067A (ja) 映像中継システム並びに映像送信装置及びそのプログラム並びに映像受信装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080314

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100629