JP2000295623A - 画像伝送装置 - Google Patents

画像伝送装置

Info

Publication number
JP2000295623A
JP2000295623A JP9861799A JP9861799A JP2000295623A JP 2000295623 A JP2000295623 A JP 2000295623A JP 9861799 A JP9861799 A JP 9861799A JP 9861799 A JP9861799 A JP 9861799A JP 2000295623 A JP2000295623 A JP 2000295623A
Authority
JP
Japan
Prior art keywords
image
data
section
display
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9861799A
Other languages
English (en)
Inventor
Takeshi Wada
武志 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP9861799A priority Critical patent/JP2000295623A/ja
Publication of JP2000295623A publication Critical patent/JP2000295623A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Details Of Television Scanning (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【目的】 表示する画像の切り出し位置を背景画像に対
する位置データとして相手端末に通知することにより、
背景画像の差分データを低減する。 【構成】 撮像部1で撮像された画像の1フレーム目の
画像は、ぶれ補正部2に入力され、撮像画像全体が画像
符号化部3で符号化され、分離多重化部4を介して通信
処理部に送られる。相手端末では受信したデータから分
離多重化部4を介して、このデータを抽出し、画像表示
制御部7に送る。画像表示制御部7では、得られた移動
量,移動方向から表示部5に表示する画像位置を画像メ
モリ部6から切り出し、表示装置に表示する。被写体の
動きは背景画像を含む表示範囲全体の動きとしての移動
量,方向のデータとし、被写体の陰になっていた部分の
背景画像のみを差分データとして相手端末に送信するだ
けでよい。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像伝送装置、よ
り詳細には、画像伝送装置におけるぶれ補正に関する。
【0002】
【従来の技術】一般に、画像伝送装置では画像のフレー
ム間のデータの差分をとり、そのデータを圧縮して伝送
を行う。一方、圧縮されたデータを受信した端末は、デ
ータの伸張処理を行ない、表示されている画像に対し、
画像データの差分を書き込み、表示する。テレビ電話を
例に説明すると、テレビ電話は、主に、人物の胸から上
(胸像)の画像と音声の通信に使用され、画像の通信に
はデータのビットストリームをフレーム毎にそのまま送
るのではなく、あるフレームに対して画像の動きを検出
し、差分を求め、その差分データを圧縮して送信すると
いう方法が一般に行われている。
【0003】実際の使用においては、人物の動きや口の
動きなどの表情を上述のような方法を用いて送信してい
るが、このとき、人物像の背景画像も人物の動きによ
り、隠れたり、現れたりする部分があるため、同様の処
理が行われていた。
【0004】
【発明が解決しようとする課題】画像伝送装置に用いら
れる画像の伝送手段は、上述のように、画像の差分を求
め、そのデータを送るものであるため、人物像,背景画
像に関わらず、動きが大きい場合は差分データが多くな
り、その結果、送信するデータ量が増え、1秒間当たり
のフレーム数が少なくなるという問題が生じた。また、
1秒間当たりのフレーム数を多くしようとすると、送信
するデータ量を減らす必要があるため、1画面当たりの
画像データを減らすことにより、画像が粗くなるという
問題が生じていた。
【0005】
【課題を解決するための手段】本発明は、上記のごとき
問題を解決するために、請求項1の発明においては、画
像を撮像する撮像手段と、表示装置に画像を表示する画
像表示手段と、伝送するあるいは受信した画像を蓄積す
る画像蓄積手段と、撮像時にぶれ補正を行うぶれ補正手
段を有することを、請求項2の発明においては、前記ぶ
れ補正は、被写体の動きを、背景画像を含む表示範囲全
体の動きとしての移動量、方向のデータとし、被写体の
陰になっていた部分の背景のみを差分データとするもの
であることを、請求項3の発明においては、さらに、背
景画像を定期的に更新する手段を有することを特徴とし
たものである。
【0006】
【発明の実施の形態】本発明は、あらかじめ送信された
背景画像(表示されているよりも広い範囲の背景画像)
の中から人物の動きに合わせ、背景画像をずらして表示
することにより画像の差分データを低減し、結果的に、
1秒間に表示されるフレーム数を増やしたり、また、1
フレームに対する画質をより精細にすることができる画
像伝送装置を提供するものである。
【0007】最初に、ぶれ補正手段について説明する。
ぶれ補正手段とは、カメラ等の撮像装置で撮像を行う際
に生じる手ぶれによる画像の揺れを補正する手段であ
り、機械式あるいは電子式の手段がある。たとえば、特
開平4−162882号公報“画像ブレ補正システム”
にあるように、撮像部のオーバースキャン部をブレ補正
部として用いる技術が知られている。
【0008】本発明は、上述のように実際には表示装置
に出力されない撮像部のオーバースキャン部を利用した
画像伝送装置である。以下、詳細に説明する。撮像装置
の撮像部(たとえばCCD等)は、オーバースキャンを
行なうことにより、図2に示すように、実際に表示装置
に表示される画像(画像Aとする)よりも広い範囲の画
像(画像Bとする)を撮像している。ここで、撮像部は
被写体の動きを検知し、たとえば、図2に示すように、
中央に位置していた被写体Mが、図3に示すように、右
に動いた場合には、その被写体Mの動きを検出し、被写
体Mをもとの位置に配置するよう画像Bの中から表示装
置に表示される画像を切り出し、画像Aとして表示す
る。図2の表示画像Aと図3の撮像画像Bを比較する
と、背景はずれているが、被写体Mである人物像の位置
は表示画像Aの中央に位置しており、変わらない。この
ように表示画像を撮像画像の中から切り出し、被写体の
動き(ぶれ)を補正する方法が電気式のぶれ補正の一手
法である。本発明では、表示する画像の切り出し位置を
背景画像に対する位置データとして相手端末に通知する
ことにより、主に、背景画像の差分データ分を低減する
ようにしたものである。
【0009】(請求項1,2の発明)説明を簡単にする
ため、背景と人物像の動きのみに着目し、人物像の詳細
な動き(顔の表情等)については従来通りの処理であり
説明を割愛する。図1は、本発明の画像処理部の一例を
説明するためのブロック図で、図1に示した画像処理部
は、送信にも受信にも使用できるので、相手端末として
使用する時も、図1を参照して説明する。図1におい
て、撮像部1で撮像された画像の1フレーム目の画像
は、まず、ぶれ補正部2に入力され、撮像画像全体(図
2の撮像画面B部分)が画像符号化部3で符号化され、
分離多重化部4を介して通信処理部に送られる。次に2
フレーム目からは表示画像部分(図2の表示画面Aの部
分)のうち、人物の動き等による変化した画像(差分デ
ータ)が送られる。
【0010】相手端末では1フレーム目の画像データを
画像メモリに記憶する。相手端末の表示装置に表示され
る画像は画像メモリに記憶された画像のうちあらかじめ
デフォルトで指定された部分(ここでは撮像画像の中央
とする)を切り出した画像である。たとえば1フレーム
目で図4の画像Cに示すような画像が撮像されたときは
画像C全体が相手端末に送信され、画像メモリには図4
の画像C全体が記憶される。相手端末ではそのうち画像
Dの部分(デフォルトで指定された画像の中央部分)が
表示される。
【0011】ここで、被写体Mが左に動いた場合、図5
に示すように、被写体Mの移動量n,移動方向x,yが
ぶれ補正部で算出される(正確には被写体の表示位置を
元の表示位置に近づけるよう表示画像の切り出し位置を
算出したものである)。この移動量n,移動方向x,y
が相手端末にデータとして送信される。
【0012】相手端末では受信したデータから分離多重
化部4を介して、このデータを抽出し、画像表示制御部
7に送る。ここで相手端末に送信するデータはISDN
回線を使用する画像伝送装置ではDチャネルを使用して
もよいし、データにフラグ等の識別子をつけ、Bチャネ
ルの画像データと多重して送信してもよい。アナログ回
線を使用する画像伝送装置では同様に画像データの一部
として識別子をつけ、多重するといった方法が考えられ
る。画像表示制御部7では得られた移動量,移動方向か
ら表示装置5に表示する画像位置を画像メモリ部6から
切り出し、表示装置に表示する。
【0013】仮に、従来と同様の処理を行う場合と本発
明による処理とを比較すると次のようになる。図6は、
被写体MがM1からM2に動いた様子を表したものであ
る。あるフレームで被写体MがM1の位置にあり、次の
フレームで被写体MがM2の位置にあるとき、このフレ
ーム間の差分データは被写体MのM1位置とM2位置の合
計部分の面積となる。
【0014】従来の処理方法ではこれらの差分をそのま
ま差分データとする、もしくは、被写体部分は動き検出
により処理ブロック(画像を符号化する際の処理単位)
毎に移動量,方向をデータとして算出し、さらに被写体
の陰となっていた部分の背景のデータをそれ以前に送信
した画像データの差分データとして相手端末に送信する
必要がある。
【0015】一方、本発明では、被写体の動きは背景画
像を含む表示範囲全体の動きとしての移動量,方向のデ
ータとし、被写体の陰になっていた部分の背景画像のみ
を差分データとして相手端末に送信するだけでよい。こ
こでは、説明を割愛したが、実際の処理においては人物
像の動きには、例に挙げたような体全体の動きの他に
目、口等の顔の表情の動きが含まれる。顔の表情等の動
きデータは従来の技術に見られるような動き検出を行っ
た後、差分データを求め相手端末に送信する必要があ
る。
【0016】(請求項3の発明)請求項1の発明におい
ては、相手端末との通信を開始したのち、画像の1フレ
ーム目の撮像画像全体を相手端末に送信するが、以後の
通信中には撮像画像全体を送信する処理を行わない。こ
のため、背景が変化した場合にはデータの差分が増え、
画像の更新に時間がかかるため、請求項2の発明におい
て、定期的に背景画像を更新する。以下、図7に更新手
順の例を示す。通信開始時に1フレーム目の画像を相手
端末に伝送する(図7(A)撮像画像全体)。次に、背
景画像の更新が行なわれるまでは表示画像部分のうち、
人物の動き等による変化した画像(差分データ)が送ら
れる(図7(B),図7(C)表示画像)。さらに、最
初の背景画像の伝送から一定時間経過した後(たとえば
30秒後)、背景部分の画像(図7(D)撮像画像全体
から表示されている部分を除いた画像)のデータを前回
伝送した画像との差分をとり、再度伝送する(表示画面
は図7(B),図7(C)で常に更新されているた
め)。その後、人物の動き等による変化した画像(差分
データ)が送られる(図7(E),図7(F)表示画
像)。以降、一定時間毎に繰り返すことにより、背景画
像が変化した場合でも画像の更新時間を低減することが
できる。
【0017】
【発明の効果】請求項1,2の発明によれば、人物の動
きによる差分データの発生を低減し、その結果、1秒間
のフレーム数や画質の向上を図るための処理にデータを
割り当てることができ、より高画質な画像伝送装置を構
成することができる。請求項3の発明によれば、さら
に、背景画像が変化した場合でも、画像の更新時間を低
減することができる。
【図面の簡単な説明】
【図1】本発明による画像伝送装置の要部ブロック図で
ある。
【図2】本発明の動作原理を説明するための図である。
【図3】本発明の動作原理を説明するための図である。
【図4】撮像画像と表示画像の一例を示す図である。
【図5】被写体の動きにより、表示画像の動きを示した
図である。
【図6】被写体の動きによる画像の差分を示す図であ
る。
【図7】背景画像の更新手順を示す図である。
【符号の説明】
1…撮像部、2…ぶれ補正部、3…画像符号化部、4…
分離多重化部、5…表示部、6…画像メモリ部、7…画
像表示制御部。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/14 G06F 15/66 470A 5L096 9A001 Fターム(参考) 5B057 AA20 CE08 CG03 CH11 CH14 5C022 AA00 AB55 AC01 AC69 5C059 KK11 NN01 NN50 PP26 PP29 UA34 5C064 AA01 AA02 AC02 AD04 5C068 AA05 MA07 5L096 FA76 GA08 HA03 LA05 9A001 BB04 HH30

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 画像を撮像する撮像手段と、表示装置に
    画像を表示する画像表示手段と、伝送するあるいは受信
    した画像を蓄積する画像蓄積手段と、撮像時にぶれ補正
    を行うぶれ補正手段とを有することを特徴とした画像伝
    送装置。
  2. 【請求項2】 請求項1記載の画像伝送装置において、
    前記ぶれ補正において、被写体の動きを、背景画像を含
    む表示範囲全体の動きとしての移動量、方向のデータと
    し、被写体の陰になっていた部分の背景のみを差分デー
    タとするものであることを特徴とする画像伝送装置。
  3. 【請求項3】 請求項2記載の画像伝送装置において、
    背景画像を定期的に更新する手段を有することを特徴と
    した画像伝送装置。
JP9861799A 1999-04-06 1999-04-06 画像伝送装置 Pending JP2000295623A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9861799A JP2000295623A (ja) 1999-04-06 1999-04-06 画像伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9861799A JP2000295623A (ja) 1999-04-06 1999-04-06 画像伝送装置

Publications (1)

Publication Number Publication Date
JP2000295623A true JP2000295623A (ja) 2000-10-20

Family

ID=14224537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9861799A Pending JP2000295623A (ja) 1999-04-06 1999-04-06 画像伝送装置

Country Status (1)

Country Link
JP (1) JP2000295623A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495762A (zh) * 2018-10-09 2019-03-19 广州虎牙信息科技有限公司 数据流处理方法、装置及存储介质、终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746534A (ja) * 1993-07-29 1995-02-14 Sony Corp デジタル画像信号の伝送装置
JPH07162853A (ja) * 1993-12-07 1995-06-23 Hitachi Ltd 撮像装置
JPH07284086A (ja) * 1994-04-05 1995-10-27 Nec Corp 背景画像生成方法および装置
JPH08140098A (ja) * 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 動き補償符号化装置
JPH08275049A (ja) * 1995-03-31 1996-10-18 Hitachi Ltd 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746534A (ja) * 1993-07-29 1995-02-14 Sony Corp デジタル画像信号の伝送装置
JPH07162853A (ja) * 1993-12-07 1995-06-23 Hitachi Ltd 撮像装置
JPH07284086A (ja) * 1994-04-05 1995-10-27 Nec Corp 背景画像生成方法および装置
JPH08140098A (ja) * 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 動き補償符号化装置
JPH08275049A (ja) * 1995-03-31 1996-10-18 Hitachi Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三木弼一編著, 多彩な映像、音声を自在に符号化する MPEG−4のすべて, JPN6008026515, 30 September 1998 (1998-09-30), pages 53 - 56, ISSN: 0001055455 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495762A (zh) * 2018-10-09 2019-03-19 广州虎牙信息科技有限公司 数据流处理方法、装置及存储介质、终端设备
CN109495762B (zh) * 2018-10-09 2021-05-11 广州虎牙信息科技有限公司 数据流处理方法、装置及存储介质、终端设备

Similar Documents

Publication Publication Date Title
US6456335B1 (en) Multiple picture composing method and multiple picture composing apparatus
US8089514B2 (en) Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image
JP4448177B2 (ja) Tv電話機能の撮影画像処理切り替え装置
CN109716769B (zh) 在多媒体信息中提供面向对象的缩放的系统和方法
JPH0220185A (ja) 動画像伝送方式
KR20090125236A (ko) 정보 처리 장치 및 방법
US20040174438A1 (en) Video communication terminal for displaying user's face at the center of its own display screen and method for controlling the same
EP3748965A1 (en) Ultra low latency video communication
JP5288621B2 (ja) 画像符号化伝送装置及び画像伝送方法
JPH07288789A (ja) 知的符号化装置及び画像通信装置
JP4100146B2 (ja) 双方向コミュニケーションシステム,映像通信装置
JP2933132B2 (ja) 多地点テレビ会議制御装置及び画面合成符号化方法
EP1494481A2 (en) Motion picture receiving device, motion picture transmitting device, and program
CN111654660B (zh) 一种基于图像分割的视频会议系统编码传输方法
JP2000295623A (ja) 画像伝送装置
US5900906A (en) Image communication apparatus having automatic answering and recording function
JP2006197096A (ja) テレビ電話装置
WO1999040725A1 (en) High-resolution high-value-added video transfer method by using pseudo natural image, high-resolution high-value-added video processor, high-resolution high-value-added video processing method, high-resolution high-value-added transfer system, and storage medium
JPH0564172A (ja) 映像通信方式および映像送信装置および映像受信装置
JPH0730888A (ja) 動画像送信装置及び動画像受信装置
JPH09149391A (ja) テレビ電話装置
JPH0716244B2 (ja) 視線一致補正装置
JP2003319386A (ja) モバイル端末機への撮影画像伝送システム
JP2003018559A (ja) データ多重化無線通信システム
JP2000092502A (ja) 動画像伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603